从零构建语言模型

这门课学什么

学生亲手实现大模型的每个环节：分词器、Transformer、优化器、GPU 内核、并行训练、规模定律、数据过滤和对齐。作业代码量大，偏系统工程。

内容摘要

这门课用“从零写操作系统”的思路教大语言模型。学生不调用现成框架，而是自己写分词器、模型、优化器和训练代码，再一路做到数据处理和对齐。2026 春季版共 19 讲，由 Percy Liang 和 Tatsunori Hashimoto 轮流主讲。

课程分 5 个阶段，和 5 次作业一一对应。第 1 阶段讲基础：分词、PyTorch 资源核算、Transformer 架构与超参数。第 2 阶段讲系统：GPU 与 TPU、Triton 内核、并行训练和推理。第 3 阶段讲规模定律（scaling laws）和评测。第 4 阶段讲预训练数据的来源、过滤和去重。第 5 阶段讲后训练：监督微调、RLHF、可验证奖励强化学习（RLVR）和多模态对齐。

作业代码量大，几乎没有脚手架。作业 1 实现完整的 Transformer 语言模型并训练。作业 2 做性能分析，用 Triton 写 FlashAttention2，并改成分布式训练。作业 3 通过训练 API 拟合规模定律。作业 4 把 Common Crawl 原始网页清洗成预训练语料。作业 5 用监督微调和强化学习训练模型解数学题，可选部分实现 DPO。

学完后，你能独立搭建一条小规模的大模型训练流程，也能读懂前沿模型技术报告里的工程取舍。讲课风格偏实证：Percy 的讲义是可以运行的 Python 文件，Tatsu 的幻灯片多用已发表模型的设置做横向比较。自学者需要租用云 GPU 完成训练类作业。

为什么值得学

少有的课程要求你从零写完整个大模型训练流程，而不是调 API。2025 年公开视频后影响很大。

课程信息

学校

斯坦福（Stanford）

课程号

CS336

讲师

Percy Liang、Tatsunori Hashimoto

学期

Spring 2026

平台

课程官网

费用

免费

难度

高级

先修

需要熟练的 Python 与 PyTorch、深度学习基础和系统编程经验。

材料

视频、幻灯片、作业、代码

许可证

未注明

课程大纲 · 共 19 节

大纲依据：2026 春课程表（19 讲），讲次标题与 YouTube 播放列表 PLoROMvodv4rMqXOcazWaTUHhq-yembLCV 对照（查看原始页面 ↗）

1. 1
   概述与分词Overview, Tokenization

   介绍课程目标和大模型开发全流程。讲 BPE 分词器的原理，作业 1 由此开始。

2. 2
   PyTorch 与资源核算PyTorch (einops), Resource Accounting

   用 einops 写张量运算。学会估算训练所需的 FLOPs、内存和算术强度。

3. 3
   模型架构与超参数Architectures, Hyperparameters

   比较主流 Transformer 在归一化、位置编码和激活函数上的选择。讨论宽度、深度和学习率这类超参数怎样定。

4. 4
   注意力替代方案与混合专家Attention Alternatives and Mixture of Experts

   介绍降低注意力计算开销的替代结构。讲混合专家（MoE）模型的路由和训练方法。

5. 5
   GPU 与 TPUGPUs, TPUs

   讲加速器的硬件结构和内存层级。分析哪些因素决定了模型在硬件上的实际速度。

6. 6
   内核、Triton 与 XLAKernels, Triton, XLA

   演示怎样分析算子性能，并用 Triton 写 GPU 内核。介绍 XLA 编译的思路。

7. 7
   并行训练（一）Parallelism (1)

   用代码演示集合通信操作。实现数据并行和模型并行的基本形式。

8. 8
   并行训练（二）Parallelism (2)

   讲数据并行、张量并行和流水线并行怎样组合。结合大规模训练的实际配置分析通信开销。

9. 9
   规模定律（一）Scaling Laws (1)

   讲模型规模、数据量和算力之间的关系。说明怎样用小模型实验预测大模型的表现。

10. 10
    推理Inference

    分析推理阶段的延迟和吞吐瓶颈。介绍 KV 缓存、量化和投机解码这类加速方法。

11. 11
    规模定律（二）Scaling Laws (2)

    结合公开模型的案例，讲规模定律怎样指导超参数和训练配方的选择。作业 3 围绕这部分展开。

12. 12
    评测Evaluation

    讲语言模型的评测基准、评测方法和常见陷阱。讨论分数背后到底测到了什么。

13. 13
    数据（一）：来源与数据集Data (Sources, Datasets)

    讲预训练数据从哪里来。逐个分析主流公开数据集的构成。

14. 14
    数据（二）：过滤、去重、配比与合成数据Data (Filtering, Deduplication, Mixing, Synthetic Data)

    讲质量过滤和去重的算法，以及不同来源数据的配比。介绍用模型生成训练数据的做法。

15. 15
    中期训练与后训练（SFT/RLHF）Mid/Post-Training (SFT/RLHF)

    讲预训练之后的监督微调（SFT）。讲基于人类反馈的强化学习（RLHF）的流程。

16. 16
    后训练：可验证奖励强化学习Post-Training: RLVR

    讲用可以自动判对错的奖励训练推理能力。作业 5 用这种方法训练数学解题。

17. 17
    对齐与多模态Alignment: Multimodality

    讲怎样把语言模型扩展到图像这类其他模态。讨论多模态模型的对齐问题。

18. 18
    客座讲座：Daniel SelsamGuest Lecture: Daniel Selsam

    客座讲座。公开播放列表没有收录这一讲。

19. 19
    客座讲座：Dan FuGuest Lecture: Dan Fu

    客座讲座。主讲人 Dan Fu 研究高效模型结构和 GPU 系统。

斯坦福的其他AI课

• 机器学习 · Machine Learning
• 深度学习 · Deep Learning
• 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
• 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
• 图机器学习 · Machine Learning with Graphs
• 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques

← 返回全部AI课　·　← 只看斯坦福