深入大语言模型

这门课学什么

这门课是 COS 597G 的 2024 年升级版。内容覆盖架构、预训练数据、缩放与涌现、后训练与偏好学习、推理和测试时计算。官网公开每讲阅读清单和大部分幻灯片。

内容摘要

这门课是 COS 597G 的 2024 年续篇。两年间 LLM 从研究对象变成了基础设施，课程内容也随之换代。授课人一位是 NLP 实证研究者陈丹琦，一位是理论学者桑吉夫·阿罗拉，两人轮流主讲。课程覆盖一个模型从预训练到部署的完整链条。

课程分 4 段。第 1 段讲预训练：GPT-3 与 Llama 3 的训练方法、规模定律、能力涌现和数据筛选。第 2 段讲后训练与对齐：指令微调、偏好学习（PPO 与 DPO）、Constitutional AI、模型的元认知，以及弱监督强模型这类对齐前沿。第 3 段讲推理与效率：过程监督、测试时计算的规模化、长上下文训练和小模型的剪枝蒸馏。第 4 段请 4 位外部讲者讲专题：语言智能体、检索增强、FlashAttention 与 Mamba 这类硬件感知算法、多模态模型的视觉对齐。

课程最有特色的环节是论文辩论。第 4–9 周每次课缩短到 50 分钟，留出 30 分钟给 5 人辩论组。1 人讲论文，2 人当审稿人挑毛病，2 人为论文辩护，事后合写 2 页总结。辩论选题包括“涌现是否是幻觉”“DPO 是否优于 PPO”“思维链是否只对数学有用”。

其他考核包括课前阅读问答、3 人一组的课堂笔记整理，以及 2–3 人的期末项目。项目要求做与现代 LLM 有关的研究，最后 3 次课用于项目展示。

学完后，你能掌握 2024 年 LLM 训练与对齐的主流做法和它们背后的争议。你也能用审稿人的眼光评价一篇 LLM 论文。官网保留了每讲幻灯片和完整阅读清单。先修要求是 COS 484 或同等的深度学习和 Transformer 基础。

为什么值得学

课程把 2022 年的阅读清单更新到了 ChatGPT 之后的时代。两位讲师一位做 NLP 实证研究，一位做理论，视角互补。

课程信息

学校

普林斯顿（Princeton）

课程号

COS 597R

讲师

陈丹琦（Danqi Chen）、桑吉夫·阿罗拉（Sanjeev Arora）

学期

Fall 2024

平台

课程官网

费用

免费

难度

高级

学时

每周 2 讲 × 80 分钟，约 1 学期

先修

需要深度学习和 NLP 基础，建议先学 COS 597G 或 COS 484。

材料

幻灯片、讲义

许可证

未注明

课程大纲 · 共 21 节

大纲依据：Fall 2024 课程表（Schedule 表格）（查看原始页面 ↗）

1. 1
   导论Introduction

   阿罗拉介绍 LLM 的现状、课程结构和辩论规则。

2. 2
   预训练（一）Pretraining 1

   以 GPT-3 为主线，回顾 Transformer、GPT-2 和 BERT 的预训练路线。

3. 3
   预训练（二）Pretraining 2

   拆解 Llama 3 技术报告，对照 Mistral、OLMo 和 Qwen2 的训练配方。

4. 4
   规模定律Scaling laws

   讲 Chinchilla 计算最优配比，以及数据受限和考虑推理成本时的修正。

5. 5
   涌现行为Emergent behavior

   讨论能力涌现的现象，以及用技能组合解释涌现的理论模型。

6. 6
   数据筛选Data curation

   讲 Dolma、FineWeb 这类开放语料的构建，以及按质量打分筛选数据的方法。

7. 7
   后训练：指令微调Post-training: Instruction tuning

   讲 FLAN 和 Tülu 系列的指令数据构建，以及如何挑选最有用的训练样本。

8. 8
   后训练：从偏好中学习Post-training: learning from preferences

   对比 RLHF 中的 PPO 和直接偏好优化（DPO），并看 Llama 3 的后训练流程。

9. 9
   对齐Alignment

   讲把语言助手当作对齐实验平台的思路，并解释正向与反向 KL 散度的差别。

10. 10
    Constitutional AIConstitutional AI

    讲用一组书面原则和 AI 反馈代替部分人工标注，训练无害助手。

11. 11
    LLM 的元认知LLM Metacognition

    讨论模型能否识别自己用到的技能，并借此生成难题和指令数据。

12. 12
    长上下文模型（高天宇）Long-context models (Tianyu Gao)

    讲旋转位置编码、长上下文扩展训练和长文本评测基准。

13. 13
    对齐进阶专题Advanced topics in alignment

    结合 o1 系统卡和弱到强泛化，讨论用弱监督引出强模型能力，以及辩论式对齐。

14. 14
    LLM 推理（一）LLM Reasoning 1

    讲过程监督与逐步验证，以及自动化获取过程奖励的方法。

15. 15
    LLM 推理（二）LLM Reasoning 2

    讲测试时计算的规模化、重复采样和自我训练式推理。

16. 16
    小模型（夏梦舟）Small models (Mengzhou Xia)

    讲结构化剪枝和蒸馏，以及 Gemma 2 这类小尺寸模型的训练取舍。

17. 17
    全面审视语言智能体（苏宇，俄亥俄州立大学）A Holistic and Critical Look at Language Agents (Yu Su, OSU)

    客座讲者讨论语言智能体的定位、长期记忆和工具学习。

18. 18
    检索增强语言模型Retrieval-augmented language models

    梳理 REALM、kNN-LM、RETRO 到 Self-RAG 的检索增强路线。

19. 19
    面向硬件的语言模型算法（Tri Dao）Hardware-aware Algorithms for Language Modeling (Tri Dao)

    FlashAttention 和 Mamba 的作者讲如何按 GPU 特性设计注意力与状态空间模型。

20. 20
    语言模型需要更好的视觉落地（谢赛宁，纽约大学）Language Models Need Better Visual Grounding for Meaning and Understanding (Saining Xie, NYU)

    讨论多模态 LLM 的视觉短板，以及 LLaVA、Cambrian-1 这类视觉语言模型的设计。

21. 21–23
    期末项目展示Project presentations

    3 次课用于各组展示期末研究项目。

普林斯顿的其他AI课

• 理解大语言模型 · Understanding Large Language Models
• 自然语言处理 · Natural Language Processing
• 机器学习导论（课程讲义） · Introduction to Machine Learning (Course Notes)
• 数值计算与机器学习的数学基础 · Mathematics for Numerical Computing and Machine Learning
• 深度学习理论 · Theoretical Deep Learning
• 理论机器学习 · Theoretical Machine Learning

← 返回全部AI课　·　← 只看普林斯顿