理解大语言模型

这门课学什么

这门研究生研讨课按论文梳理第一代大语言模型。内容从 BERT、T5、GPT-3 讲到提示、上下文学习、缩放规律、RLHF 和多模态模型。课程官网公开完整阅读清单和大部分幻灯片，没有录像。

内容摘要

这是一门研究生研讨课，在 ChatGPT 发布前夕开设。它把大语言模型（LLM）第一波关键论文串成一条线。每次课精读 1–2 篇核心论文，另附 3–5 篇推荐阅读。课程目标是让学生具备做 LLM 前沿研究的能力。

课程分 4 个单元。第 1 单元“什么是 LLM”：从 Transformer 出发，依次讲 BERT（仅编码器）、T5（编码器–解码器）和 GPT-3（仅解码器）三种结构。第 2 单元“如何使用和适配 LLM”：讲少样本提示、提示调优这类参数高效微调、上下文学习（in-context learning）、提示校准、思维链推理和模型中的知识。第 3 单元“拆解 LLM”：讲训练数据、规模定律、隐私泄漏，以及偏见与有害内容的评估和缓解。第 4 单元“超越当前 LLM”：讲稀疏专家模型、检索增强模型、人类反馈训练（RLHF）、代码模型和多模态模型，最后以客座讲座和对齐讨论收尾。

第 1 次课由陈丹琦主讲，之后多数讲次由两名学生合作讲 60 分钟。讲前要先与老师对稿。其他同学课前回答约 3 道预习题，课后给讲者写书面反馈。这套流程训练读论文、做综述、讲报告和评审 4 项研究技能。

期末项目占 40%，2–3 人一组。可以自己微调中等规模模型，例如 BERT、T5 或 GPT-2。也可以调用超大模型做能力或风险评测。项目要交开题报告、课堂展示和论文。

学完后，你能说清 2018–2022 年 LLM 技术路线的来龙去脉。你能独立读懂并复述这一领域的论文。官网保留了完整阅读清单和大部分讲次幻灯片，适合当作 LLM 早期文献的导读地图。

为什么值得学

这是最早专讲大语言模型的大学课程之一。它的阅读清单被很多人当作入门 LLM 研究的路线图。

课程信息

学校

普林斯顿（Princeton）

课程号

COS 597G

讲师

陈丹琦（Danqi Chen）

学期

Fall 2022

平台

课程官网

费用

免费

难度

高级

学时

约 22 讲

先修

需要深度学习和 NLP 基础，能读懂研究论文。

材料

幻灯片、讲义

许可证

未注明

课程大纲 · 共 23 节

大纲依据：Fall 2022 课程表（Schedule 表格，22 次课 + 期末展示）（查看原始页面 ↗）

1. 1
   导论Introduction

   介绍 LLM 如何改变 NLP，回顾 Transformer 结构，说明课程运作方式。

2. 2
   BERT：仅编码器模型BERT (encoder-only models)

   精读 BERT，对照 ELMo、GPT、RoBERTa 和 ELECTRA，理解掩码语言模型预训练。

3. 3
   T5：编码器–解码器模型T5 (encoder-decoder models)

   精读 T5 的“一切皆文本到文本”框架，对照 BART 和多语言 mT5。

4. 4
   GPT-3：仅解码器模型GPT-3 (decoder-only models)

   精读 GPT-3 的少样本能力，对照 GPT-2、PaLM 和开源的 OPT。

5. 5
   用提示做少样本学习Prompting for few-shot learning

   讨论如何把任务改写成填空式提示，让中等规模模型在少量样本上学好。

6. 6
   提示作为参数高效微调Prompting as parameter-efficient fine-tuning

   讲前缀调优和提示调优，并对照 LoRA，理解只训练少量参数的适配方法。

7. 7
   上下文学习In-context learning

   讨论示例在提示中到底起什么作用，以及把上下文学习看作隐式贝叶斯推断的解释。

8. 8
   提示式 LLM 的校准Calibration of prompting LLMs

   讲少样本提示的输出偏差从何而来，以及先校准再使用的修正方法。

9. 9
   推理Reasoning

   精读思维链提示和零样本推理，对照自洽性解码。

10. 10
    知识Knowledge

    讨论模型参数能存多少事实知识，以及如何定位和编辑这些知识。

11. 11
    训练数据Data

    剖析 C4 和 The Pile 这类网页语料的构成，讨论去重对模型的影响。

12. 12
    规模定律Scaling

    精读 Chinchilla 的计算最优训练，对照早期规模定律，讨论参数量与数据量的配比。

13. 13
    隐私Privacy

    讲如何从模型中抽取训练数据，以及记忆化与差分隐私训练。

14. 14
    偏见与有害内容（一）：评估Bias & Toxicity I: evaluation

    讲如何测量模型生成有害内容的倾向，并讨论“随机鹦鹉”批评与红队测试。

15. 15
    偏见与有害内容（二）：缓解Bias & Toxicity II: mitigation

    讲自我诊断去偏和受控生成，并讨论去毒可能误伤少数群体语言。

16. 16
    稀疏模型Sparse models

    精读 Switch Transformer，理解混合专家（MoE）如何低成本扩大参数量。

17. 17
    检索增强语言模型Retrieval-based LMs

    精读 RETRO，对照 kNN-LM，讨论用外部数据库补充模型记忆。

18. 18
    用人类反馈训练语言模型Training LMs with human feedback

    精读 InstructGPT，理解基于人类反馈的强化学习（RLHF）流程。

19. 19
    代码语言模型Code LMs

    精读 Codex 论文，对照代码补全与竞赛级代码生成的工作。

20. 20
    多模态语言模型Multimodal LMs

    精读 Flamingo，对照 CLIP，讨论视觉与语言模型的结合方式。

21. 21
    客座讲座：多任务提示训练与零样本模型（Alexander Rush）Guest lecture: Multitask Prompted Training for Zero-Shot Models (Alexander Rush)

    介绍用大量提示化任务做指令微调，让模型在新任务上零样本泛化。

22. 22
    AI 对齐与开放讨论AI Alignment + open discussion

    阅读把语言助手当作对齐实验平台的工作，讨论有用且无害的助手如何训练。

23. 23
    期末项目课堂展示In-class presentation

    各组展示期末项目，课时延长。

普林斯顿的其他AI课

• 深入大语言模型 · Deep Dive into Large Language Models
• 自然语言处理 · Natural Language Processing
• 机器学习导论（课程讲义） · Introduction to Machine Learning (Course Notes)
• 数值计算与机器学习的数学基础 · Mathematics for Numerical Computing and Machine Learning
• 深度学习理论 · Theoretical Deep Learning
• 理论机器学习 · Theoretical Machine Learning

← 返回全部AI课　·　← 只看普林斯顿