大语言模型
这门课学什么
课程以文字讲义为主，讲大模型的能力、危害、数据、安全、法律、建模、训练、规模定律和适配方法。学生要读论文、写评述并做项目。
内容摘要
这是最早一批专讲大语言模型的大学课程之一，开在 2022 年冬季，正值 GPT-3 刚普及。课程以文字讲义为主线。每次课先讲 45 分钟，再由 4–5 名学生组成小组，围绕指定论文主持 45 分钟讨论。三位主讲人 Percy Liang、Tatsunori Hashimoto 和 Christopher Ré 分别负责不同专题。
课程分 3 大块。第 1 块讲大模型的行为：能力、性能差异与社会偏见、毒性与虚假信息。第 2 块讲大模型背后的数据：数据集审查与文档、安全与隐私、版权和合理使用。第 3 块讲怎样构建大模型：建模、训练、并行、规模定律、混合专家与检索增强架构、适配方法和环境成本。最后两周是客座讲座和项目展示。
成绩由两部分组成。论文评述和讨论占 20%：每次课前读 1–2 篇论文并写一份会议审稿式的评述，每人至少参加 2 次讨论小组。两个项目占 80%：项目 1 用 GPT-3 这类模型做评测，选定一个想深入研究的模型性质；项目 2 用给定的算力预算训练 BERT-base 这类模型，围绕同一性质做系统实验。
学完后，你能对大模型的能力、风险和训练方法建立整体认识，也能用审稿人的眼光评价新论文。课程没有公开视频。讲义篇幅短、条理清楚，适合自学时通读。内容停在 2022 年初，不涉及 ChatGPT 之后的指令微调和 RLHF，建议配合 CS336 学习。
为什么值得学
这是最早的大模型大学课之一。讲义篇幅短，适合快速建立对大模型的整体认识。
课程信息
- 学校
- 斯坦福（Stanford）
- 课程号
- CS324
- 讲师
- Percy Liang、Tatsunori Hashimoto、Christopher Ré
- 学期
- Winter 2022
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 先修
- 需要深度学习和 NLP 基础。
- 材料
- 讲义、作业
- 许可证
- 未注明
课程大纲 · 共 17 节
大纲依据：Winter 2022 课程日历（14 个专题讲 + 2 次客座讲座 + 2 次项目展示）（查看原始页面 ↗）
- 1导论Introduction
说明这门课为什么存在。回顾语言模型的定义和发展，介绍课程结构。
- 2能力Capabilities
讲怎样用困惑度和提示（prompting）评估模型。逐项检查 GPT-3 在各类任务上的表现。
- 3危害（一）Harms I
讲模型在不同人群上的性能差异。分析模型中的社会偏见和刻板印象。
- 4危害（二）Harms II
讲模型生成有毒内容的问题。讨论大模型怎样被用来制造虚假信息。
- 5数据Data
审查现有预训练数据集的内容和问题。讲数据文档的写法和数据生态。
- 6安全与隐私Security and Privacy
讲数据投毒攻击。介绍差分隐私，以及从模型中提取训练数据的风险。
- 7法律问题Legal Considerations
讲版权法和合理使用原则。讨论用受版权保护的数据训练模型是否合法。
- 8建模Modeling
讲分词方法。比较循环神经网络和 Transformer 两类模型结构。
- 9训练Training
讲训练目标函数的选择。讨论训练稳定性和调试方法。
- 10并行训练Parallelism
讲数据并行、模型并行和流水线并行。说明怎样把训练分摊到多台机器上。
- 11规模定律Scaling Laws
讲模型规模、数据量和算力怎样影响损失。说明怎样用规模定律规划训练。
- 12模块化架构Modular Architectures
讲混合专家模型。讲带检索记忆的检索增强模型。
- 13适配Adaptation
讲探测（probing）、全量微调和轻量微调。比较几种把通用模型用到具体任务的方法。
- 14环境影响Environmental Impact
估算训练和推理的成本。讲大模型训练的碳排放怎样计算。
- 15客座讲座：Maxwell NyeGuest Lecture: Maxwell Nye
客座讲座，主讲人 Maxwell Nye。
- 16客座讲座：Margaret Mitchell 与 Stella BidermanGuest Lecture: Margaret Mitchell and Stella Biderman
客座讲座。两位讲者分别来自 AI 伦理研究和开源大模型社区。
- 17–18项目展示Project Presentations
学生展示两个项目的成果。
斯坦福的其他AI课
- 机器学习 · Machine Learning
- 深度学习 · Deep Learning
- 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
- 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
- 图机器学习 · Machine Learning with Graphs
- 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques