深度生成模型
这门课学什么
这门课讲生成模型的主要流派：VAE、自回归模型、GAN、能量模型、分数匹配和扩散模型。课程官网公开幻灯片和作业，另有 2 场客座讲座。
内容摘要
这门课是何恺明 2024 年加入 MIT 后开的研究生讨论课（seminar），主题是深度生成模型。主线是：讲师先讲清一个模型家族的原理，接着学生精读该方向的 3 篇代表论文，最后把这些方法用到视频、三维、机器人和科学数据上。
课程分 3 个阶段。第 1 阶段（第 1–5 周）讲基础家族：图像先验、变分自编码器（VAE）、归一化流、自回归模型和视觉分词器（tokenizer），以及自回归与扩散的结合。第 2 阶段（第 5–10 周）讲生成对抗网络、能量模型、分数匹配、扩散模型和流匹配（flow matching），包括离散扩散和去噪以外的扩散形式。第 3 阶段（第 11–15 周）讲应用：视频、三维与几何、机器人、材料科学、蛋白质与生物。中间有 2 次嘉宾讲座：朱俊彦讲生成模型的数据归属，宋飏讲一致性模型。
讲师讲座共 5 次，其余是学生论文报告。每次读书课由 3 名学生各讲 1 篇论文，讲 20 分钟，讨论 10 分钟。课程有 6 次双周作业。期末项目最多 2 人一组，成果写成面向大众的技术博客，并做课堂展示。
学完后，你能说清 VAE、自回归、GAN、扩散和流匹配之间的关系，能读懂这一领域的新论文，也拿到一份从早期工作到 2024 年前沿的阅读清单。
官网公开了讲座幻灯片、作业和完整阅读清单，没有录像。何恺明的幻灯片以统一框架梳理各模型家族，适合配合论文自学。课程面向做生成模型研究的研究生，要求先修深度学习和计算机视觉或自然语言处理。
为什么值得学
讲师何恺明是 ResNet 的作者，2024 年加入 MIT。幻灯片把各类生成模型的关系讲得很清楚。
课程信息
- 学校
- 麻省理工（MIT）
- 课程号
- 6.S978
- 讲师
- 何恺明（Kaiming He）
- 学期
- Fall 2024
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 学时
- 7 讲 + 6 次作业
- 先修
- 学过深度学习，会 PyTorch。
- 材料
- 幻灯片、作业
- 许可证
- 未注明
课程大纲 · 共 26 节
大纲依据：Fall 2024 课程官网课程表（26 次课）（查看原始页面 ↗）
- 1讲座：导论Lecture: Introduction
说明什么是生成模型、它要学的是什么分布，以及课程的组织方式。
- 2读书课：图像先验建模Reading: Modeling Image Prior
阅读用高斯混合和深度网络刻画自然图像先验的论文，回顾生成建模的前史。
- 3讲座：变分自编码器Lecture: Variational Autoencoder (VAE)
从潜变量模型和变分下界推导 VAE，讲重参数化技巧。
- 4读书课：归一化流Reading: Normalizing Flows
阅读用可逆变换精确计算似然的流模型论文，例如 Glow。
- 5讲座：自回归模型Lecture: Autoregressive (AR) Models
讲把联合分布拆成逐个条件分布的建模方式，以及它在图像上的用法。
- 6读书课：自回归模型Reading: Autoregressive (AR) Models
阅读神经自回归模型的早期论文和 PixelRNN 一类工作。
- 7读书课：自回归与分词器Reading: AR and tokenizers
阅读把图像离散成 token 再做自回归生成的论文，讨论分词器的关键作用。
- 8读书课：自回归与扩散Reading: AR and Diffusion
阅读把自回归和扩散结合、或用一个模型同时做理解与生成的论文。
- 9讲座：生成对抗网络Lecture: Generative Adversarial Network (GAN)
讲生成器与判别器的对抗训练，以及 GAN 训练不稳定的原因。
- 10读书课：生成对抗网络（一）Reading: GAN 1
阅读把 GAN 扩展到大规模文生图，以及把扩散模型蒸馏成 GAN 的论文。
- 11读书课：生成对抗网络（二）Reading: GAN 2
阅读重新设计 GAN 基线、以及把 GAN 与扩散或分数联系起来的论文。
- 12讲座：能量模型、分数匹配与扩散模型Lecture: Energy-based Models, Score Matching, Diffusion Models
从能量模型讲到分数匹配，再引出扩散模型的加噪与去噪过程。
- 13读书课：扩散模型Reading: Diffusion Models
阅读无分类器引导、采样蒸馏和高分辨率扩散的论文。
- 14读书课：去噪以外的扩散Reading: Diffusion beyond Denoising
阅读用模糊、热扩散等其他退化过程代替加噪的扩散变体。
- 15读书课：离散扩散Reading: Discrete Diffusion
阅读在离散状态空间做扩散、用于文本生成的论文。
- 16读书课：流匹配（一）Reading: Flow Matching 1
阅读流匹配、随机插值和整流（rectified flow）的奠基论文。
- 17读书课：流匹配（二）Reading: Flow Matching 2
阅读把流匹配扩展到大规模 Transformer 和离散数据的论文。
- 18嘉宾讲座：朱俊彦——生成模型中的数据归属Guest Lecture: Jun-Yan Zhu - Ensuring Data Ownership in Generative Models
讨论怎样追溯生成结果用到了哪些训练数据，保护数据所有者的权益。
- 19读书课：应用——视频Reading: Application - Videos
阅读视频生成和可交互环境生成的代表论文。
- 20读书课：应用——三维与几何Reading: Application - 3D and Geometry
阅读用二维扩散模型生成三维物体、从单图重建三维和生成网格的论文。
- 21读书课：应用——机器人Reading: Application - Robotics
阅读用扩散模型做规划、生成动作策略和模拟真实世界的论文。
- 22嘉宾讲座：宋飏——一致性模型Guest Lecture: Yang Song - Consistency Models
讲一致性模型怎样把扩散模型的多步采样压缩到一步或几步。
- 23读书课：应用——材料科学Reading: Application - Material Science
阅读分子图生成和三维分子扩散生成的论文。
- 24读书课：应用——蛋白质与生物Reading: Application - Protein and Biology
阅读用扩散模型从头设计蛋白质结构的论文。
- 25期末项目展示（一）Final Presentation 1
学生展示期末项目成果。
- 26期末项目展示（二）Final Presentation 2
学生展示期末项目成果。