深度学习
这门课学什么
这是研究生深度学习课，讲网络为什么有效。内容包括网络结构、优化、泛化、表示学习、Transformer、生成模型和规模化。课程有讲座视频、讲义、作业和期末项目指南。
内容摘要
这门课是 MIT 当前的研究生深度学习主课。它不只讲“怎样搭模型”，更追问“网络为什么有效”。主线是：先讲训练和表达能力，再按数据结构讲架构，然后讲表示学习和生成模型，最后讲迁移、规模化和语言模型。
课程分 5 个阶段。第 1 阶段（第 1–3 讲）讲基础：神经网络怎样训练，以及逼近理论。第 2 阶段（第 4–10 讲）讲架构和训练规律：网格结构（卷积）、图结构、Transformer、记忆结构，中间穿插泛化理论、优化的缩放规则和实践调参经验。第 3 阶段（第 11–16 讲）讲表示学习和生成模型：基于重建的方法、基于相似度的方法、表示学习理论，以及无条件和条件生成。第 4 阶段（第 17–21 讲）讲分布外泛化、迁移学习、缩放定律（scaling law）和语言模型。第 5 阶段（第 23–24 讲）讲度量化的深度学习和推理阶段的方法。
评分由习题集和期末项目组成，各占 65% 和 35%。OCW 公开了 5 次作业。期末项目是一个小型研究：提出一个关于深度学习的科学问题，做实验并分析，最后写成一篇技术博客。课程鼓励学生试用 AI 助手，但要求说明怎样使用。
学完后，你能从结构对称性、优化和泛化 3 个角度理解主流架构，能设计实验检验关于模型行为的假设，也能读懂深度学习前沿论文的核心论证。
3 位讲师分讲不同主题，风格偏研究导向，重直觉和图示。课程要求先修概率统计和一门机器学习入门课。
为什么值得学
这是 MIT 现在的深度学习主力课。OCW 上很少有研究生深度学习课附全套视频。
课程信息
- 学校
- 麻省理工（MIT）
- 课程号
- 6.7960
- 讲师
- 菲利普·伊索拉（Phillip Isola）、萨拉·比里（Sara Beery）、杰里米·伯恩斯坦（Jeremy Bernstein）
- 学期
- Fall 2024
- 平台
- MIT OpenCourseWare
- 费用
- 免费
- 难度
- 高级
- 学时
- 24 段讲座视频
- 先修
- 学过机器学习入门、线性代数和概率，会 Python。
- 材料
- 视频、讲义、作业
- 许可证
- CC BY-NC-SA 4.0
课程大纲 · 共 24 节
大纲依据：Fall 2024 OCW 讲座视频播放列表（23 讲 + PyTorch 教程），与 OCW 讲义列表核对（查看原始页面 ↗）
- 1深度学习导论Introduction to Deep Learning
说明深度学习要解决的问题和课程路线，把神经网络看作可学习的函数复合。
- 2怎样训练神经网络How to Train a Neural Net
讲损失函数、梯度下降和反向传播，以及自动微分怎样实现。
- 3逼近理论Approximation Theory
讨论神经网络能表示哪些函数，以及深度和宽度对表达能力的影响。
- 4架构：网格结构Architectures: Grids
以卷积神经网络为主，讲怎样利用图像这类网格数据的平移对称性。
- 5架构：图结构Architectures: Graphs
讲图神经网络的消息传递，以及它对节点排列顺序的不变性。
- 6泛化理论Generalization Theory
讨论经典泛化理论能解释什么，以及过参数化网络带来的新问题。
- 7优化的缩放规则Scaling Rules for Optimization
讨论网络变宽变深时，学习率和初始化应怎样随之调整。
- 8架构：TransformerArchitectures: Transformers
讲注意力机制、位置编码和 Transformer 块的结构。
- 9深度学习实战指南Hacker's Guide to Deep Learning
分享训练模型时的调试方法和实践经验。
- 10架构：记忆Architectures: Memory
讲循环网络和其他带状态的结构怎样存储和读取信息。
- 11表示学习：基于重建Representation Learning: Reconstruction-Based
讲自编码器和掩码建模这类通过重建输入来学表示的方法。
- 12表示学习：基于相似度Representation Learning: Similarity-Based
讲对比学习等通过拉近相似样本、推远不同样本来学表示的方法。
- 13表示学习：理论Representation Learning: Theory
讨论什么样的表示算好表示，以及不同模型的表示为什么会趋同。
- 14生成模型：基础Generative Models: Basics
介绍生成模型的目标，比较变分自编码器、生成对抗网络和自回归模型。
- 15生成模型：表示学习与生成建模的结合Generative Models: Representation Learning Meets Generative Modeling
讨论生成模型和表示学习怎样互相借力。
- 16生成模型：条件模型Generative Models: Conditional Models
讲按文本或类别等条件生成数据的方法，例如条件扩散模型。
- 17泛化：分布外Generalization: Out-of-Distribution (OOD)
讨论测试数据与训练数据分布不同时，模型为什么会失效以及怎样应对。
- 18迁移学习：模型Transfer Learning: Models
讲预训练、微调和适配，把一个模型的能力迁移到新任务。
- 19迁移学习：数据Transfer Learning: Data
从数据角度讨论迁移，例如数据增强、合成数据和数据选择。
- 20缩放定律Scaling Laws
讲模型性能怎样随参数量、数据量和算力按规律变化。
- 21语言模型Language Models
讲大语言模型的预训练、对齐和使用方式。
- 23度量化的深度学习Metrized Deep Learning
从为权重空间选择合适范数的角度，重新理解优化器设计。
- 24深度学习的推理方法Inference Methods for Deep Learning
讨论模型训练完成后，在推理阶段提升输出质量的方法。
- 补充PyTorch 教程PyTorch Tutorial
演示用 PyTorch 定义模型、写训练循环和调试。