深度学习理论
这门课学什么
这门研究生研讨课问一个问题：深度学习为什么有效。内容包括非凸优化、神经正切核、过参数化网络的泛化、隐式正则化和对抗样本。官网公开讲义和书稿。
内容摘要
这是一门研究生理论研讨课，追问深度学习“为什么有效”。深度学习在工程上已经成功，数学解释却明显落后。课程围绕 3 个问题展开：训练何时成功、需要多少样本、不同网络结构的强项和局限在哪里。主讲人桑吉夫·阿罗拉是理论计算机科学家，近年转向深度学习理论。
课程按“优化—泛化—生成模型—训练技巧—鲁棒性”的顺序推进。前 3 次课搭框架：优化与泛化的基本设定、非凸损失面的结构、如何逃离鞍点。中段集中讨论泛化之谜：参数远多于样本的网络为什么不过拟合。这里依次讲无限宽网络与神经正切核（NTK）、有限宽过参数化网络的泛化界及其局限、优化算法自带的隐式正则化，以及 Dropout 的作用。后段讲变分自编码器和生成对抗网络（GAN）、极小极大优化、Adam 这类自适应优化器和批归一化的理论理解。最后讲深度线性网络上梯度下降的动力学和对抗样本的可证明防御。
课程每周 1 次、每次 3 小时。课程与普林斯顿高等研究院（IAS）的优化、统计与机器学习专题年同期，常有 IAS 访问学者客座讲课。学生按统一模板整理课堂笔记，老师计划把笔记汇编成专著，官网挂有书稿草稿。
这门课没有编程作业，考核以出勤、课堂讨论和笔记整理为主。本科生不能修学分。先修要求是机器学习加算法设计与分析，最好学过 COS 511 或 COS 521。
学完后，你能读懂 2017–2019 年深度学习理论的代表性论文，包括 NTK、隐式正则化和过参数化泛化界。你也能理解这些理论各自的适用边界。官网还列有 Moitra、Rong Ge 的讲义和“Off the Convex Path”博客，适合作为延伸阅读。
为什么值得学
Arora 是深度学习理论的核心学者之一。官网附有他用这门课讲义整理的书稿。
课程信息
- 学校
- 普林斯顿（Princeton）
- 课程号
- COS 597B
- 讲师
- 桑吉夫·阿罗拉（Sanjeev Arora）
- 学期
- Fall 2019
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 学时
- 每周 1 次 × 3 小时
- 先修
- 需要扎实的机器学习、概率和优化基础。
- 材料
- 讲义、幻灯片、教材
- 许可证
- 未注明
课程大纲 · 共 11 节
大纲依据：Fall 2019 课程表（Lecture Schedule 表格，11 次课）（查看原始页面 ↗）
- 1基本框架：优化与泛化入门Basic framework, intro to optimization and generalization
建立监督学习的理论框架，区分优化误差与泛化误差。
- 2非凸损失面：广义线性模型与 PCANonconvex landscapes. Generalized linear models, PCA etc.
以广义线性模型和 PCA 为例，分析非凸目标为何仍可被高效优化。
- 3基础泛化理论与逃离鞍点Basic generalization theory. Escaping saddle points in landscape
介绍经典泛化界，并讲带噪声的梯度下降如何逃离鞍点。
- 4理解泛化之谜（上）：无限宽网络与神经正切核Towards understanding generalization puzzle (part 1): Infinitely wide deep nets and Neural Tangent Kernels
讲网络宽度趋于无穷时训练动力学如何退化为核方法，即神经正切核（NTK）。
- 5有限宽过参数化网络的泛化（及其局限）Current ways to understand generalization of finite but overparametrized nets (+ their limitations)
梳理压缩、范数界这类解释过参数化网络泛化的思路，并指出它们的不足。
- 6算法中的隐式正则化Implicit regularization in the Algorithm
讨论梯度下降本身如何偏好某类解，从而在没有显式正则项时也能泛化。
- 7理解 Dropout 正则化Understanding effect of Dropout regularization
从理论上分析 Dropout 实际施加了什么样的正则化。
- 8变分自编码器、GAN 及其局限、极小极大优化Variational auto-encoders and loglikelihood objectives. GANs and their limitations. Optimization of min-max objectives
比较似然目标与对抗目标两类生成模型，讨论 GAN 的理论局限和极小极大问题的优化难点。
- 9经验技巧的理论理解：动量、AdaGrad、Adam 与批归一化Empirically successful tricks (Momentum, AdaGrad, Adam) and efforts to understand them. Batchnorm and its effects on landscape
分析常用优化器与二阶方法的联系，以及批归一化对损失面的奇特影响。
- 10加深网络带来的隐式正则化与加速：线性网络上的梯度下降动力学Implicit regularization and acceleration by going deeper: dynamics of gradient descent on linear nets
用深度线性网络说明，增加层数会改变梯度下降的轨迹并起到加速作用。
- 11对抗样本与可证明防御、极小极大算法Adversarial examples and approaches towards certified defense. Min-max algorithms
讲对抗样本的成因、可证明鲁棒性的防御思路，以及相应的极小极大算法。
普林斯顿的其他AI课
- 理解大语言模型 · Understanding Large Language Models
- 深入大语言模型 · Deep Dive into Large Language Models
- 自然语言处理 · Natural Language Processing
- 机器学习导论（课程讲义） · Introduction to Machine Learning (Course Notes)
- 数值计算与机器学习的数学基础 · Mathematics for Numerical Computing and Machine Learning
- 理论机器学习 · Theoretical Machine Learning