统计学习理论及应用
这门课学什么
这门课用正则化的视角讲学习理论。内容包括核方法、正则化最小二乘、SVM、随机梯度方法、稀疏性和深度网络的泛化理论。讲义是 Rosasco 和 Poggio 的书稿，课堂录像在 CBMM 的 YouTube 频道。
内容摘要
这门课是 MIT 的研究生统计学习理论课。它用“正则化”这一条主线串起机器学习：学习就是在数据拟合和函数复杂度之间取平衡。全课 26 次课，由 4 位讲师分段讲授，最后落到深度学习为什么有效这个问题上。
课程分 3 个部分。第 1 部分（第 1–12 次课）讲算法：正则化最小二乘、特征与核、逻辑回归和支持向量机、随机梯度方法、隐式正则化、草图（sketching）加速、稀疏正则化，再讲神经网络和生成对抗网络。第 2 部分（第 13–20 次课）讲学习理论：经验风险最小化、一致收敛、Rademacher 复杂度、间隔分析、局部方法、稳定性和隐私。第 3 部分（第 21–26 次课）讲深度学习理论：逼近、优化和泛化 3 个问题，并讨论与视觉皮层的联系。
课程有 4 次习题集，报告用 LaTeX 模板撰写，有页数上限。期末是个人研究项目，形式可以是理论分析、算法比较、应用或综述。往届有一部分项目以创建或修订维基百科词条的形式完成。教材是 Rosasco 和 Poggio 编写的讲义草稿。
学完后，你能用正则化的语言统一理解核方法、稀疏方法和神经网络，能读懂学习理论论文中的泛化界，也能跟上深度学习理论的研究讨论。
这门课数学密度高，需要扎实的线性代数、概率和分析基础，最好先修过机器学习入门课。课堂录像以板书和幻灯片为主，理论推导多。
为什么值得学
Poggio 是计算学习理论的奠基人之一，领导 MIT 大脑、心智与机器中心（CBMM）。课程把经典理论和深度学习的开放问题连在一起。
课程信息
- 学校
- 麻省理工（MIT）
- 课程号
- 9.520 / 6.860
- 讲师
- 托马索·波焦（Tomaso Poggio）、洛伦佐·罗萨斯科（Lorenzo Rosasco）、亚历山大·拉赫林（Alexander Rakhlin）、Andrzej Banburski
- 学期
- Fall 2018
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 学时
- 24 段课堂录像
- 先修
- 学过概率、线性代数和机器学习入门课。
- 材料
- 视频、讲义、幻灯片
- 许可证
- 未注明
课程大纲 · 共 26 节
大纲依据：Fall 2018 课程官网课表（26 次课）（查看原始页面 ↗）
- 1课程概览The Course at a Glance
Poggio 介绍课程结构，并说明学习理论在理解智能中的位置。
- 2统计学习的基本设定Statistical Learning Setting
定义数据分布、损失函数和期望风险，说明学习问题要优化什么。
- 3正则化最小二乘Regularized Least Squares
在最小二乘上加入正则项，讨论它的闭式解和正则参数的作用。
- 4特征与核Features and Kernels
用特征映射和核函数把线性方法推广到非线性，引入再生核希尔伯特空间。
- 5逻辑回归与支持向量机Logistic Regression and Support Vector Machines
换用不同损失函数，得到逻辑回归和支持向量机，并比较两者。
- 6用随机梯度学习Learning with Stochastic Gradients
讲随机梯度方法怎样在大数据上求解正则化问题，以及它的收敛性。
- 7隐式正则化Implicit Regularization
说明提前停止迭代本身就能起到正则化作用。
- 8用草图方法做大规模学习Large Scale Learning by Sketching
用随机投影和子采样近似核矩阵，降低计算和存储成本。
- 9基于稀疏性的正则化Sparsity Based Regularization
用 L1 正则化选择少量特征，讲 Lasso 及其求解方法。
- 10神经网络：导论与反向传播Neural networks: Introduction, backpropagation
把神经网络看作可学习的特征映射，推导反向传播。
- 11神经网络：技巧与软件工具Neural Networks: tips, tricks and software
介绍训练神经网络的实用技巧和常用深度学习框架。
- 12生成对抗网络Generative Adversarial Networks
客座讲师 Phillip Isola 讲生成对抗网络的原理和图像生成应用。
- 13统计学习（一）Statistical Learning I
Rakhlin 开始理论部分，形式化定义学习问题和可学习性。
- 14统计学习（二）Statistical Learning II
继续讨论学习的统计框架，为后面的泛化界做准备。
- 15经验风险最小化与一致收敛ERM, Uniform Convergence
说明经验风险最小化什么时候可行，关键是一致收敛。
- 16用 Rademacher 平均估计样本复杂度Sample Complexity via Rademacher Averages
用 Rademacher 复杂度衡量函数类的大小，并推导泛化界。
- 17分类的间隔分析Margin Analysis for Classification
说明大间隔怎样带来更紧的分类泛化界。
- 18局部方法Local Methods
分析最近邻这类局部方法的一致性和收敛速度。
- 19样本压缩与稳定性Sample Compression, Stability
从样本压缩和算法稳定性两个角度推导泛化保证。
- 20隐私与信息论稳定性Privacy and Information-Theoretic Stability
把差分隐私和信息论稳定性联系到泛化。
- 21深度学习理论：逼近Deep Learning Theory: Approximation
讨论深层网络为什么能比浅层网络更高效地表示组合函数。
- 22在线预测Online Prediction
讲数据逐个到来时的预测问题，以及遗憾（regret）界。
- 23神经网络的样本复杂度Sample complexity of Neural Networks
讨论神经网络泛化界的估计方法及其局限。
- 24深度学习理论：优化Deep Learning Theory: Optimization
讨论随机梯度下降为什么容易在深度网络中找到全局最小值。
- 25深度学习理论：泛化Deep Learning Theory: Generalization
讨论过参数化的深度网络为什么仍能泛化。
- 26机器学习、大脑与 AI 的下一次突破Machine Learning, the Brain and the Next Breakthrough in AI
Poggio 把深度网络与视觉皮层联系起来，展望 AI 的下一步。