理论机器学习
这门课学什么
这门研究生理论课讲统计学习理论、对抗环境下的在线学习、机器学习中的优化、控制与强化学习。教材全部免费，包括 Hazan 自己写的《在线凸优化导论》和《在线控制导论》。
内容摘要
这是一门研究生理论机器学习课，要求能读写证明。课程从一个问题出发：学习这件事能否被形式化，并交给机器自动完成。主讲人埃拉德·哈赞是在线凸优化领域的代表学者，课程按他自己的两本免费教材组织：《在线凸优化导论》（第 2 版）和《在线控制导论》。2026 年版把重点放在动态系统中的学习。
课程分 3 段。第 1 段讲在线学习：从专家建议预测入手，讲加权多数算法和 Hedge 算法，再引出在线凸优化（OCO）和在线梯度下降的遗憾（regret）分析。第 2 段讲优化与统计学习：离线凸优化与投影梯度下降、统计学习理论与泛化误差界，以及部分可观测下的学习，即多臂老虎机问题。第 3 段讲控制与强化学习：把在线学习的工具用到线性动态系统，研究在线控制和带干扰的系统辨识。
作业共 5 次，题目都出自两本教材的章后习题。前 3 次覆盖《在线凸优化导论》第 1–4、6、8、9 章。后 2 次覆盖《在线控制导论》第 2–5、9、11 章。第 1 次作业还要求读图灵 1950 年的论文，评价他对“智能”的定义。作业允许同学讨论，但禁止使用生成式 AI。期末是闭卷课堂考试。
先修要求较高：概率、离散数学、分析、线性代数、算法和计算复杂性都要具备，最好还学过线性规划和博弈论。官网提供往年助教整理的凸优化背景讲义，可以先补。
学完后，你能用遗憾界分析在线算法。你能证明梯度下降类方法的收敛速度，并理解在线学习、统计学习、强化学习和控制之间的联系。这门课适合打算做学习理论、优化或控制方向研究的读者。
为什么值得学
Hazan 是在线凸优化领域的代表学者。他的免费教材是该方向的标准参考书。
课程信息
- 学校
- 普林斯顿（Princeton）
- 课程号
- COS 511
- 讲师
- 埃拉德·哈赞（Elad Hazan）
- 学期
- Spring 2026
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 学时
- 每周 2 讲 × 80 分钟，约 1 学期
- 先修
- 需要概率、线性代数和算法分析基础。
- 材料
- 讲义、教材
- 许可证
- 未注明
课程大纲 · 共 3 节
大纲依据：Spring 2026 课程网站 Lectures 页（只公布了第 1–4 讲）（查看原始页面 ↗）
- 1–2学习理论导论：专家建议与在线学习模型Introduction to learning theory, learning from expert advice and the online learning model
梳理学习模型的分类，讲加权多数算法和 Hedge 算法及其下界，并以在线路由问题引出数学优化。
- 3在线凸优化的一阶算法First-Order Algorithms for Online Convex Optimization
讲在线梯度下降及其遗憾分析，并推导在线最短路径算法。
- 4（离线）凸优化导论Introduction to (Offline) Convex Optimization
讲凸分析基础和投影梯度下降，以及非光滑、非强凸情形的归约。
普林斯顿的其他AI课
- 理解大语言模型 · Understanding Large Language Models
- 深入大语言模型 · Deep Dive into Large Language Models
- 自然语言处理 · Natural Language Processing
- 机器学习导论（课程讲义） · Introduction to Machine Learning (Course Notes)
- 数值计算与机器学习的数学基础 · Mathematics for Numerical Computing and Machine Learning
- 深度学习理论 · Theoretical Deep Learning