强化学习

这门课学什么

课程从马尔可夫决策过程和表格方法讲到策略梯度、深度强化学习、离线强化学习、探索和人类反馈强化学习。作业覆盖基础方法、深度方法和 RLHF。

内容摘要

CS234 是 Emma Brunskill 主讲的强化学习课。公开视频是 2024 年版，共 16 讲。课程主线是两个问题：智能体怎样在不确定环境里通过试错学会决策，以及怎样用尽量少的数据学好。

前 4 讲打基础：马尔可夫决策过程、策略迭代和值迭代、蒙特卡洛与时序差分策略评估、Q 学习和函数逼近，一直讲到深度 Q 网络（DQN）。第 5–7 讲是策略搜索：从 REINFORCE 和基线讲到 actor-critic、广义优势估计和 PPO，并引入模仿学习和逆强化学习。

第 8–10 讲讲从人类反馈和固定数据中学习：最大熵逆强化学习，基于偏好的 RLHF，DPO 作者的客座讲座，以及离线策略评估。第 11–13 讲是本课重点：探索。内容包括多臂老虎机、UCB、Thompson 采样、PAC 分析，以及把这些方法推广到 MDP。第 14 讲讲蒙特卡洛树搜索与 AlphaGo。最后 2 讲讨论价值对齐，并回顾强化学习的实际应用。

作业覆盖表格方法、深度强化学习和 RLHF 3 部分。课程还有期中考试、小测验和一个团队项目，项目包括提案、中期报告、海报和论文。

学完后，学生能实现主流强化学习算法，并能用遗憾（regret）和样本复杂度比较算法。Brunskill 讲课常插入课堂投票和“检查理解”小题，推导和直觉并重。

为什么值得学

这门课重视探索策略和样本效率的理论分析。它和偏工程的强化学习课互补。

课程信息

学校

斯坦福（Stanford）

课程号

CS234

讲师

Emma Brunskill

学期

Spring 2024 (YouTube)

平台

课程官网

费用

免费

难度

高级

先修

需要 Python、微积分、线性代数、概率统计，以及 CS221 或 CS229 程度的机器学习。

材料

视频、幻灯片、作业

许可证

未注明

课程大纲 · 共 16 节

大纲依据：2024 年 YouTube 播放列表（16 讲），摘要参考视频章节标题（查看原始页面 ↗）

1. 1
   强化学习导论Introduction to Reinforcement Learning

   介绍强化学习的成功案例、核心挑战和课程安排。练习把问题写成序贯决策，讨论奖励投机（reward hacking）。

2. 2
   表格型 MDP 规划Tabular MDP Planning

   讲马尔可夫奖励过程和 MDP 的价值函数。推导策略迭代和值迭代，并证明收敛性。

3. 3
   策略评估Policy Evaluation

   在不知道模型时评估策略。讲蒙特卡洛评估、时序差分（TD）学习和确定性等价方法。

4. 4
   Q 学习与函数逼近Q learning and Function Approximation

   讲 ε-贪心探索、蒙特卡洛控制、SARSA 和 Q 学习。用函数逼近处理大状态空间，并介绍 DQN。

5. 5
   策略搜索 1Policy Search 1

   对比基于价值和基于策略的方法。推导似然比形式的策略梯度和 REINFORCE 算法。

6. 6
   策略搜索 2Policy Search 2

   用基线和 critic 降低策略梯度的方差。讲 actor-critic、n 步估计和单调改进理论。

7. 7
   策略搜索 3Policy Search 3

   讲广义优势估计和 PPO。引入模仿学习：行为克隆、DAgger 和逆强化学习。

8. 8
   离线强化学习 1Offline RL 1

   讲最大熵逆强化学习。介绍基于偏好的学习、Bradley-Terry 模型，以及 RLHF 在大语言模型上的用法。

9. 9
   客座讲座：直接偏好优化（DPO）Guest Lecture on DPO

   DPO 的 3 位作者 Rafael Rafailov、Archit Sharma 和 Eric Mitchell 讲怎样绕开奖励模型直接优化偏好。讨论 DPO 与 PPO 的比较和过度优化风险。

10. 10
    离线强化学习 3Offline RL 3

    讲只用历史数据评估和改进策略。介绍基于模型的评估和重要性采样。

11. 11
    探索 1Exploration 1

    引入多臂老虎机和遗憾。讲 ε-贪心的局限、乐观原则和 UCB 算法。

12. 12
    探索 2Exploration 2

    讲 PAC 框架和乐观初始化。介绍贝叶斯老虎机、Thompson 采样和上下文老虎机。

13. 13
    探索 3Exploration 3

    把探索方法推广到 MDP，讲 MBIE-EB 和后验采样强化学习（PSRL）。讨论深度强化学习里的泛化与探索。

14. 14
    多智能体博弈Multi-Agent Game Playing

    讲基于仿真的搜索和蒙特卡洛树搜索（MCTS）。分析 AlphaGo 怎样结合自我对弈、神经网络和 MCTS。

15. 15
    AlphaZero 回顾与价值对齐（客座讲者 Dan Webber）Emma Brunskill & Dan Webber

    先复习 AlphaZero 和 MCTS。随后客座讲者讨论 AI 应该对齐用户偏好还是用户利益，以及个性化和社会层面的对齐问题。

16. 16
    价值对齐（课程总结）Value Alignment

    讲评小测验并回顾全课。用案例练习问题建模，讨论强化学习的实际应用和未来方向。

斯坦福的其他AI课

• 机器学习 · Machine Learning
• 深度学习 · Deep Learning
• 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
• 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
• 图机器学习 · Machine Learning with Graphs
• 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques

← 返回全部AI课　·　← 只看斯坦福