基于人类偏好的机器学习
这门课学什么
课程讲怎样从人的比较和选择中学习：偏好模型、奖励学习、RLHF、直接偏好优化、主动采集偏好，以及偏好聚合的经济学和伦理问题。
内容摘要
这门课把“从人类偏好中学习”当作一门独立学科来讲。偏好学习是大模型对齐的核心技术，但它的理论根源分散在心理测量、离散选择、强化学习、信息检索和规范理论这几个领域。主讲人 Sanmi Koyejo 把这些内容整合成 18 次课，并配一本免费在线教材。
课程分 5 个单元。基础单元讲选择数据、Bradley–Terry 模型、随机效用模型和因子模型。学习单元讲怎样估计偏好模型：最大似然、贝叶斯估计、Fisher 信息与实验设计，然后讲 RLHF 和直接偏好优化（DPO）。行动单元讲系统怎样主动获取偏好：辅助博弈、赌博机、汤普森采样和偏好贝叶斯优化。反演单元讲风格控制和有限理性。聚合单元讲 Arrow 不可能定理和公平问题。
考核偏研究和口头表达。课程项目占 50%，1–3 人一组：先交一份预分析计划，再交 NeurIPS 格式的论文和可复现代码。3 次 15 分钟闭卷小测占 30%，2 次 12 分钟口试占 20%。课程要求出勤，学生还要每周完成一次 15 分钟的 AI 访谈，用来记录学习情况。
学完后，你能为一个面向人的系统设计偏好采集方案，建立偏好模型，并分析多人偏好聚合后的结果是否公平。这是研究生课程，需要机器学习、概率统计、线性代数和 Python 基础。视频只在 Canvas 上。自学建议以教材 mlhp.stanford.edu 为主线，按课表顺序阅读，因为课程内容和教材章节同源。
为什么值得学
偏好学习是大模型对齐的核心。课程配一本免费在线教材 mlhp.stanford.edu。
课程信息
- 学校
- 斯坦福（Stanford）
- 课程号
- CS329H
- 讲师
- Sanmi Koyejo
- 学期
- Autumn 2026
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 先修
- 需要机器学习、概率统计基础。
- 材料
- 幻灯片、教材
- 许可证
- 未注明
课程大纲 · 共 18 节
大纲依据：Autumn 2026 课程表（18 次课，分 5 个单元）（查看原始页面 ↗）
- 1课程介绍与动机Course Introduction & Motivation
说明偏好学习要解决什么问题。介绍它在推荐、个性化和大模型微调中的作用。
- 2选择数据、泛化与 Bradley–Terry 模型Choice Data, Generalization, and Bradley–Terry
讲成对比较数据的形式。介绍最常用的比较概率模型 Bradley–Terry。
- 3随机效用模型与公理化Random Utility Models and Axiomatizations
从“效用加噪声”的角度推出选择模型。讨论刻画理性选择的公理。
- 4因子模型Factor Models
用低维潜在因子表示人和选项。用它刻画不同人之间的偏好差异。
- 5学习预测选择：用最大似然估计潜变量模型Learning to Predict Choice; Latent-Variable Estimation with MLE
讲怎样从选择数据拟合模型。用最大似然估计含潜变量的选择模型。
- 6贝叶斯估计与微调Bayesian Estimation and Finetuning
用先验和后验估计偏好参数。把这套方法联系到模型微调。
- 7Fisher 信息与最优实验设计Fisher Information & Optimal Experimental Design
衡量一次比较能带来多少信息。据此挑选最值得问的问题。
- 8基于人类反馈的强化学习（RLHF）Reinforcement Learning from Human Feedback
先用偏好数据训练奖励模型，再用强化学习优化策略。
- 9直接偏好优化（DPO）Direct Preference Optimization
跳过显式的奖励模型，直接用偏好数据优化语言模型。
- 10大模型的主动偏好采集与案例Active Elicitation for LLMs, and Case Studies
讲怎样为大模型挑选要让人比较的样本。分析实际系统中的案例。
- 11辅助博弈；辅助式赌博机与上下文赌博机Assistance Games; Assisted vs. Contextual Bandits
讲 AI 在不确定人类目标时怎样行动。比较两类赌博机问题的设定。
- 12采集函数与汤普森采样Acquisition Functions & Thompson Sampling
讲在探索和利用之间做取舍的决策规则。重点讲汤普森采样。
- 13对决赌博机与偏好贝叶斯优化Dueling Bandits & Preferential Bayesian Optimization
只能得到“哪个更好”这种反馈时，讲怎样找到最优选项。
- 14风格控制与代理指标Style Control, Surrogates
讨论回答风格对偏好评测的干扰。分析用代理指标代替真实偏好时产生的偏差。
- 15有限理性与可计算的选择Bounded Rationality; Computationally Tractable Choice
人并不总做最优决策。讲模型怎样刻画这种偏差，并保持可计算。
- 16不可能定理：Gibbard–Satterthwaite 与 ArrowImpossibilities: Gibbard–Satterthwaite and Arrow
说明没有一种偏好聚合规则能同时满足全部合理条件。
- 17公平与信息聚合Fairness and Information Aggregation
讲聚合多人偏好时怎样兼顾不同群体。讨论怎样汇总分散在多人手里的信息。
- 18总结与实践建议Summary and Practical Tips
回顾全课内容。给出偏好学习项目的实践建议。
斯坦福的其他AI课
- 机器学习 · Machine Learning
- 深度学习 · Deep Learning
- 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
- 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
- 图机器学习 · Machine Learning with Graphs
- 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques