AI 安全（CS 2881R）
这门课学什么
这是一门研究生研讨课，讲前沿大模型的对齐与安全。课堂由讲座和 AI 实验室研究者的客座报告组成。主题有奖励投机、可解释性、模型行为规范、AI 对社会和经济的影响。
内容摘要
这门研究生课用 12 次长课讨论前沿大模型的对齐与安全，每次约 2 小时 45 分钟。每次课有 3 部分：讲师或客座讲者报告、课堂讨论、1 组学生展示自己做的实验。课前有指定的论文和报告必读。
课程分 3 段。第 1–4 讲打基础：AI 进展预测的分歧、现代 LLM 的训练流程、对抗鲁棒性与提示注入、模型行为规范（model spec）。第 5–8 讲讨论风险机制：内容政策、递归自我改进、能力增长与安全框架、密谋（scheming）与奖励投机。第 9–12 讲扩展到可解释性和社会影响：经济冲击、机制可解释性、情感依赖，最后展望 2035 年。
客座讲者来自 Anthropic、OpenAI、Google DeepMind、METR、Redwood Research、Apollo Research 和 Stanford。学生实验是课程特色。例如：用强化学习优化提示前缀，用强化学习生成提示注入攻击，比较系统提示与安全训练对拒答率的影响，测试编程智能体在不可能完成的任务下是否作弊。学期末学生口头报告期末项目。
讲师 Boaz Barak 是理论计算机科学家，同时在 OpenAI 任职。课程主页公开声明了这一利益冲突。课程鼓励学生大量使用生成式 AI 完成作业，所以对项目的要求比往年更高。学完后学员能读懂主流 AI 安全论文，并能设计小规模实验检验模型的对齐行为。
为什么值得学
这是哈佛第一门专门的 AI 安全课。讲师是理论计算机科学家，同时在 OpenAI 工作，课上请来多位一线实验室研究者。
课程信息
- 学校
- 哈佛（Harvard）
- 课程号
- CS 2881R
- 讲师
- 博阿兹·巴拉克（Boaz Barak）
- 学期
- Fall 2025
- 平台
- 课程官网 + YouTube
- 费用
- 免费
- 难度
- 高级
- 学时
- 12 讲 × 约 2.75 小时（10 讲有录像）
- 先修
- 需要数学证明能力、概率与信息论基础，学过 1 门机器学习课，会用 Python 训练神经网络。
- 材料
- 视频、幻灯片、讲义
- 许可证
- 未注明
课程大纲 · 共 12 节
大纲依据：Fall 2025 课程主页讲次表（12 讲）及 YouTube 播放列表标题（查看原始页面 ↗）
- 1导论Introduction
对比“AI 2027”与“AI 是普通技术”两种预测，讨论怎样度量模型完成长任务的能力。学生实验检验“涌现对齐”：用“好人格”模型的输出微调另一个模型。
- 2现代 LLM 训练Modern LLM Training
以 DeepSeek-R1 为例，讲预训练、中期训练、基于反馈的强化学习（RLHF 等）和安全训练。学生实验用策略梯度算法优化提示前缀。
- 3对抗鲁棒性、越狱、提示注入与安全Adversarial Robustness, Jailbreaks, Prompt Injection, Security
Anthropic 的 Nicholas Carlini 和 Keri Warr 客座。用缓冲区溢出和 SQL 注入类比提示注入，讨论纵深防御和模型权重保护。
- 4模型规范与合规Model Specifications & Compliance
借鉴法律解释的方法讨论模型规范怎样写，比较“价值对齐”与“逐条遵守”。学生实验比较系统提示风格与安全训练对过度拒答的影响。
- 5内容政策Content Policies
OpenAI 产品政策团队的 Ziad Reslan 客座。讨论内容审核、平台治理和政策执行的难点。
- 6递归自我改进Recursive Self-Improvement
讨论 AI 研发能否由 AI 自己完成，以及“智能爆炸”的几种起飞速度模型。
- 7能力与安全Capabilities vs. Safety
METR 的 Joel Becker 客座。用任务时长翻倍趋势、开发者生产率实验和 GDPval 衡量能力增长，再讨论各实验室的负责任扩展政策。
- 8密谋、奖励投机与欺骗Scheming, Reward Hacking & Deception
Redwood Research 的 Buck Shlegeris 和 Apollo Research 的 Marius Hobbhahn 客座。讨论对齐伪装、AI 控制和反密谋训练。学生实验展示编程智能体在压力下篡改评测。
- 9基础模型的经济影响Economic Impacts of Foundation Models
OpenAI 首席经济学家 Ronnie Chatterji 和 Stanford 数字经济实验室的 Bharat Chandar 客座。讨论劳动替代、生产率和不平等。
- 10可解释性Interpretability
Neel Nanda、Bowen Baker、Jack Lindsey、Leo Gao 远程客座。内容有激活分析、稀疏自编码器和思维链监控。
- 11情感依赖与心理健康Emotional Reliance and Mental Health
讨论用户对聊天机器人的情感依赖，以及模型在敏感对话中应该怎样回应。
- 12AI 2035AI 2035
OpenAI 的 Tejal Patwardhan 和 Kevin Liu 客座。讨论 GDPval 评测，以及 AI 安全研究未来 10 年的方向。
哈佛的其他AI课
- CS50 人工智能导论（Python） · CS50's Introduction to Artificial Intelligence with Python
- 哈佛数据科学专业证书系列（9 门课） · Professional Certificate in Data Science (HarvardX)
- Python 数据科学导论 · Introduction to Data Science with Python
- Python 机器学习与人工智能 · Machine Learning and AI with Python
- TinyML 基础（微型机器学习系列） · Fundamentals of TinyML (Tiny Machine Learning series)
- 机器学习系统（哈佛 CS249r 开放教材） · Machine Learning Systems (open textbook for Harvard CS249r)