AI 安全与对齐
这门课学什么
这门研讨课围绕一份 AI 风险阅读清单展开。主题包括能力与缩放、奖励设定错误、宪法式 AI、红队测试、可解释性和 AGI 的经济影响。官网公开每个主题的必读和选读材料。
内容摘要
这是一门 AI 安全与对齐的研讨课，开设于 2023 年秋季。课程追问 4 件事：现代 AI 会带来哪些生存性风险和社会风险，怎样让系统符合构建者的意图，业界现在做了什么，这些措施是否够用。主讲人埃拉德·哈赞是优化理论学者。课程刻意不讲 AI 公平性，因为普林斯顿有其他课专门讲。
课程按一份分主题的阅读清单推进，共 10 个主题。前段讲问题从哪来：对齐问题的总体框架、能力随规模增长的规律和对 AGI 时间线的预测。中段讲技术路线：奖励设定错误与目标错误泛化、RLHF 与 Constitutional AI、让模型符合人类伦理、对抗攻击与红队测试、辩论这类博弈论方法、可解释性。后段讲外部影响：AGI 对劳动力市场和经济增长的影响、对计算机安全的影响。最后一个主题专门收录对 AI 风险论的批评，包括 LeCun、Mitchell 等人的反方观点。
每个主题的阅读分 3 层：必读论文、推荐阅读和补充材料。材料来源很杂，有 OpenAI、DeepMind、Anthropic 的论文，也有博客、新闻报道、纪录片评论和公开辩论录像。可解释性一节最细，又分潜在知识发现、激活引导、可解释性与深度学习科学、机制可解释性 4 个小节。
课堂形式是每周 1 次、约 3 小时的研讨。学生分组就选定主题做报告，官网公开了 9 份学生讲稿。课程还计划邀请校外学者演讲。先修要求是 COS 324 或同等的机器学习基础，本科生和研究生都可以选。
学完后，你能画出 2023 年对齐研究的全景图，说清每条技术路线想解决什么问题、证据有多强。你也能理解支持和反对 AI 风险论的主要论点。这份阅读清单至今仍是入门 AI 安全的好索引，不过 2023 年之后的进展需要另外补充。
为什么值得学
课程由机器学习理论学者开设，不是倡导团体。阅读清单也收录了批评 AI 风险论的观点，比较平衡。
课程信息
- 学校
- 普林斯顿（Princeton）
- 课程号
- COS 597Q
- 讲师
- 埃拉德·哈赞（Elad Hazan）
- 学期
- Fall 2023
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 学时
- 每周 1 次 × 约 3 小时
- 先修
- 需要机器学习基础，能读研究论文。
- 材料
- 讲义
- 许可证
- 未注明
课程大纲 · 共 11 节
大纲依据：Fall 2023 课程主页阅读清单的主题顺序（10 个主题），对照 Lectures 页的学生讲稿列表（查看原始页面 ↗）
- 1导论Introduction
从深度学习视角定义对齐问题，阅读 AI 安全的具体问题清单和 2023 年的 AI 风险声明。
- 2能力与规模Capabilities and Scaling
讨论规模定律、GPT-4 的早期能力实验和 AI 时间线预测，并讨论对齐是否随规模变好。
- 3奖励与目标：奖励设定错误、目标错误泛化与 RLHFRewards and Goals: Reward Misspecification and Goal Misgeneralization (RLHF)
讲规格博弈、从人类偏好中学习奖励及其局限，以及奖励正确时目标仍可能泛化错误。
- 4Constitutional AIConstitutional AI
讲用书面原则和 AI 反馈训练无害助手，并对照 InstructGPT 与 HH-RLHF。
- 5理解并对齐伦理Understanding and Aligning Ethics
讨论如何测量模型的道德判断，以及奖励与道德行为之间的取舍。
- 6对抗攻击与红队测试Adversarial attacks and red teaming
讲针对已对齐模型的通用越狱攻击，以及用模型自动生成评测和红队用例。
- 7对齐的博弈论方法Game theoretic approaches to alignment
讲辩论式对齐、可扩展监督和多智能体中的契约机制。
- 8可解释性Interpretability
讲无监督发现潜在知识、激活引导、知识定位与编辑，以及电路级的机制可解释性。
- 9AGI 的经济影响Economic implications of AGI
讨论大模型对劳动力市场的冲击，以及变革性 AI 下的经济增长模型。
- 10AGI 对黑客攻防与计算机安全的影响AGI implications for hacking / computer security
看大模型用于智能合约审计和攻破防御系统的案例。
- 11对 AI 风险与安全的批评Criticism on AI risk and safety
汇集反对生存风险论的论证和 AI 伦理学界的批评，并看 Munk 公开辩论。
普林斯顿的其他AI课
- 理解大语言模型 · Understanding Large Language Models
- 深入大语言模型 · Deep Dive into Large Language Models
- 自然语言处理 · Natural Language Processing
- 机器学习导论（课程讲义） · Introduction to Machine Learning (Course Notes)
- 数值计算与机器学习的数学基础 · Mathematics for Numerical Computing and Machine Learning
- 深度学习理论 · Theoretical Deep Learning