Transformer 联合研讨课

这门课学什么

这是一门研讨课。每次请一位前沿实验室或高校的研究者讲一场 Transformer 相关报告，主题包括大模型、多模态、智能体、机器人和神经科学。

内容摘要

CS25 是一门研讨课，没有固定教材。每周请一位前沿实验室或高校的研究者讲一场 Transformer 报告。课程从 2021 年开到 2026 年，已有 6 期（V1–V6），全部录像合在一个播放列表里。本页大纲取最近一期 V6（2026 年春季）的 9 场报告。

V6 由 Steven Feng、Karan Singh、Michael C. Frank 和 Christopher Manning 组织。第 1 讲由组织者概述 Transformer 的原理和发展，从架构演进讲到预训练、后训练、推理、智能体和多模态应用。之后 8 场报告分成 3 组主题。架构组讲联合嵌入预测架构（JEPA）与世界模型、状态空间模型与 Transformer 的取舍、原生多模态模型。训练与部署组讲数千块 GPU 的并行训练、预训练的新方向和生产环境推理服务。能力与应用组讲参数学习与上下文学习的泛化差异，以及协作式 AI 智能体在科学和医学上的用法。

选课学生的唯一作业是每周出席报告。课程对外开放，校外听众可以通过 Zoom 直播旁听，并用 Slido 在问答环节提问。

看完一期后，学生能了解 Transformer 研究在架构、规模化训练、推理服务和应用上的当前问题。每场报告独立，可以按兴趣挑着看。报告人风格各异：有的讲原理推导，有的讲工程经验。建议先看第 1 讲，因为它统一介绍了后面报告用到的背景。往期也有名家报告，例如 V2 的 Geoffrey Hinton 和 Andrej Karpathy。

为什么值得学

报告人多是一线研究者。看这个系列可以快速了解 Transformer 研究的最新方向。

课程信息

学校

斯坦福（Stanford）

课程号

CS25

讲师

Steven Feng、Karan Singh、Michael C. Frank、Christopher Manning

学期

V1–V6 (2021–2026)

平台

课程官网

费用

免费

难度

中级

先修

需要了解深度学习和注意力机制的基础。

材料

视频、幻灯片

许可证

未注明

课程大纲 · 共 9 节

大纲依据：V6（Spring 2026）报告列表，共 9 场，录像在 video_url 播放列表末尾（查看原始页面 ↗）

1. 1
   Transformer 概述Overview of Transformers

   组织者梳理 AI 架构的演进和 Transformer 的工作原理。概述预训练数据、后训练与推理、智能体，以及幻觉和规模化的挑战。

2. 2
   从表示学习到世界模型：联合嵌入预测架构From Representation Learning to World Modeling through Joint Embedding Predictive Architectures

   Brown 大学的 Hazel Nam 和 Lucas Maes 介绍因果 JEPA 架构，以及基于 JEPA 的世界模型和评估方法。

3. 3
   状态空间模型与 Transformer 的取舍On the Tradeoffs of State Space Models and Transformers

   Albert Gu（CMU、Cartesia AI）比较状态空间模型和 Transformer，讨论混合模型和压缩的作用。他还介绍用动态分块替代固定分词的 H-Net。

4. 4
   超大规模训练：扩展到数千块 GPUThe Ultra-Scale Talk: Scaling Training to Thousands of GPUs

   Nouamane Tazi（Hugging Face）系统讲数据并行、ZeRO 与 FSDP、张量并行、序列并行、流水线并行、上下文并行和专家并行，以及怎样组合它们。

5. 5
   从下一词预测到下一代智能：预训练的未来From Next-Token Prediction to Next-Generation Intelligence: The Future of Pretraining

   Shrimai Prabhumoye（Mistral AI）讨论预训练数据的优化，以及在预训练阶段加入推理数据。她介绍把强化学习当作预训练目标的 RLP 方法和实验结果。

6. 6
   参数学习与上下文学习的不同泛化方式Distinct Modes of Generalization from Parameters and Context, and Paths to Bridge the Gap

   Andrew Lampinen（Anthropic）比较模型从权重学到的知识和从上下文学到的知识在泛化上的差别。他讨论弥合差距的方法，以及与人类学习的联系。

7. 7
   用协作式 AI 智能体推进科学与医学Advancing Science and Medicine with Collaborative AI Agents

   Vivek Natarajan（DeepMind）介绍多个 AI 智能体协作完成科研和医学任务的系统。

8. 8
   从语言模型到原生多模态智能From Language Models to Native Multimodal Intelligence

   Victoria Lin（Thinking Machines）讨论怎样让模型从训练开始就统一处理多种模态，而不是给语言模型外接视觉模块。

9. 9
   部署 Transformer：生产环境推理的实战经验Serving Transformers: Lessons from the Trenches of Production Inference

   Charles Frye（Modal）分享在生产环境中部署大模型推理服务的工程经验。

斯坦福的其他AI课

• 机器学习 · Machine Learning
• 深度学习 · Deep Learning
• 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
• 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
• 图机器学习 · Machine Learning with Graphs
• 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques

← 返回全部AI课　·　← 只看斯坦福