自然语言处理

这门课学什么

这是普林斯顿的本科 NLP 课。内容从 n-gram 语言模型和词向量讲到 Transformer、预训练、后训练和语言智能体。官网公开讲义幻灯片、习题课幻灯片和 4 次作业。

内容摘要

这是普林斯顿的本科自然语言处理（NLP）课。2026 年版由 Tri Dao 和 Karthik Narasimhan 主讲。课程把 NLP 的经典脉络和大模型时代的工程实践连成一条线。前半学期从统计语言模型讲到 Transformer，后半学期讲 LLM 的训练、对齐、智能体和系统。

课程分 4 段。第 1 段打基础：n-gram 语言模型、逻辑回归文本分类、词向量（word2vec）和前馈神经网络。第 2 段讲序列建模：隐马尔可夫模型、循环神经网络（RNN）、seq2seq 与注意力，再到 Transformer 和 BERT、GPT 这类预训练模型，这一段以期中考试收尾。第 3 段讲大语言模型：T5、GPT-3、思维链、指令微调与 RLHF、DPO、LoRA，以及 ReAct、SWE-agent 这类语言智能体。第 4 段讲系统：LLM 训练的并行与显存计算、推理加速，再配合推理专题和 3 场客座讲座。

考核包括 4 次作业、1 次期中考试和期末项目。4 次作业依次覆盖语言模型与文本分类、序列模型与 RNN、Transformer 与注意力、LLM 系统与智能体。作业都含书面推导和 Python 编程，使用 NumPy 和 PyTorch。第 4 次作业附带 GPU 内核优化排行榜。期末项目由 3 人一组完成：复现近 5 年的 NLP 顶会论文，或经批准做原创研究，最后交会议格式论文并做海报展示。

每周五有习题课，配套幻灯片也在官网公开。课程允许在编程部分使用代码助手，但要求注明；理论部分禁止使用 LLM。

学完后，你能从零实现语言模型、RNN 和 Transformer 的关键模块。你能理解 LLM 后训练和推理系统的基本原理，并能独立复现一篇 NLP 论文。主讲人 Tri Dao 是 FlashAttention 的作者，系统部分是这一版的特色。先修要求是 COS 324 机器学习和线性代数、概率、多元微积分。

为什么值得学

课程由普林斯顿 NLP 组开设。2026 版由 FlashAttention 作者 Tri Dao 加入讲授 LLM 训练与推理系统。

课程信息

学校

普林斯顿（Princeton）

课程号

COS 484

讲师

Tri Dao、Karthik Narasimhan

学期

Spring 2026

平台

课程官网

费用

免费

难度

中级

先修

需要机器学习入门（如 COS 324）、Python 编程和线性代数。

材料

幻灯片、作业、讲义

许可证

未注明

课程大纲 · 共 23 节

大纲依据：Spring 2026 课程表（Schedule 表格，不含周五习题课）（查看原始页面 ↗）

1. 1
   导论与语言模型Introduction + Language Models

   概览 NLP 的发展，讲 n-gram 语言模型和困惑度。

2. 2
   文本分类Text classification

   用逻辑回归做文本分类，讲特征表示和交叉熵损失。

3. 3
   词向量Word Embeddings

   讲分布式语义和 word2vec，包括负采样训练。

4. 4
   面向 NLP 的神经网络Neural Networks for NLP

   讲前馈神经网络、反向传播和神经语言模型。

5. 5
   序列模型Sequence Models

   讲隐马尔可夫模型和维特比解码，用于词性标注这类序列标注任务。

6. 6
   循环神经网络Recurrent neural networks

   讲 RNN 和 LSTM 的结构、训练难点和文本生成。

7. 7
   Seq2Seq 模型与注意力Seq2Seq models + Attention

   以机器翻译为例，讲编码器–解码器结构和注意力机制的由来。

8. 8
   Transformer（一）Transformers 1

   讲自注意力、多头注意力和位置编码，逐层拆解 Transformer。

9. 9
   Transformer（二）Transformers 2

   讲高效 Transformer 变体和 Vision Transformer，本讲以录像形式提供。

10. 10
    上下文表示与预训练Contextualized representations + Pre-Training

    讲 ELMo、GPT 和 BERT，理解预训练加微调的范式。

11. 11
    期中复习Midterm Review

    复习前 10 讲的要点和题型。

12. 12
    期中考试（线下）Midterm (in person)

    课堂闭卷考试。

13. 13
    大语言模型Large Language Models (LLMs)

    讲 T5、GPT-3 和 GPT-4，以及少样本提示和思维链。

14. 14
    LLM 后训练LLMs: Post-training

    以 InstructGPT 为例，讲指令微调和基于人类反馈的强化学习（RLHF）。

15. 15
    LLM 进阶技术LLMs: advanced techniques

    讲直接偏好优化（DPO）、SimPO 和低秩适配（LoRA）。

16. 16
    语言智能体Language Agents

    讲 ReAct、思维树和 SWE-agent，并用 SWE-bench 评测智能体修复真实代码的能力。

17. 17
    LLM 训练系统Systems for LLM training

    讲训练所需的算力和显存估算，以及多 GPU 并行策略。

18. 18
    LLM 推理系统Systems for LLM inference

    讲推理阶段的瓶颈、KV 缓存和加速方法。

19. 19
    客座讲座：更安全的 LLM 与 AI 智能体（李磊，卡内基梅隆大学）Guest Lecture: Toward Safer LLMs and AI Agents (Lei Li, CMU)

    讨论大模型和智能体的安全风险与防护思路。本讲只在线上举行，有录像。

20. 20
    LLM 推理能力Reasoning with LLMs

    讲如何让大模型完成多步推理任务。

21. 21
    客座讲座（Xingyu Fu，普林斯顿）Guest lecture (Xingyu Fu, Princeton)

    官网未公布讲题。

22. 22
    客座讲座（Ofir Press，Meta）Guest lecture (Ofir Press, Meta)

    官网未公布讲题。本讲只在线上举行。

23. 23
    期末项目海报展示Project poster presentations

    各组以海报形式展示期末项目。

普林斯顿的其他AI课

• 理解大语言模型 · Understanding Large Language Models
• 深入大语言模型 · Deep Dive into Large Language Models
• 机器学习导论（课程讲义） · Introduction to Machine Learning (Course Notes)
• 数值计算与机器学习的数学基础 · Mathematics for Numerical Computing and Machine Learning
• 深度学习理论 · Theoretical Deep Learning
• 理论机器学习 · Theoretical Machine Learning

← 返回全部AI课　·　← 只看普林斯顿