基于深度学习的自然语言处理

这门课学什么

课程从词向量和依存句法分析讲起，经过 RNN、注意力和 Transformer，到预训练、后训练和大模型评测。作业用 PyTorch 完成，最后做一个项目。

内容摘要

CS224N 是斯坦福基于深度学习的自然语言处理（NLP）课。2024 年春季版由 Christopher Manning 主讲，共 18 讲，其中 8 讲由客座讲者或助教讲。课程主线是语言模型的演进：从词向量到 Transformer，再到大语言模型的训练、评测和应用。

前 6 讲打基础。课程从 word2vec 和 GloVe 词向量讲起，复习反向传播，用神经依存句法分析做第一个结构预测任务，再讲 RNN、LSTM 和序列到序列机器翻译。第 7–9 讲是转折点：引入注意力机制、自注意力和 Transformer，再讲预训练模型。

第 10–15 讲聚焦大模型：后训练（指令微调、RLHF、DPO）、评测基准、高效训练、推理与智能体、DPO 之后的对齐方法，另有 1 讲介绍语音脑机接口。最后 3 讲回到语言本身：卷积网络与树结构递归网络、负责任的 NLP，以及 NLP 与语言学、哲学的关系。

课程有 4 次作业，用 PyTorch 完成：词向量，神经网络基础与依存句法分析，神经机器翻译，Transformer 预训练与微调。期末项目占总成绩 49%。学生可以选默认项目：实现 BERT 的部分模块，并用于 3 个下游任务。学生也可以自定课题。

学完后，学生能实现主流 NLP 模型，能读懂大模型论文，并能独立完成一个研究型项目。Manning 讲课重视语言学直觉，常把模型设计放回“语言是什么”的问题里讨论。

为什么值得学

主讲人 Christopher Manning 是 NLP 领域引用最高的学者之一。每一版公开视频都跟上了大模型的最新变化。

课程信息

学校

斯坦福（Stanford）

课程号

CS224N

讲师

Christopher Manning

学期

Spring 2024 (YouTube)

平台

课程官网

费用

免费

难度

中级

先修

需要 Python、线性代数、概率和 CS229 程度的机器学习基础。

材料

视频、讲义、幻灯片、作业、代码

许可证

未注明

课程大纲 · 共 18 节

大纲依据：Spring 2024 课程表（18 讲，存档页）（查看原始页面 ↗）

1. 1
   词向量Word Vectors

   介绍课程和人类语言的特点。讲 word2vec 怎样用上下文学习词的向量表示。

2. 2
   词向量与语言模型Word Vectors and Language Models

   讲词向量的训练细节、GloVe 和评估方法。引入语言模型的概念。

3. 3
   反向传播与神经网络基础Backpropagation and Neural Network Basics

   用矩阵求导推导神经网络的梯度。讲计算图和反向传播的实现。

4. 4
   依存句法分析Dependency Parsing

   讲句法结构和依存语法。介绍基于转移的依存分析器，以及用神经网络预测转移动作。

5. 5
   循环神经网络Recurrent Neural Networks

   用 n-gram 和神经网络建语言模型。讲 RNN、梯度消失和 LSTM。

6. 6
   序列到序列模型与机器翻译Sequence to Sequence Models and Machine Translation

   讲神经机器翻译的编码器—解码器结构、束搜索和 BLEU 评测。

7. 7
   期末项目与大模型导论Final Projects and LLM Intro

   讲注意力机制。介绍期末项目的选题方式，并概述大语言模型。

8. 8
   TransformerTransformers

   客座讲者 Anna Goldie 从注意力推到自注意力。讲 Transformer 的位置表示、多头注意力和层结构。

9. 9
   预训练Pretraining

   讲子词切分和预训练思想。对比编码器、解码器、编码器—解码器 3 类预训练模型。

10. 10
    后训练（RLHF、SFT、DPO）Post-training (RLHF, SFT, DPO)

    客座讲者 Archit Sharma 讲指令微调、基于人类反馈的强化学习和直接偏好优化（DPO）。说明怎样把预训练模型变成助手。

11. 11
    基准与评测Benchmarking and Evaluation

    客座讲者 Yann Dubois 讲 NLP 模型的评测方法，包括封闭式基准和开放式生成评测，并讨论评测的局限。

12. 12
    高效神经网络训练Efficient Neural Network Training

    助教 Shikhar Murty 讲混合精度、多 GPU 并行和参数高效微调。

13. 13
    语音脑机接口Speech Brain-Computer Interface

    客座讲者 Chaofei Fan 讲怎样用神经网络把大脑信号解码成文字和语音。

14. 14
    推理与智能体Reasoning and Agents

    Shikhar Murty 讲大模型的推理方法，以及语言模型智能体怎样调用工具、在环境中完成任务。

15. 15
    DPO 之后Life after DPO

    客座讲者 Nathan Lambert 讲开放模型的对齐实践，讨论 DPO 之后的偏好优化方法和数据问题。

16. 16
    卷积网络、树结构递归网络与成分句法分析ConvNets, Tree Recursive Neural Networks and Constituency Parsing

    讲卷积网络用于文本分类。讲树结构递归网络和成分句法分析。

17. 17
    负责任的 NLP 导论An Introduction to Responsible NLP

    客座讲者 Adina Williams 讨论 NLP 系统的偏见、公平和社会影响。

18. 18
    NLP、语言学与哲学NLP, Linguistics, and Philosophy

    Manning 讨论大模型是否理解语言、意义从哪里来，并展望 NLP 的未来。

斯坦福的其他AI课

• 机器学习 · Machine Learning
• 深度学习 · Deep Learning
• 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
• 图机器学习 · Machine Learning with Graphs
• 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques
• 强化学习 · Reinforcement Learning

← 返回全部AI课　·　← 只看斯坦福