是的，你应该理解反向传播：一篇为「手写求导」辩护的檄文
一句话
斯坦福 CS231n 的学生抱怨：框架都能自动求导了，为什么作业还要用 numpy 手写反向传播？卡帕西的回答成了一篇名文：因为反向传播是「泄漏的抽象」——你可以不写它，但如果不懂它，你的网络出问题时你连它为什么不学习都看不出来。
文章讲了什么
论点只有一个，火力全部用在三个真实案例上。每个案例的共同结构是：前向传播看起来一切正常，问题全部藏在梯度的流动里——不懂反向传播的人对此完全失明。
- sigmoid 的梯度消失：sigmoid 的局部梯度是 z(1-z)，一旦初始化不当或某层输出饱和到接近 0 或 1，这个乘子就归零，梯度流被整段掐断——损失不降，代码却没有任何一行是「错」的。这也解释了为什么初始化如此讲究。
- ReLU 神经元死亡：ReLU 在输出为零的区域梯度也是零。一次过大的参数更新可能把某个神经元推到对所有数据都不激活的区域，它从此永远得不到梯度、永远无法复活。他打了个令人过目不忘的比方——这是网络的「永久性脑损伤」，实践中一个训练完的网络可能有高达 40% 的神经元是死的。
- RNN 的梯度爆炸/消失：沿时间反传时梯度被同一个循环矩阵反复相乘，等效于连乘其最大特征值——大于 1 就指数爆炸（所以要梯度裁剪），小于 1 就指数消失（所以需要 LSTM）。懂了这个连乘结构，这两个著名技巧就从「玄学偏方」变成了显然的对策。
压轴的例子来自 DeepMind 的 DQN 实现：有人把「裁剪」用在了 Q 值差上而不是梯度上，而 clip 操作在界外的梯度恰好为零——结果误差越大、学习信号反而完全消失。正确做法是用 Huber 损失，裁的是梯度而不是数值。一个对前向传播几乎没有影响的选择，在反向传播里是「能不能学习」的分水岭——而且这个 bug 出自世界顶级实验室的公开代码，足见问题的隐蔽程度。
"The problem with Backpropagation is that it is a leaky abstraction." ——Andrej Karpathy，2016 · 原文 →
写作背景
2016 年底，TensorFlow 发布刚满一年，自动微分第一次变成人人可得的基础设施。「工具都自动化了，底层原理还要不要学」的争论第一次大规模出现——注意，这正是今天「AI 都能写代码了还要不要学编程」之争的上一轮预演，连双方的论据都几乎一模一样。卡帕西作为 CS231n 的主讲人，用这篇文章为「必须亲手推一遍」的教学法一锤定音；三年后的《神经网络训练配方》把同一论点从「懂原理」扩展成了完整的操作纪律。
十年后再看
文中的具体病例老化了——现代架构和优化器（残差连接、归一化、Adam、Transformer）正是为了消灭这些梯度病而设计的，今天你很少再亲手对付死亡 ReLU。但论点本身反而升值了：抽象层越堆越高，泄漏从未消失，只是换了形态——微调不收敛、RLHF 奖励被钻空子、agent 行为诡异，都是新一层的「静默失败」。最好的证据是他自己的行动：2022 年他把这篇文章彻底「实现」成了视频课——Zero to Hero 第 1 讲用 100 行代码从零手写自动求导引擎 micrograd，等于把「你应该理解」升级成「你可以在两小时内彻底理解」。
对你意味着什么
- 学习路径明确：文章 + 课程配套服用。先读原文拿到「为什么要懂」，再跟 micrograd 那讲亲手写一遍「怎么懂」——这是 2026 年入门深度学习最划算的四小时。
- 三个病例当调试词典用：凡是「loss 不降但代码没报错」，先查梯度流——饱和、死区、连乘，十有八九在这三类里。
- 对 vibe coding 时代的启示：他不反对用抽象，反对的是不懂抽象底下的东西就把身家押上去。工具越自动，这个原则越值钱。
延伸阅读
- 英文原文（Medium）
- 第 1 讲：构建 micrograd —— 这篇文章的动手实现版
- 导读：《神经网络训练配方》 —— 同一论点的工程化续篇
- 导读：《RNN 的不合理有效性》 —— 文中 RNN 梯度问题的应用现场