「我们在召唤幽灵，不是养动物」：卡帕西回应 Sutton 的 Bitter Lesson 之问
一句话
强化学习之父、《苦涩的教训》作者 Richard Sutton 在播客上质疑 LLM 路线不符合他自己的教训。卡帕西发长推回应，给出了 2025 年最出圈的比喻：动物是进化训练出来的，而我们正在造的 AI 是在人类数据上模仿训练出来的——不是动物，是幽灵。
他说了什么
Sutton 的批评是：LLM 依赖有限的人类数据和每个环节的人工干预，而真正的智能应该像动物一样，从与环境的持续交互中自己学出来。卡帕西说他部分认同这个理想，但指出工程现实——没有人能真正复刻几十亿年的进化，预训练是解决「冷启动」的实用替代品：
"pretraining is our crappy evolution" —— @karpathy，2025-10-01 · 查看原推 →
他进一步展开：动物出生自带进化压缩好的先验，再叠加终身学习；LLM 则从头到尾被人类数据浸透和塑造，是「彻底被人类工程化」的产物。所以别用动物的标准去评判它——它是另一种智能形态，一个从互联网文本中召唤出来的幽灵。他同日在博客发布了同名长文 Animals vs Ghosts，并留了一个开放问题：幽灵能不能通过后续训练慢慢长得更像动物？还是会永久分化成一种不同但同样有价值的东西？
背景：一场隔空的路线之争
Sutton 2019 年的短文《The Bitter Lesson》几乎是这一代 AI 研究者的圣经：依赖人类知识的巧办法终将输给依赖算力的通用方法。吊诡的是，LLM 阵营一直自认是这条教训的最佳践行者，而 Sutton 本人却在 2025 年 9 月底的 Dwarkesh Patel 播客上说 LLM「还不够苦涩」——它们学的是人类数据，不是世界本身。卡帕西这条回应，等于替整个 LLM 路线接下了来自祖师爷的质疑：不辩护「LLM 就是动物」，而是承认它根本不是动物，并论证这条路依然成立。
它引发了什么
- 「召唤幽灵」进入主流话语：两周后卡帕西本人上 Dwarkesh 播客，节目直接以「We're summoning ghosts, not building animals」作为标题之一；此后「ghost」成为描述 LLM 本性的常用词。
- 路线讨论升级：支持者认为这个框架诚实地界定了 LLM 的能与不能；Sutton 一派则继续追问：不会持续学习、没有内在目标的幽灵，算不算通往真智能的路。
- 与他后续观点串联：这条推里的「先验 vs 数据」思路，直接铺垫了他两周后关于 AGI 时间线、持续学习缺失的系统论述。
对你意味着什么
- 用「幽灵观」用好 LLM：它是人类数据的镜像，最擅长模仿数据里已有的人类技能。写提示词的本质，是从这个集体幽灵中唤起你需要的那个「人格」——这比把它当全知神谕有效得多。
- 给 agent 产品补上动物缺的件：幽灵没有内在驱动、不会持续学习。做 AI agent 产品的人要自己搭记忆、反馈和环境交互的脚手架——这正是当下独立开发者的机会窗口。
- 读经典要读出张力：Bitter Lesson 不是教条。祖师爷和最强实践者可以对同一篇文章得出相反结论——这种一手争论比任何二手课程都更值得追。
延伸
- 博文：Animals vs Ghosts —— 本条推文的完整长文版
- 导读：《动物与幽灵》长文 —— 博文的中文思想地图
- Dwarkesh 播客：Richard Sutton 谈 Bitter Lesson —— 引发本推的源头访谈
- 解读：「AGI 还有十年」 —— 两周后他自己的播客与万字澄清
- 解读：RLHF is just barely RL —— 他对「真 RL」与人类数据的早期辨析
- 解读：LLM 是造梦机 —— 同一「幽灵观」的另一个侧面