第 27 天 · 给智能一个公式：所有环境里的加权得分

一句话

Legg 在 Marcus Hutter 指导下完成这篇博士论文。他汇总约 70 条智能定义，提炼出“在广泛环境中达成目标的能力”，再把它写成公式：智能体在所有可计算环境中的期望奖励，按环境的柯氏复杂度加权求和。

论文讲了什么

这篇约 200 页的博士论文要回答一个看似哲学的问题：“智能”能不能被精确定义和测量？Legg 的答案是能，而且只需要一个公式。

第 1 章是文献综述。Legg 收集了心理学家、AI 研究者和词典给出的约 70 条智能定义，提炼出共同点，写成一句非正式定义：智能衡量的是“an agent’s ability to achieve goals in a wide range of environments”（Legg 2008，第 1 章）

第 2 章介绍理论工具：Solomonoff 归纳和 Hutter 的 AIXI 智能体。智能体（agent）与环境（environment）循环交互：智能体输出动作，环境返回观测和奖励。第 3 章给环境分类，从被动的序列预测一直到遍历马尔可夫决策过程。

第 4 章是全文核心，提出通用智能度量（universal intelligence measure）：

Υ(π) = Σ_μ 2^(−K(μ)) · V_μ^π

• μ 遍历所有可计算环境。每个环境给出的奖励总和不超过 1。
• K(μ) 是环境 μ 的柯氏复杂度。描述每多 1 位，权重减半，所以简单环境权重大。
• V_μ^π 是智能体 π 在环境 μ 中的期望总奖励。

这个公式把非正式定义的 3 个部分逐一翻译：“广泛环境”变成“所有可计算环境”，“达成目标”变成“拿到奖励”，奥卡姆剃刀变成 2^(−K) 权重。Legg 用它给不同智能体排序：随机智能体在大多数环境中得分很低；只会下国际象棋的专用程序只在极少数环境中得分；去掉折扣、改在奖励有界环境上运行的 AIXI 按构造取得最大值。因此 Υ 存在理论上界。

第 5 章讨论可计算智能体的极限，给出 2 个结果：

• 能学会预测所有复杂度不超过 n 的可计算序列的预测器，本身的复杂度必须大于约 n。简单而通用的强预测器不存在。
• 在任何足够强的一致形式系统里，超过某个复杂度后，无法证明一个具体算法是这样的强预测器。Legg 估计，对合理的选择，这个界约为 1000 位。

他由此得出结论：通用预测算法的研究最终要靠实验，而不是靠数学推导。

第 6 章给出一个具体算法：从统计原理推导出不需要手调学习率的时序差分（TD）更新规则。第 7 章讨论 3 个问题：超级智能是否可能，怎样实现（他看好借鉴大脑新皮层的路线），以及建造它是否安全。

关键概念

通用智能度量（Universal intelligence measure）

记作 Υ(π)：智能体在所有可计算、奖励有界的环境中的期望奖励，按 <code>2^(−K(μ))</code> 加权求和。它不可计算，是一个理论定义。

智能体-环境框架（Agent–environment framework）

智能体每一步输出动作，环境返回观测和奖励，循环往复。它与强化学习的设定相同，所以 Legg 的定义可以直接套到强化学习智能体上。

AIXI

Hutter 提出的理论智能体。它用 Solomonoff 先验混合所有可计算环境，每一步选择期望未来奖励最大的动作。它不可计算，但给出了最优行为的参照。

通用先验（Universal prior）

用 <code>2^(−K)</code> 给假设或环境赋先验概率，是奥卡姆剃刀的形式化。描述多 1 位，先验减半。它让无穷多个环境的加权和收敛，并让简单环境主导总分。

奖励有界环境（Reward-summable environment）

总奖励之和不超过 1 的环境。这个约束让每个 V 都有限，所以公式不需要折扣因子。时间偏好被吸收进环境本身。

帕累托最优（Pareto optimality）

不存在另一个智能体，在所有环境中都不比它差，并且至少在一个环境中更好。论文引用并证明：AIXI 类智能体满足这一性质。

历史位置：为什么值得读

Legg 在瑞士卢加诺的 IDSIA 研究所读博，导师是 Marcus Hutter，答辩委员会成员包括 Jürgen Schmidhuber。论文延续了 Hutter 2005 年的著作《Universal Artificial Intelligence》。第 4 章的定义此前以 Legg 和 Hutter 2007 年的论文《Universal Intelligence: A Definition of Machine Intelligence》发表。

这篇论文的影响更多来自作者后来的工作。2010 年，Legg 与 Demis Hassabis、Mustafa Suleyman 共同创立 DeepMind，目标就是通用人工智能。DeepMind 早期押注“深度网络 + 强化学习”，正好对应论文里“智能体在环境中拿奖励”的框架。第 7 章提出的安全问题，Legg 在 DeepMind 一直持续推动。

在清单里，本篇是第 26 天柯氏复杂度的直接应用，也是第 29–30 天的铺垫。第 29 天的 PPO 是让智能体高效拿奖励的算法。第 30 天的 RLHF 讨论奖励从哪里来，Legg 本人就是那篇论文的作者之一。

学前准备

• 先看第 26 天，掌握柯氏复杂度和 2^-K 先验
• 了解强化学习的基本循环：状态、动作、奖励、回报
• 知道贝叶斯公式和“先验 × 似然”的含义
• 能接受无穷求和与不可计算对象，不急于写代码

在原仓库怎么学

仓库只在少数手写环境上近似 Υ，并用人为指定的程序长度代替 K。

1. README.md：看本日的内容安排和文件清单。
2. setup.py：运行它，检查依赖是否可用。
3. implementation.py：按顺序读。先读 Environment 和 Agent 两个抽象类，再读 GridWorld 和 PatternSequence 两个环境。然后读 UniversalIntelligenceMeasure，它近似计算 Υ。最后读 RandomAgent、SimpleRLAgent、PredictiveAgent 3 个智能体。
4. data/：查看 example_program.txt，它是一个代表环境规则的示例比特串。
5. train_minimal.py：对所有智能体运行基准测试，比较它们的智能得分排序。
6. visualization.py：画智能体表现随环境复杂度变化的图，对照目录里的 intelligence_spectrum.png。
7. notebook.ipynb：在笔记本里逐步运行上面的流程。
8. exercises/：做 5 个练习，依次是加权奖励求和公式、设计环境、ε-贪心智能体的智能得分、模式识别智能体、用计算实验验证不变性定理。答案在 exercises/solutions/。

今天再看

2026 年回看，Legg 的工作有 3 种命运：

• 框架活着：“智能体-环境-奖励”循环仍是强化学习和大语言模型智能体的共同语言。
• 具体公式受到质疑：2015 年，Leike 和 Hutter 证明，换一台参考通用图灵机，AIXI 的表现可以变得任意差。所以 Υ 的数值依赖人为选择。2019 年，Chollet 在《On the Measure of Intelligence》里提出另一种定义：智能是获取新技能的效率，要扣除先验知识和经验量。他据此设计了 ARC 基准。
• 测量问题更紧迫：今天的大语言模型在几百个基准上接受评测。这本质上是用一个有限、人选的环境集合近似 Legg 的“所有环境”。2023 年 DeepMind 提出“AGI 等级”框架，把通用性和性能分开打分，Legg 是作者之一。

容易卡住的地方

• 想把 Υ 精确算出来：Υ 包含柯氏复杂度和无穷求和，不可计算。仓库和后续研究只做近似：选一台小的参考机器，采样短程序当环境，再求加权平均。
• 忽略奖励有界的条件：环境的奖励总和没有上界时，V 会发散，加权和失去意义。实现时要把每个环境的总奖励归一化到不超过 1。
• 把 Υ 等同于 IQ：IQ 测的是人在人群中的相对排名，题目为人类设计。Υ 是绝对量，对人和机器用同一套环境，并且简单环境的权重最大。
• 低估参考机的影响：不变性定理只保证复杂度相差一个常数。对有限的环境集合，这个常数足以改变智能体的排序。读第 4.4 节时，留意 Legg 怎样回应这类批评。

延伸阅读

• 原论文：Machine Super Intelligence
• 原仓库第 27 天目录：27_MSI/ —— 代码、笔记本、练习与答案（英文）
• Universal Intelligence: A Definition of Machine Intelligence —— 第 4 章内容的期刊版，篇幅更短
• Bad Universal Priors and Notions of Optimality —— Leike 与 Hutter：参考机选择可让 AIXI 变差
• On the Measure of Intelligence —— Chollet：技能获取效率与 ARC 基准

← 返回 30 天目录