所罗门诺夫归纳法：贝叶斯主义的理想极限

简要介绍

所罗门诺夫归纳法（Solomonoff Induction）是人工智能与认识论中的一个核心概念，它提供了一种形式化的归纳推理理论。正如定义所述，它是一种对所有可计算理论按先验 $2^{-|T|}$ 加权平均的纯粹贝叶斯主义形式。其中，$|T|$ 代表理论 $T$ 的柯尔莫哥洛夫复杂度（即生成该理论的最短程序长度）。这种方法旨在通过数学公式，解决“如何从有限数据中预测未来”这一根本性问题，被誉为归纳推理的“黄金标准”。

核心知识点

* 通用先验分布：所罗门诺夫归纳法不依赖主观经验设定先验概率，而是赋予所有可计算假设一个客观的通用先验。理论越简单（程序越短），其先验概率越高，这形式化了“奥卡姆剃刀”原则。
* 加权平均预测：对于任何观察序列，该算法计算所有能解释该序列的可计算理论的加权平均值，从而预测下一个比特。权重严格遵循 $2^{-|T|}$ 的指数衰减规律。
* 不可计算性：尽管在理论上完美，但由于柯尔莫哥洛夫复杂度本身是不可计算的，所罗门诺夫归纳法在物理上无法完全实现。它更多是一个理想化的数学模型，用于界定智能推理的上限。

与《贝叶斯的博弈》的关联

在《贝叶斯的博弈》一书的语境中，贝叶斯推理常被描述为智能体在不确定性下更新信念的博弈过程。书中探讨了传统贝叶斯主义面临的挑战：先验概率的主观性往往导致推理结果的偏差。

所罗门诺夫归纳法在此背景下，被视为解决这一博弈的“终极策略”。它消除了人类主观设定先验的随意性，将“简单性”作为唯一的先验准则。书中若涉及理性决策的极限，所罗门诺夫归纳法便代表了理想理性人的模型——它不依赖直觉，仅凭逻辑复杂度进行加权。这种关联揭示了贝叶斯博弈的深层含义：真正的理性不仅是更新信念，更是如何在缺乏先验知识时，通过算法结构本身建立最可靠的预测基准。

总结

所罗门诺夫归纳法不仅是算法的极限，更是哲学上对“理性”的极致定义。它告诉我们，在最纯粹的贝叶斯框架下，简单性即是最高概率。