柏拉图的“理念论”解决了我们如何知道一个物体，比如桌子，就是它本身，即使我们从未见过它，并且即使它看起来与我们见过的任何桌子都完全不同。
柏拉图的答案是，一张桌子之所以具有“桌子性”，是因为它参与了完美的“桌子理念”。这个理念是一个理想的、绝对的、永恒的实体，是桌子性的本质，但我们无法直接体验。
在《洞穴寓言》中，柏拉图曾著名地解释说，理念世界不是人类感官可以触及的，我们所经历的一切都是理念的不完美阴影，仿佛它们被火光投射在洞穴的墙壁上。
柏拉图的理念论在现代宇宙观中并不存在，我们通过科学的迭代过程直接或间接地体验并理解宇宙。通过这种方式，人类倾向于就宇宙的构成及其行为达成一致。
精选数据
然而，人工智能系统，如大型语言模型和机器视觉系统，则以不同的方式了解世界。它们所知的一切都来自精选的词语、图像和其他形式的数据集。
这就引发了一个问题：这些系统最终是否会拥有相似的“世界观”？以及随着人工智能系统能力的增强，这些观点是否会趋于一致？
现在，得益于马萨诸塞州剑桥市麻省理工学院的 Minyoung Huh 及其同事的工作，我们得到了这个问题的答案。该研究小组表示，随着神经网络变得越来越强大，它们对世界的表征正在变得越来越一致。这似乎适用于所有类型的模型，无论是视觉系统、语言模型还是其他系统。
他们说：“这种相似性跨越了不同的模型架构、训练目标，甚至是数据模态。”他们补充说，他们认为他们知道这种趋同发生的原因以及它将走向何方。
这时，柏拉图的理念论就派上用场了。Huh 和同事们认为，这些系统趋同的原因在于它们都在试图获得对同一现实的表征。这个现实产生了用于训练这些模型的数据点，因此模型在这些数据的表征上变得一致也就不足为奇了。
他们说：“我们称这种趋同的假设性表征为‘柏拉图式表征’，以纪念柏拉图的《洞穴寓言》以及他对一个理想现实的看法，这个理想现实是我们感觉的基础。”
研究团队接着使用将世界表征为向量及其相互关系的神经网络来检验这一假设。例如，表示词语的一种方法是查看一个词出现在另一个词之后的概率，然后是另一个词，最终是所有其他词。这组概率可以表示为一个向量，将该词放置在一个多维向量空间中的特定位置。
通过这种方法，计算机科学家可以研究在这个向量空间中出现的模式。他们发现，功能相似的词语常常形成簇；例如，颜色或积极和消极的情绪。
词语在这个向量空间中的位置在不同语言之间基本保持不变。因此，将句子从一种语言翻译成另一种语言的过程等同于将一种语言空间中词语之间链接的模式映射到另一种语言空间中的相同模式。
在图像上训练的神经网络产生了类似的向量表征。
这使得 Huh 和同事能够测量这些空间中相似概念之间的距离，然后进行比较。他们发现，“不同神经网络表示数据的方式正变得越来越一致。”而这种一致性随着网络的规模和能力的增强而提高。
Huh 和同事说：“这表明模型的一致性将随着时间的推移而增加——我们可以预期下一代更大、更好的模型将更加一致。”
人类感知
更重要的是，这些系统也正在与人脑感知世界的方式趋于一致。Huh 和同事表示，这不应令人惊讶。“尽管媒介可能不同——硅晶体管与生物神经元——但大脑和机器面临的基本问题是相同的：高效地提取和理解图像、文本、声音等背后的潜在结构。”
研究人员利用这种思考神经网络的方式做出了一些 remarkable 的预测。例如，他们指出，神经网络通过寻找一个适合给定数据集的简单表征来工作。
这种对简单性的偏好表明，随着模型变得越来越大，它们应该会趋于更小的解决方案空间。他们说，这个过程的终点应该是一个基于底层世界统计属性的统一模型。Huh 和同事说：“我们假设这种趋同正在朝着一个共享的现实统计模型发展，类似于柏拉图关于理想现实的概念。”
这种方法的一个局限性是，这项工作侧重于语言和图像数据集，而有许多其他类型的感知可能无法以相同的方式对齐。例如，很难想象触觉或嗅觉如何能与图像或文字数据库对齐。
但这项工作表明，这些不同的模态或感知有助于构建一个更好的现实世界模型。这与所谓的“安娜·卡列尼娜情景”一致，该情景基于托尔斯泰小说中的名言：“所有幸福的家庭都一样；不幸的家庭各有各的不幸。”
Huh 和同事表示，本着这种精神，所有大型神经网络都有相似的优点，而所有小型神经网络则各有各的缺点。令人震惊的含义是，尽管人类和计算机目前感知世界的方式不同，但总有一天，这种感知将基本相同。柏拉图一定会赞同！
参考：柏拉图式表征假说：https://arxiv.org/abs/2405.07987
