布莱恩·克里斯蒂安 (Brian Christian) 在其 2020 年出版的《对齐问题：机器学习与人类价值观》(The Alignment Problem: Machine Learning and Human Values) 一书的序言中，讲述了人工神经网络概念的起源。1942 年，少年数学家兼逻辑学家沃尔特·皮茨 (Walter Pitts) 和中年神经学家沃伦·麦卡洛克 (Warren McCulloch) 合作，共同揭开大脑运作的奥秘。当时已知，神经元因激活阈值而放电或不放电。
“如果一个神经元的输入总和超过了激活阈值，那么该神经元就会放电；否则，它就不会放电，”克里斯蒂安解释道。
麦卡洛克和皮茨立刻看到了激活阈值中的逻辑——神经元的脉冲，其开和关的状态，是一种逻辑门。在他们早期合作的 1943 年论文中，他们写道：“由于神经活动的‘全或无’特性，神经事件及其相互关系可以通过命题逻辑来处理。”大脑，他们意识到，是一种细胞机器，克里斯蒂安说，“脉冲的存在或缺失表示开或关，是或否，真或假。这正是神经网络的诞生地。”
大脑模型，而非复制品
所以人工智能 (AI) 是受人脑启发的，但它与大脑究竟有多像？深度学习和人工神经网络领域的先驱约书亚·本吉奥 (Yoshua Bengio) 小心翼翼地指出，人工智能是大脑运作的模型，而非复制品。
“现在使用的神经网络的设计中融入了许多来自大脑的灵感，”蒙特利尔大学计算机科学教授兼 Mila-Quebec AI 研究所科学主任本吉奥说，“但我们构建的系统在许多方面也与大脑大相径庭。”他解释说，例如，最先进的 AI 系统不使用脉冲，而是使用浮点数。“工程方面的人不关心尝试重现大脑中的任何东西，”他说，“他们只是想做一些能起作用的事情。”
阅读更多： 人工智能的优缺点
但正如克里斯蒂安所指出的，人工神经网络的运作方式与生物神经网络的运作方式惊人地相似。兰德尔·奥莱利 (Randall O'Reilly) 同意这些程序并非完全与大脑相同，但他表示：“神经网络模型比计算层面上的纯粹抽象描述更贴近大脑实际的‘运作方式’。”
奥莱利是加州大学戴维斯分校的神经科学家和计算机科学家。“这些模型中的单元做的事情与大脑中实际神经元做的事情有些相似，”他说，“这不仅仅是一个类比或比喻。在那个层面确实存在一些共同之处。”
与人工智能相似
为大型语言模型（如 GPT3 和 ChatGPT）提供支持的较新的 Transformer 架构在某些方面比以前的模型更像大脑。奥莱利说，这些较新的系统正在绘制大脑不同区域如何工作的图谱，而不仅仅是单个神经元在做什么。但这并非直接映射；奥莱利将其称为“重新混合”或“混搭”。
大脑有独立的区域，例如海马体和皮层，每个区域都专门从事不同形式的计算。奥莱利说，Transformer 将这两者融合在一起。“我把它想象成大脑的一种泥状物，”他说。这种泥状物散布在网络的每个部分，做一些类似海马体的事情，也做一些类似皮层的事情。
奥莱利将早于 Transformer 的通用神经网络比作参与感知的后皮层。当 Transformer 出现时，它们添加了一些类似于海马体功能的功能。他解释说，海马体擅长存储和检索详细事实——例如，你早餐吃了什么或你上班的路线。但整个 AI 系统不是拥有一个独立的海马体，而是一个巨大的——泥状的——海马体。
虽然标准计算机必须通过内存地址或某种标签查找信息，但神经网络可以根据提示（你早餐吃了什么？）自动检索信息。这就是奥莱利所说的神经网络的“超能力”。
然而，大脑是不同的
人脑和神经网络之间的相似之处令人惊叹，但它们之间的差异或许是深远的。奥莱利说，这些模型与人脑不同之处在于，它们不具备意识的必要成分。他和其他在该领域工作的人士认为，为了拥有意识，神经元必须进行来回对话。
“意识的本质实际上是你对你的大脑状态有某种感知，”他说，而要获得这种感知需要双向连接。然而，所有现有模型中的人工智能神经元之间都只有单向对话。不过，奥莱利正在努力解决这个问题。他的研究正是关于这种双向连接的。
并非所有机器学习尝试都基于神经网络，但最成功的尝试都基于神经网络。这可能不足为奇。经过数十亿年，进化找到了创造智能的最佳方式。现在我们正在重新发现和适应这些最佳实践，克里斯蒂安说。
“这不是偶然，不是巧合，”他说，“最具生物启发性的模型最终表现最好。”
