可微分神经网络计算机的艺术构想。中央的神经网络负责数据解析，同时读取、写入和重写其记忆。（来源：DeepMind） 克莱夫·维尔是英国著名的音乐家，但他可能更出名的是一个记忆只有30秒的人。20世纪80年代，维尔感染了某种株疱疹病毒，攻击了他的大脑，并摧毁了他形成新记忆的能力。他可能在食物送到嘴边之前就忘记了自己在吃什么。他难以将当下的经历与时空概念联系起来。对他来说，生活常常像是从昏迷中醒来——每20秒一次。在某种意义上，人工智能神经网络就像克莱夫；它们在没有工作记忆的情况下运行，在被分配新任务时会擦除所有已学到的内容。这限制了它们能完成的操作的复杂性，因为在现实世界中，无数变量在不断变化。现在，来自谷歌 DeepMind 的团队构建了一个混合计算系统，他们称之为“可微分神经网络计算机”（DNC），它将神经网络与外部记忆系统配对。该混合系统学会了如何形成记忆并利用它们来回答有关伦敦地铁系统地图和家族树的问题。作者在他们发表在《自然》杂志周三的论文中写道：“像传统的计算机一样，它可以利用其记忆来表示和操作复杂的数据结构，但像神经网络一样，它可以从数据中学习如何做到这一点。”
增强的神经网络
神经网络不是通过预编程的命令集来执行功能的；它们通过模式识别来创建自己的操作规则。研究人员将特定任务已解决方案的训练集输入到人工智能神经网络中，所有数据都通过分层的互联节点（或神经元）进行处理。随着更多的训练数据通过这些层，每个节点上发生的简单计算会自动调整，直到输出与训练集的解决方案匹配。这有点像通过试错来调谐吉他。通过这种方式，神经网络可以解析图像中的数据，以识别照片中的人脸，或根据我们永远无法识别的模式，自主地将文本翻译成其他语言。但这种技能只能做到一定程度，如果你想让该神经网络执行新任务，它需要重置并消耗另一个训练集来重新调谐。有了记忆，神经网络就可以将知识存档，并将其所学知识用于其他任务。DeepMind 的研究人员在周三的一篇博客文章中写道：“神经网络擅长模式识别和快速、反应式的决策，但我们才刚刚开始构建能够缓慢思考——即通过知识进行审慎思考或推理——的神经网络。” DeepMind 的研究人员周三无法联系到，因为据 DeepMind 发言人通过电子邮件称，该团队“正在全力准备发布”。
从 A 点到 B 点
研究人员将伦敦地铁系统的地图输入 DNC，神经网络发现了站点位置与连接它们的线路之间的模式。然后，它将这些基本参数保存在其记忆中——它将其基础“知识”卸载到记忆矩阵中。它在记忆中构建了一个简单、象征性的地铁表示。同样，这一切都是在没有编程命令的情况下完成的。没有增强的神经网络在绘制站点之间的路线时遇到了困难，在200万个训练示例后，仅有37%的成功到达了正确的位置。研究人员表示，但经过记忆增强的神经网络，在仅100万个训练示例后，成功到达了正确目的地并找到了优化路线的概率达到了98.8%。
伦敦地铁图。（来源：Shutterstock） 它可以对家族树进行类似的工作。研究人员用关于父母、子女和兄弟姐妹关系的信息训练了该神经网络。然后，它将其基本参数存储在记忆中，这使得它能够回答更细致的问题，例如““Freya 的外祖父的叔叔是谁？””，在需要时可以查阅其记忆。早在20世纪70年代，人工智能研究人员编写的算法就已经能够解决这些相同的理性、符号推理问题。而且，对于逻辑数据挖掘任务，其他深度学习方法比 DNC 要好得多。同样，最大的区别在于 DNC 自学了如何解析数据以及如何使用其记忆，但目前其实际应用将受到限制。华盛顿大学计算机科学教授、《终极算法》的作者 Pedro Domingos 表示：“其他机器学习技术已经存在，并且比（DeepMind）正在做的更适合此类任务。”他没有参与这项研究。“符号学习算法已经存在，并且比（DeepMind）的做法效果更好。”
血肉同类
在此值得强调的是，神经网络只是在进行数字运算，因此拟人化它们的行为只会导致对该领域的普遍误解。我们可能认为是“知识”的东西是极其不确定的，并且存在争议。尽管如此，DeepMind 的研究人员在描述他们的工作时还是 drew 了人机类比。“DNC 的记忆机制与哺乳动物海马体的功能能力之间存在有趣的相似之处，”研究人员写道。
在没有预先编程的情况下，DNC 将信息编译成一系列记忆事实，它可以利用这些事实来解决复杂问题——它不必在每个新任务中都从头开始。这有点像婴儿在10到12个月大的时候所做的事情。10个月以下的婴儿会犯经典的“A非B错误”：研究人员连续十次将玩具藏在 A 盒子下，婴儿每次都会爬向 A 盒子以获得奖励。但是，当研究人员将玩具藏在 B 盒子下，婴儿看得见的情况下，它仍然会去 A 盒子，因为它正在执行已学的模式。试试一个1岁的孩子，他们就不会上当了。那是因为他们正在将记忆与眼前发生的事情联系起来。他们正在使用符号推理。玩具藏在 B 盒子下时并没有消失，只是你看不到而已。人类大脑究竟如何仅通过电脉冲来存储世界的符号表示，这仍然是一个 hotly debated 的问题。但研究人员表示，DNC 可能可以作为这一过程的初步模拟。正如 DeepMind 研究人员在其博客中所写：
“人类记忆如何工作的问题由来已久，我们的理解仍在不断发展。我们希望 DNC 能够为计算机科学提供一种新工具，并为认知科学和神经科学提供一种新的比喻：这是一个学习机器，无需预先编程，就可以将信息组织成相互关联的事实，并利用这些事实来解决问题。”
但我们不要操之过急。 Domingos 说：“很多这方面的问题在于，归根结底，我们对大脑如何工作几乎一无所知。”“无论我做什么，我总能找到一种将系统正在做的事情与大脑进行类比的方法，但这种类比不会持续太久。”
任重道远
为了便于理解，构建伦敦地铁地图和家族树的符号“知识”需要512个记忆矩阵位置。研究人员表示，要处理像婴儿一样关于世界的动态信息流，可能需要数千甚至数百万个记忆位置——我们仍然不知道大脑是如何做到的，所以说实话，这只是猜测。斯坦福大学认知、大脑和计算中心主任 Jay McClelland 告诉《IEEE Spectrum》：“在我们完全理解人类大脑支持这些过程的算法之前，还有很长的路要走。” DeepMind 构建了一个非常、非常初步的基础，混合神经网络最终可以被扩展，例如，生成关于视频内容的评论。这些都是人类可以轻松完成的事情，在任何情况下。DNC 完成一个相当狭窄的任务仍然需要数百万个训练示例。目前，尚不清楚 DNC 能否执行任何现有深度学习算法已经能够做得更好的实际功能。换句话说，DNC 只是另一种完成一项任务的巧妙方法，在这个领域充斥着巧妙的解决方案。Domingos 说：“只有在神经网络的背景下，增加记忆才显得很重要；对于其他学习方法来说，这根本算不上什么。” 尽管如此，这次演示证明了记忆，或者说知识，可以是一件强大的事情。
