在华盛顿特区史密森尼美国国家历史博物馆的深处，坐着一个大型金属柜，其大小堪比步入式衣柜。这个柜子里装着一台 remarkable 的计算机——正面装满了旋钮、开关和仪表，内部充满了由小型电动机控制的电位器。柜门后面是一个 20x20 的光敏单元阵列，一种人造眼睛。
这就是 Perceptron Mark I，它是生物神经元的一个简化电子版本。它由美国心理学家 Frank Rosenblatt 于 20 世纪 50 年代末在康奈尔大学设计，他曾教会它识别三角形等简单形状。
Rosenblatt 的工作现在被广泛认为是现代人工智能的基础，但在当时，它颇具争议。尽管最初取得了成功，但研究人员未能在此基础上取得进展，这不仅仅是因为更复杂的模式识别需要比当时可用的计算能力高得多的算力。这种永不满足的“食欲”阻碍了对人工神经元及其所创建网络的进一步研究。
如今的深度学习机器也消耗大量能量。这引发了一个有趣的问题：未来它们需要多少能量？随着人工智能目标变得更加雄心勃勃，这种“食欲”是否可持续？
今天，得益于麻省理工学院（位于剑桥）的 Neil Thompson 和几位同事的研究，我们得到了答案。该团队已经衡量了近年来深度学习系统的性能提升，并表明这依赖于计算能力的增长。
环境不可持续
通过推断这一趋势，他们认为未来的进步将很快变得不可行。Thompson 和同事们呼应了 Rosenblatt 在 20 世纪 60 年代出现的问题，他们说：“沿着目前的路线发展，正在迅速变得在经济、技术和环境上都不可持续。”
该团队的方法相对直接。他们分析了 1000 多篇关于深度学习的论文，以了解学习性能与计算能力的关联程度。答案是，这种关联清晰而显著。
例如，在 2009 年，深度学习对于当时的计算机处理器来说过于耗费资源。“似乎转折点是当深度学习被移植到 GPU 时，最初带来了 5-15 倍的速度提升，”他们说。
这为名为 AlexNet 的神经网络提供了强大的算力，该网络在 2012 年的图像识别挑战中取得了辉煌的胜利，彻底击败了对手。这次胜利引起了人们对深度神经网络的巨大且持续的兴趣，这种兴趣一直持续到今天。
然而，尽管深度学习的性能在 2012 年至 2019 年间提高了 35 倍，但其背后的计算能力每年都呈数量级增长。事实上，Thompson 等人表示，这一点以及其他证据表明，深度学习的计算能力增长速度比性能快了 9 个数量级。
那么，未来需要多少计算能力？Thompson 等人表示，目前使用 10^14 gigaflops 的计算能力进行图像识别的错误率为 11.5%，成本为数百万美元（即 10^6 美元）。
他们说，要达到仅 1% 的错误率将需要 10^28 gigaflops。并以当前速度推断，这将花费 10^20 美元。相比之下，目前世界上所有的钱加起来也才以万亿美元（即 10^12 美元）计算。
更重要的是，此类计算的环境成本将是巨大的，产生的碳排放量将增加 14 个数量级。
然而，未来并非完全黯淡。Thompson 等人的推断假设未来的深度学习系统将使用与今天相同的计算机。
神经形态的进步
但各种新方法提供了更高效的计算。例如，在某些任务上，人脑的性能可以超越最好的超级计算机，而耗费的能量却微乎其微。神经形态计算试图模仿这一点。而量子计算则有望在功耗相对较低的情况下提供数量级的计算能力。
另一种选择是完全放弃深度学习，转而专注于其他功耗较低的机器学习形式。
当然，这些新技术和新方法不一定能成功。但如果它们失败了，人工智能将很难比现在变得更好。
有趣的是，在 Perceptron Mark I 首次出现后，发生过类似的事情，那段时期持续了几十年，现在被称为人工智能的寒冬。史密森尼博物馆目前并未展出它，但它无疑是一个值得铭记的教训。
参考：深度学习的计算极限。arxiv.org/abs/2007.05558。
