自20世纪90年代以来，计算机科学家一直使用基准测试任务来衡量全球最强大的超级计算机的性能。他们每月发布一份前500强机器的排名，各国之间展开激烈竞争，争夺榜首位置。这份排名历史表明，随着时间的推移，超级计算性能一直按照摩尔定律增长，大约每14个月翻一番。
然而，尽管深度学习技术已导致计算性能发生质的飞跃，但人工智能系统却缺乏类似的排名。这些机器已能在物体识别、中国古老围棋游戏、许多视频游戏以及各种模式识别任务中与人类匹敌或超越人类。
对于计算机科学家来说，这引出了如何衡量这些人工智能系统性能、如何研究其改进速度以及这些改进是否遵循摩尔定律或超越摩尔定律的问题。
现在，由于英国阿伯丁大学的 Jaime Sevilla 及其同事的研究，我们得到了答案。他们测量了自1959年以来人工智能系统计算能力的增长方式。该团队表示，在过去十年中，人工智能系统的性能大约每六个月翻一番，显著超越了摩尔定律。
这一改进是由于三个因素的汇聚。首先是新的算法技术的发展，主要基于深度学习和神经网络。其次是可用于训练这些机器的大规模数据集。最后一个因素是计算能力的提高。
虽然新数据集的影响和改进算法的性能难以衡量和排名，但计算能力相对容易确定。这使得塞维利亚及其他人找到了一种衡量人工智能系统性能的方法。
他们的方法是衡量训练一个人工智能系统所需的计算能力。塞维利亚和同事已经对计算机历史上123项人工智能系统的里程碑成就进行了这项测量。
他们表示，在1959年至2010年间，用于训练人工智能系统的计算能力每17至29个月翻一番。他们将这一时期称为“深度学习前时代”。塞维利亚及其同事总结道：“深度学习前时代的趋势大致与摩尔定律相符。”
该团队表示，现代深度学习时代通常被认为始于2012年，当时创建了一个名为AlexNet的物体识别系统。然而，塞维利亚及其同事表示，他们的数据表明，人工智能性能的急剧提升可能在2010年稍早一点开始。
他们表示，这标志着深度学习时代的开始，此后的进展迅速。在2010年至2022年间，改进速度要快得多。“随后，总体趋势加速，每4到9个月翻一番，”他们说。
这显著超越了摩尔定律。但鉴于芯片本身的改进一直遵循摩尔定律，这是如何实现的呢？
并行处理
部分答案来自人工智能系统使用图形处理单元（GPU）而非中央处理单元（CPU）的趋势。这使得它们能够更有效地进行并行计算。
这些处理器也可以大规模地连接在一起。因此，另一个让人工智能系统超越摩尔定律的因素是创建了越来越大的机器，这些机器依赖于更多的GPU。
这一趋势导致了机器的发展，例如AlphaGo和AlphaFold机器分别攻克了围棋和蛋白质折叠。“这些大型模型由大型公司训练，他们更大的训练预算大概使他们能够打破之前的趋势，”塞维利亚及其同事说。
该团队表示，自2015年以来，大型机器的开发本身已成为一种趋势——“大规模时代”——与深度学习时代并行发展。
这是一项有趣的工作，揭示了过去十年左右人工智能领域的巨大投资及其成功。塞维利亚及其同事并非唯一以这种方式研究人工智能性能的团队，事实上，不同团队在测量到的改进速度上存在一些差异。
然而，这种共同的方法表明，应该可以持续衡量人工智能的性能，也许可以通过一种产生全球最强大机器排名的方式，就像超级计算机的TOP500排名一样。
构建最强大人工智能机器的竞赛已经开始。上个月，Facebook的所有者Meta宣布已建成世界上最强大的专用人工智能超级计算机。根据塞维利亚及其同事的衡量标准，其具体排名尚不清楚，但竞争对手挑战这一位置的日子肯定不会太远。或许，是时候让计算机科学家们集思广益，合作建立一个排名系统，以帮助保持记录的准确性了。
参考文献：机器学习三个时代的计算趋势：arxiv.org/abs/2202.05924
