近年来，应对气候变化的呼声在众多领域引发了革命性的行动。根据国际能源署的数据，可再生能源发电已占全球供应量的 30%。同一机构报告称，2020 年电动汽车销量增长了 40%。而美国最近承诺到 2030 年将温室气体排放量减半。
现在，同样的变革动力已开始渗透到科学界。一个令人担忧的领域是计算过程产生的能量和碳排放。特别是，机器学习日益增长的兴趣迫使研究人员考虑训练这些机器所需的耗能数字计算所产生的排放。
关键在于一个重要问题：如何减少这些数字计算的碳排放？
缩小足迹
现在，由于加州大学伯克利分校的 David Patterson 和他所在的谷歌团队（他也担任该团队的顾问）的研究，我们有了答案。该团队表示，改进的空间很大，而且简单的改变可以将机器学习的碳足迹降低三个数量级。
该团队专注于自然语言处理，这是一个随着存储和分析海量书面和音频数据的能力而迅速发展的领域。该领域的进步是搜索、自动语言翻译以及 Siri 和 Alexa 等智能助手的技术基础。但要弄清楚这需要多少能量却很难。
一个问题是不知道能量是如何使用的。Patterson 和同事们表示，使用情况取决于所使用的具体算法、处理器数量、其速度和功率，以及托管它们的数据中心的效率。
最后一个因素对碳排放有很大影响，这取决于数据中心在哪里获取电力。显然，那些依赖可再生能源的数据中心的碳足迹比那些电力来自化石燃料的数据中心要小，而且这甚至可以在一天中的不同时间发生变化。
因此，Patterson 和同事们表示，只需选择一个不同的数据中心，就可以显著减少排放。“我们对深度神经网络的训练地点和时间有多么重要感到惊讶，”他们说。
这里的部分问题在于许多计算机科学家认为，转向更环保的数据中心会导致其他计算转移到污染更严重的数据中心。因此，清洁能源使用是一种零和游戏。Patterson 和同事们表示，这根本不是事实。
数据中心通常不会满负荷运行，因此常常可以处理额外的工作。此外，可再生能源的量会因风量和阳光量等因素而变化。因此，常常会有过剩的能源可以利用。
十亿参数
另一个重要因素是所涉及的算法，有些比其他算法更耗能。“例如，Gshard-600B 的运行效率远高于其他大型 NLP 模型，”该团队表示，他们指的是谷歌开发的一种能够处理 6000 亿参数的机器学习算法。
Patterson 和同事们的结论是建议计算机科学家报告其计算消耗的能量以及相关的碳足迹，以及涉及的时间和处理器数量。他们的想法是能够直接比较计算实践并奖励最高效的。“如果从事计算密集型模型研究的机器学习社区开始在训练质量和碳足迹方面进行竞争，而不是仅仅在准确性方面进行竞争，那么最高效的数据中心和硬件可能会看到最高的需求，”他们说。
这似乎是一个值得追求的目标，而且这种方法不应仅限于自然语言处理。
这篇论文中一个有趣的推论是该团队将自然语言处理的碳足迹与其他活动进行了比较。例如，他们指出，旧金山和纽约之间的往返航班释放的二氧化碳相当于 180 吨。
Gshard 在训练机器学习模型方面的排放仅占此的 2%。然而，与竞争算法 OpenAI 的 GPT-3 相关的排放量相当于此类行程的 305%。远高于此。Patterson 和同事们说，今年比特币挖矿活动产生的排放量“相当于大约 20 万到 30 万次完整的 SF↔NY 往返客机航班”。
显然，这些计算机科学家接下来的议程应该是比特币和其他加密货币的碳足迹。控制住这些可能是一个更棘手的问题。
参考：碳排放和大型神经网络训练：arxiv.org/abs/2104.10350
