像 ChatGPT 这样的大型语言模型正在革新人们的写作方式。但这对科学家来说却带来了问题。这些模型是基于现有的人类知识进行训练的，而科学通常关注的是能够扩展现有知识体系的新发现。
因此，科学论文中可能包含 LLM 从未见过的信息。这意味着让这些机器之一来撰写科学论文，会引发关于它是否能在它没有接受过训练的主题上写出准确陈述的重要问题。
这或许解释了为什么各种分析表明，科学家们一直在使用 LLM 来编辑他们的论文，而不是撰写它们。现在，随着一个“AI 科学家”的问世，这一状况似乎即将改变，它能够执行包括撰写在内的整个科学研究过程。Sakana AI 的 Chris Lu、Robert Lange 和 David Ha 以及他们的同事们创造了一个能够提出和检验假设、设计和执行实验、收集和解读数据，并最终将其全部写进科学论文的机器。
这位 AI 科学家甚至会评估论文，以确定其是否适合发表。“我们提出了第一个完全自动化的科学发现的端到端框架，”团队说道。
他们的工作对科学家们的研究方式、科学本身的性质以及社会应该如何思考和利用科学都产生了深远的影响。
科学自动化
Lu 和同事们首先将科学研究过程划分为一系列任务，这些任务都可以由提示得当的 LLM 来处理。此外，他们将研究领域限制在机器学习领域，以便这项工作可以在机器相对容易理解的科学领域内完成。
但他们表示，原则上，AI 科学家并没有理由不能将其技能应用于物理学、生物学、化学或任何科学子学科，前提是它能够获得在这些领域进行实验的权限。接着，他们使用包括 Claude Sonnet 3.5、ChatGPT-4o、DeepSeek Coder 和 Llama-3.1 405b 在内的几种公开可用的 LLM 对此进行了测试。
Lu 和同事们表示，AI 科学家主要分为三个阶段，第一阶段是基于以往研究的档案库生成一个值得探索的想法。然后，团队要求模型使用链式思维推理和自我反思来完善这个想法，这两种机制最近通过演绎推理帮助提高了大型语言模型的产出。对于每个想法，系统还会生成一个测试计划。
然后，模型通过与数据库中已有的方法进行比较来确定方法的创新性。“这使得 AI 科学家可以剔除任何与现有文献过于相似的想法，”Lu 和同事们说。
在找到足够新颖的想法后，AI 科学家就进入下一个阶段，即进行实验并收集数据。由于科学领域是机器学习，实验完全在*计算机*内进行。因此，系统会为一系列拟议的实验编写代码，然后按顺序执行它们，并纠正出现的任何编码错误。
这个过程会产生一组结果。然后，AI 科学家利用这些数据生成实验日志风格的笔记，并绘制各种图表，详细说明它们的含义。
最后阶段是“以标准机器学习会议论文集的风格”来撰写实验报告。为此，它使用一个预先分成标准格式的空白论文模板：引言、背景、方法、实验设置、结果和结论。AI 在通过自我反思过程对每个部分进行一次编辑后，会搜索网络查找相关参考文献，然后将其添加进去。
团队表示，生成的论文通常可能过于冗长和重复，因此需要再次编辑。“为了解决这个问题，我们进行最后一轮逐段自我反思，旨在去除任何重复的信息并精简论文的论点，”他们说。
过程的最后，AI 科学家会根据提交给 2022 年学习表征国际会议的论文的人工评审数据库来评审自己的工作。目标是给论文打一个分数，使其与人类评审员可能给出的评估相匹配。
通过这种方式，该团队的 AI 科学家以每篇约 15 美元的价格生成了数百篇论文，显著低于据估计每篇人类论文（包括薪资等）约 100,000 美元的成本。“我们发现 Claude Sonnet 3.5 始终能产生最高质量的论文，GPT-4o 位居第二，”他们说。
但是，论文绝非完美，Lu 和同事们将其描述为“中等质量”。“总的来说，我们认为 AI 科学家的表现大约相当于一个早期机器学习研究员的水平，他们能够胜任地执行一个想法，但可能缺乏完整的背景知识来完全解读算法成功的根本原因，”他们说。
超越人类的表现？
换句话说，AI 科学家并不总是能理解它所做事情的重要性。
团队表示，一位人类导师可能会建议这样一位早期研究员回到实验室，并计划进行另一组实验，以帮助区分和回答这项工作产生的问题。
但这些问题似乎并非不可克服。“我们自然预期，随着基础模型的持续大幅改进，AI 科学家许多的缺陷将得到改善，甚至消除，”Lu 和同事们说。
这是一项令人兴奋的工作，它提出了对科学和科学家本身深远的疑问。其中最主要的问题是，当 AI 科学家开始超越人类时，将会发生什么。“未来几代的基础模型可能会提出对人类而言难以推理和评估的想法，”研究人员指出，并补充说，如何监督比人类更聪明的 AI 系统，正成为一个活跃的研究领域，至少在人类中间是这样。
然后就是如何访问和利用未来 AI 生成的科学研究的这一流问题。不难想象，人类会很快被其海量信息淹没，并且无法对其进行足够深入的推理。
这些是科学家和更广泛社会的重要问题。科学的未来正面临风险。
参考：《AI 科学家：迈向完全开放式科学发现》：arxiv.org/abs/2408.06292
