自然科学杂志Nature于2024年8月30日发表了一篇专题作家Davide Castelvecchi值得深思的的文章《Researchers built an ‘AI Scientist’ — what can it do?》科学能完全自动化吗？一组机器学习研究人员现在已经进行了尝试，得出的结果出乎我们的意料。
由东京Sakana AI公司以及加拿大和英国的学术实验室团队创建的“AI Scientist”，可以完成从阅读现有文献、为新发展制定假设、尝试解决方案到撰写论文的整个研究周期。“AI Scientist”甚至还可以部分承担同行评审的工作，并评估自己的研究结果。
“AI Scientist”加入了创建能够自动化至少部分科学过程的AI代理的众多努力中。温哥华不列颠哥伦比亚大学的机器学习研究员、AI Scientist的联合创造者Cong Lu表示：“据我所知，还没有人能够在一个系统中完成整个科学社区的所有工作。”
西雅图华盛顿大学的计算社会科学家Jevin West表示：“他们完成了这一端到端的过程，这令人印象深刻。我认为我们应该尝试这些想法，因为它们可能对科学有帮助。”
目前，该系统的输出并未产生颠覆性的成果，而且该系统只能在机器学习领域内进行研究。尤其是，AI Scientist缺少大多数科学家认为科学过程中的关键部分——进行实验室工作的能力。加州大学伯克利分校和劳伦斯伯克利国家实验室的材料科学家Gerbrand Ceder说：“从AI提出假设到在机器人科学家中实施这一过程还有很多工作要做。”然而，Ceder补充道：“如果你展望未来，我毫不怀疑这是科学未来发展的方向。”
自动化实验
AI Scientist基于一个大型语言模型（LLM）。它以描述机器学习算法的论文为模板，首先从文献中搜索类似的工作。然后，团队使用了一种称为进化计算的技术，这种技术受到达尔文进化中的突变和自然选择的启发。它逐步进行小的随机更改，并选择那些提高效率的更改。
为了做到这一点，AI Scientist通过运行算法并测量它们的表现来进行“实验”。最终，它生成了一篇论文，并进行一种自动化的同行评审。在以这种方式“增强文献”后，该算法可以再次启动循环，基于自己的结果继续研究。
作者承认，AI Scientist生成的论文只包含渐进性的进展。一些其他研究人员在社交媒体上对其评论非常苛刻。“作为期刊编辑，我可能会直接拒稿。作为审稿人，我也会拒稿。”一位在Hacker News网站上的评论者说。
West还表示，作者对研究人员如何了解自己领域的现状采取了简化的观点。他们的大量知识来自其他形式的交流，例如参加会议或在茶水间与同事聊天。“科学不仅仅是一堆论文。”West说。“有时候五分钟的对话比五小时的文献研究效果更好。”
West的同事Shahan Memon表示同意，但他们都称赞作者将其代码和结果完全公开。这使得他们能够分析AI Scientist的结果。例如，他们发现，它在选择引用的早期论文时存在“流行度偏差”，倾向于选择引用次数较高的论文。Memon和West表示，他们还在研究AI Scientist的选择是否是最相关的。
重复性任务
当然，AI Scientist并不是第一个尝试自动化研究人员工作的项目：科学发现自动化的梦想与人工智能本身一样古老——可以追溯到20世纪50年代。耶路撒冷Allen人工智能研究所的计算机科学家Tom Hope说。例如，十年前，自动统计学家（Automatic Statistician）已经能够分析数据集并撰写自己的论文。Ceder和他的同事们甚至已经自动化了一些实验室工作：他们去年发布的“机器人化学家”可以合成新材料并进行实验。
Hope表示，当前的LLM“无法提出新颖且有用的科学方向，超越基本的表面组合”。尽管如此，Ceder表示，即使AI在短期内无法完成更具创造性的工作，它仍然可以自动化许多研究中更重复性的部分。“在低层次上，你试图分析某物是什么、某物如何反应。这不是科学的创造性部分，但却是我们工作中占90%的内容。”Lu表示，他从许多其他研究人员那里也得到了类似的反馈。“人们会说，我有100个想法，但没有时间实现。让AI Scientist来完成这些。”
Lu说，为了拓宽AI Scientist的能力——甚至扩展到超越机器学习的抽象领域，如纯数学领域——可能需要包括语言模型之外的其他技术。例如，谷歌DeepMind最近在解决数学问题方面的成果显示了将LLM与“符号”AI技术相结合的力量，这种技术在系统中建立逻辑规则，而不仅仅依赖于从数据中的统计模式中学习。但他表示，目前的迭代只是一个开始。“我们真的认为这是AI科学的GPT-1阶段。”他说，指的是旧金山OpenAI公司开发的早期大型语言模型。
West说，这些结果引发了一场讨论，这场讨论是许多研究人员目前最关心的问题。“我在不同科学领域的所有同事都在试图弄清楚，AI在我们工作的过程中处于什么位置？它确实迫使我们思考21世纪的科学是什么——它可能是什么，它是什么，它不是什么。”
