编译 | 曾全晨 审稿 | 王建民
今天为大家介绍的是来自Mario Krenn团队的一篇论文。一个能够通过从科学文献中获取洞见来建议新的个性化研究方向和想法的工具，可以加速科学的进步。一个可能受益于这种工具的领域是人工智能（AI）研究，近年来科学出版物的数量呈指数级增长，这使得人类研究者难以跟上进展。在这里，作者使用AI技术来预测AI自身的未来研究方向。
科学文献的语料库以越来越快的速度增长。特别是在人工智能（AI）和机器学习（ML）领域，每个月的论文数量都在以大约23个月翻一番的速度指数级增长（见图1）。同时，AI社区正在吸纳来自数学、统计学和物理学等多个学科的多样化思想，这使得组织不同的想法和发现新的科学联系变得更具挑战性。作者设想一个计算机程序可以自动阅读、理解并对AI文献采取行动。它可以预测并提出超越个人知识和跨领域界限的有意义研究想法。如果成功，它可以极大地提高AI研究人员的生产力，开辟新的研究途径，并帮助推动该领域的进步。在这项工作中，作者着手实现通过数据驱动方法预测未来研究方向。由于新的研究想法往往来自于看似不相关概念的连接，作者将AI文献的演化模拟为一个时间网络。
图 1
语义网络
语义网络的目标是从科学文献中提取知识，随后可以由计算机算法处理。乍看之下，这个流程的第一步可能是使用大型语言模型对每篇文章进行处理，自动提取概念及其关系。然而，这些方法在推理能力上仍然存在困难；因此，目前还不清楚这些模型如何用于识别和建议新的想法和概念组合。研究人员开创了一种替代方法，在生物化学中从科学论文中共现的概念创建语义网络。在那里，节点代表科学概念，特别是生物分子，并且当论文在其标题或摘要中提及两者时就会被链接。这个不断演化的网络捕捉了该领域的历史，并使用超级计算机模拟，提供了对科学家集体行为的洞察，并建议了更有效的研究策略。尽管从概念共现中创建语义网络只从每篇论文中提取了少量知识，但当应用于大型数据集时，它捕捉到了有意义且可操作的内容。PaperRobot通过从大型医学知识图中预测新链接，并以人类语言形式制定新想法作为论文草案，扩展了这一方法。这种方法被应用并扩展到量子物理学，通过构建一个包含6,000多个概念的语义网络。研究人员将新研究趋势和联系的预测形式化为一个ML任务，目标是识别文献中尚未共同讨论但可能在未来被调查的概念对。这个预测任务是为个性化建议新研究想法的一个组成部分。
作者将未来研究主题的预测形式化为人工智能领域中一个指数级增长的语义网络中的链接预测任务。目标是预测未来哪些尚未连接的节点，代表尚未共同研究的科学概念，将会被连接起来。链接预测在计算机科学中是一个常见问题，通过经典的度量和特征以及机器学习技术来解决。在语义网络中对研究方向进行预测的目标是向研究者提供新的想法。在某种程度上，作者希望建立一个在科学上有创造力的人工缪斯。除此之外，还可以偏向或约束模型，以提供与个别科学家的研究兴趣相关的主题建议，或者为两位科学家的跨学科合作提供合作主题。
数据的来源
图 2
图 3
图 4
图 5
作者使用1992年到2020年在arXiv上发布的论文，在类别cs.AI、cs.LG、cs.NE和stat.ML中，创建了一个动态的语义网络。64,719个节点代表从143,000篇论文标题和摘要中提取的AI概念，这些概念是通过快速自动关键词提取（RAKE）获取的，并通过自然语言处理（NLP）技术和自定义方法进行了规范化。作者的目标是构建一个可扩展的方法，适用于任何科学领域。概念形成语义网络的节点，当概念在论文标题或摘要中共现时就会画出相互连接的边。边有基于论文发表日期的时间戳属性，常见的是概念之间有多个时间戳的边。网络是加权的，边的权重代表连接两个概念的论文数量。总的来说，这创建了一个随时间演化的语义网络，如图2所示。发布的语义网络有64,719个节点和17,892,352个独特的无向边，平均节点度为553。许多中心节点的度远远超过这个平均值，如图3所示。观察到随时间网络连通性的变化。尽管度分布仍然是重尾的，但由于流行趋势的影响，尾部内的节点顺序发生了变化。最具连接性的节点以及它们成为这样的年份包括决策树（1994年）、机器学习（1996年）、逻辑程序（2000年）、神经网络（2005年）、实验结果（2011年）、机器学习（2013年，第二次）和神经网络（2015年）。图4中的连通分量分析显示，网络随着时间的推移变得更加连通，最大的研究群体扩大了，而网络整体的连通分量的数量减少了。语义网络揭示了随时间的增加中心化，百分比更小的节点（概念）贡献了更大的边缘（概念组合）部分，如图5显示。这可能是由于AI社区对少数主导方法越来越关注，或者对术语使用的更一致。
实验部分
图 6
作者展示了预测语义网络中新链接（基于2020年前的数据训练，预测2021年的研究）的各种方法，范围从纯统计学方法到带有手工制作特征（NF）的神经网络，再到不含NF的机器学习（ML）模型。结果显示在图6中，使用NF作为ML模型输入的方法获得了最高的AUC分数。没有ML的纯网络特征也具有竞争力，而纯ML方法尚未胜过那些带有NF的方法。预测至少产生三次的网络链接可以达到AUC > 0.995。
结论
作者的方法代表着向开发一个可以帮助科学家发现新的探索途径的工具迈出的关键一步。作者相信，文章中概述的想法和扩展为实现实用、个性化、跨学科的基于AI的新发现建议铺平了道路。并且坚信，这样的工具具有成为影响深远的催化剂的潜力，它将改变科学家们在各自领域内提出研究问题和协作的方式。
参考资料
Krenn, M., Buffoni, L., Coutinho, B. et al. Forecasting the future of artificial intelligence with machine learning-based link prediction in an exponentially growing knowledge network. Nat Mach Intell (2023).
https://doi.org/10.1038/s42256-023-00735-0
