简读分享 | 赵晏浠 编辑 | 龙文韬
论文题目
OntoProtein: Protein Pretraining With Gene Ontology Embedding
论文摘要
自监督的蛋白质语言模型已经证明了其在学习蛋白质表征上的有效性。随着计算能力的提高，目前的蛋白质语言模型在经过数百万不同序列的预训练后，可以将参数规模从百万级提高到十亿级，并取得显著的改善。然而，这些流行的方法很少考虑纳入知识图谱（KGs）1，而知识图谱可以为更好的蛋白质表征提供丰富的结构化知识事实。作者认为，KGs中丰富的生物学知识可以用外部知识来增强蛋白质的表示。在这项工作中，作者提出了OntoProtein，这是第一个利用GO（Gene Ontology）中的结构进入蛋白质预训练模型的通用框架。作者构建了一个新的大规模知识图谱，它由GO及其相关的蛋白质组成，基因注释文本或蛋白质序列描述了图谱中的所有节点。作者提出了具有知识意识的负采样的新型对比学习，以在预训练期间共同优化知识图和蛋白质嵌入。实验结果表明，OntoProtein在TAPE基准中可以超过最先进的预训练蛋白质语言模型的方法，并且在蛋白质-蛋白质相互作用和蛋白质功能预测中与基线相比产生更好的性能。
论文链接
https://iclr.cc/virtual/2022/poster/6505
github链接
https://github.com/zjunlp/OntoProtein
