ICML 2021
论文题目：
Not all memories are created equal: learning to forget by expiring
论文摘要：
这是一篇研究减少Attention计算量的方法。作者提出了Expire-Span方法，该方法可以通过记住重要的信息，遗忘不相关的信息减少Attention计算量。具体实现方法就是对每个memory学习一个Expire-Span系数，该系数可以控制这个memory的存在时间，超出时间后该memory就会被丢弃，不再参与到Attention的计算之中。在实验部分，Expire-Span被应用到长序列建模和与memory相关的强化学习任务中，获得了SOTA的结果。
论文链接：
https://arxiv.org/pdf/2105.06548.pdf
Github链接：
https://github.com/facebookresearch/transformer-sequential
AAAI 2021
论文题目：
PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM by Knowledge Distillation with Contrastive Learning
论文摘要：
蛋白质二级结构预测（PSSP）是计算生物学的一项重要任务。为了实现准确的PSSP，许多特征工程使用多序列比对（MSA）进行位置特异性评分矩阵（PSSM）提取。然而，由于序列同源性差，而只能获得低质量的PSSM时，之前的PSSP准确率（仅65%左右）远远不能满足后续任务的实际使用。在本文中，作者提出了一个新的PSSM-Distil框架，用于低质量的PSSM上的PSSP，它不仅增强了低层次的PSSM特征，而且还对齐了高层次的特征分布。在实践中，PSSM-Distil首先利用具有高质量PSSM的蛋白质，以全监督的方式实现PSSP的教师网络。在教师网络的指导下，低质量的PSSM和相应的低分辨能力的学生网络通过EnhanceNet的特征增强和对比学习的知识提炼的分布调整得到有效解决。此外，PSSM-Distil支持来自预训练的蛋白质序列语言BERT模型的输入，以提供辅助信息，这是为了解决极低质量的PSSM情况，即没有同源序列。
论文连接：
https://ojs.aaai.org/index.php/AAAI/article/view/16141/15948
Github链接：
https://github.com/qinwang-ai/PSSM-Distil
论文题目：
MolGrow: A Graph Normalizing Flow for Hierarchical Molecular Generation
论文摘要：
作者提出了一个生成分子图的层次归一化流模型。该模型通过递归地将每个节点分割为两个节点，从一个单节点图中生成新的分子结构。所有的操作都是可逆的，可作为即插即用模块使用。模型将分子结构映射到一个固定大小的层次流形上，流形的顶层定义了全局结构，而底层则影响了局部特征。潜在代码的层次性质可以使得结果图中发生精确的变化：顶层的扰动会导致全局结构的变化，而随后层次的扰动会轻微地改变产生的分子。该模型在分布学习任务上优于现有的生成图模型。作者还展示了使用模型的潜在代码对分子的化学性质全局和约束优化的成功实验。
论文链接：
https://ojs.aaai.org/index.php/AAAI/article/view/17001
Briefings in Bioinformatics
论文题目：
MG-BERT: leveraging unsupervised atomic representation learning for molecular property prediction
论文摘要：
动机：准确而有效地预测分子性质是药物设计和发现的基本问题。传统的基于特征工程的方法在特征设计和选择过程中需要大量的专业知识。人工智能模型虽然有着无与伦比的优势，但当应用于分子特性预测时，通常受到标记数据稀缺的影响，并显示出较差的概括能力。
结果：在这项研究中，作者提出了分子图BERT（MG-BERT），该模型将图神经网络的局部消息传递机制整合到强大的BERT模型中，从而使模型可以从分子图中学习。此外，作者还提出了一种有效的自我监督学习策略，即屏蔽原子预测，该策略在大量的未标记数据上预训练MG-BERT模型，来挖掘分子中的上下文信息。作者发现MG-BERT模型在预训练后可以生成上下文敏感的原子表征，并将学到的知识转移到各种分子特性的预测中。实验结果表明，经过预训练的MG-BERT模型，只要稍加微调，就能在11个ADMET数据集上超越最先进的方法。此外，MG-BERT模型还利用注意力机制来关注对目标属性重要的原子特征，为训练后的模型提供了可解释性。
论文链接：
https://academic.oup.com/bib/advance-article-abstract/doi/10.1093/bib/bbab152/6265201?redirectedFrom=fulltext
Github链接：
https://github.com/zhang-xuan1314/Molecular-graph-BERT
Nucleic Acids Research
论文题目：
Structural recognition of the mRNA 3' UTR by PUF-8 restricts the lifespan of C. elegans
论文摘要：
衰老的分子机制是尚未解决的基本生物学问题之一。秀丽隐杆线虫是研究衰老的理想模式生物，PUF-8 是秀丽隐杆线虫中的一种 PUF（Pumilio 和 FBF）蛋白，通过与目标 mRNA 中的 3 个非翻译区 (3 UTR) 结合，对种系发育至关重要。最近，据报道 PUF-8 通过调节 MFF-1（一种线粒体裂变因子）来改变线粒体动力学和线粒体自噬，并随后调节寿命。在这里，作者用 RNA 底物确定了 PUF-8 的 PUF 结构域的晶体结构。进行了诱变实验以改变 PUF-8 对其靶 mRNA 的识别。这些突变降低了线虫的生育能力并延长了它们的寿命。来自野生型和 puf-8 突变蠕虫的总 mRNA 的深度测序以及体内 RNA 交联和免疫沉淀 (CLIP) 实验确定了六个 PUF-8 调节基因，其中包含至少一个 PUF 结合元件 (PBE)在 3 UTR。六个基因之一，pqm-1，对脂质储存和老化过程至关重要。敲除 pqm-1 可以恢复 puf-8 突变动物的寿命延长。作者得出的结论是，PUF-8 不仅可以通过 MFF 还可以通过调节 pqm-1 相关通路来调节秀丽隐杆线虫的寿命。
论文链接：
https://academic.oup.com/nar/advance-article/doi/10.1093/nar/gkab754/6363768
