论文题目：
Language models enable zero-shot prediction of the effects of mutations on protein function 论文摘要：
建模序列变异对功能的影响是理解和设计蛋白质的基本问题。由于进化将有关功能的信息编码为蛋白质序列的各种模式，因此可以从序列数据中学习变异影响的无监督模型。迄今为止的方法是将模型拟合到相关序列族中。传统设置是有限的，因为必须为每个预测任务训练一个新模型。作者表明，仅使用零样本推理，没有来自实验数据或额外训练的任何监督，蛋白质语言模型可以很好地捕获序列变异的功能影响，展现出了不错的性能。
论文链接：
https://proceedings.neurips.cc/paper/2021/hash/f51338d736f95dd42427296047067694-Abstract.html
代码链接：
https://github.com/facebookresearch/esm
论文题目：
Scalable Geometric Deep Learning on Molecular Graphs 论文摘要：
分子和材料科学的深度学习由于缺乏应用科学、人工智能和高性能计算之间的整合而受到限制。训练数据量、模型架构的大小和复杂性以及计算基础设施的规模等方面的瓶颈，都是限制分子和材料深度学习的扩展的关键因素。在这里，作者提出了LitMatter，一个用于扩展分子深度学习方法的框架。作者在400多个GPU上训练四种图神经网络架构，并研究这些方法的扩展性。根据模型架构的不同，训练时间的速度可以提高到60倍。神经规模关系量化了与模型相关的规模，并使计算资源优化分配的分子几何深度学习模型实现得以识别。
论文链接：
https://openreview.net/forum?id=oeq0YQYn8Dv
论文题目：
Are Transformers More Robust Than CNNs? 论文摘要：
Transformer 是一种强大的视觉识别工具。除了在广泛的视觉基准测试中展示出具有竞争力的性能外，最近的工作还认为 Transformer 比卷积神经网络 (CNN) 强得多。尽管如此，令人惊讶的是，作者发现这些结论是从不公平的实验设置中得出的，其中 Transformer 和 CNN 在不同的尺度上进行比较，并应用于不同的训练框架。在本文中，作者旨在提供 Transformer 和 CNN 之间的第一次公平和深入的比较，重点是稳健性评估。通过统一的训练设置，作者首先推翻了之前的观点，即在测量对抗性鲁棒性时，Transformer 优于 CNN。更令人惊讶的是，如果它们正确采用 Transformers 的训练方法，作者发现 CNN 在防御对抗性攻击方面像 Transformers 一样鲁棒。虽然关于分布外样本的泛化，作者表明对（外部）大规模数据集进行预训练并不是使 Transformer 获得比 CNN 更好性能的基本要求。此外，消融实验表明这种更强的泛化在很大程度上得益于 Transformer 的类自注意力架构本身，而不是其他训练设置。
论文链接：
https://proceedings.neurips.cc/paper/2021/hash/e19347e1c3ca0c0b97de5fb3b690855a-Abstract.html
代码链接：
https://github.com/ytongbai/ViTs-vs-CNNs
论文题目：
ABC: Auxiliary Balanced Classifier for Class-imbalanced Semi-supervised Learning 论文摘要：
现有的半监督学习 (SSL) 算法通常假设数据集是类平衡的，但是许多现实世界数据集的类分布是不平衡的。一般来说，在类不平衡数据集上训练的分类器偏向于多数类。这个问题对于 SSL 算法来说变得更成问题，因为它们利用未标记数据的有偏预测进行训练。然而，为标记数据设计的传统类不平衡学习技术不能很容易地与 SSL 算法结合。作者提出了一种可扩展的类不平衡 SSL 算法，它可以有效地使用未标记的数据，同时通过引入一个单层的辅助平衡分类器 (ABC) 来减轻类不平衡，该分类器附加到现有 SSL 算法的表示层。ABC 使用小批量的类平衡损失进行训练，同时使用从小批量中的所有数据点学习的高质量表示，使用骨干 SSL 算法避免过度拟合和信息丢失。此外，作者使用一致性正则化，这是一种最近的 SSL 技术，用于以修改的方式利用未标记数据，通过为每个类选择具有相同概率的未标记数据来训练 ABC 在类之间平衡。所提出的算法在使用四个基准数据集的各种类别不平衡 SSL 实验中实现了最先进的性能。
论文链接：
https://proceedings.neurips.cc/paper/2021/hash/3953630da28e5181cffca1278517e3cf-Abstract.html 代码链接：
https://github.com/LeeHyuck/ABC
