【ICLR】四篇好文简读-专题11

2022-05-23 08:34:11 浏览数 (1)

论文题目:

Linking Emergent and Natural Languages via Corpus Transfer

论文摘要:

语言涌现的研究旨在了解人类语言是如何被感知基础和交际意图塑造的。紧急通信 (EC) 的计算方法主要考虑有限域中的参考博弈,并在博弈框架内分析学习的协议。因此,尚不清楚这些设置中的新兴语言如何与自然语言联系起来,或在现实世界的语言处理任务中提供好处,在这些任务中,在大型文本语料库上训练的统计模型占主导地位。在这项工作中,作者提出了一种通过语料库转移建立这种联系的新方法,即对下游自然语言任务的紧急语言语料库进行预训练,这与直接转移说话者和听者参数的先前工作形成对比。作者的方法展示了语言建模和图像字幕这两个不同任务的非平凡传输优势。例如,在低资源设置(对 200 万个自然语言标记进行建模)中,对仅具有 200 万个标记的新兴语言语料库进行预训练可将十种自然语言的模型困惑度平均降低 24.6%。作者还引入了一种新颖的度量标准,通过将紧急信息转换为基于相同图像的自然语言字幕来预测紧急语言的可迁移性。作者发现基于翻译的度量与建模自然语言(例如希伯来语)的下游性能高度相关,而之前作品中流行的度量拓扑相似性显示出令人惊讶的低相关性,暗示属性解缠结等简单属性来自合成领域的数据可能无法捕捉到自然语言的全部复杂性。作者的研究结果还表明,利用自然语言资源和模型推动语言出现的潜在好处。

论文链接:

https://openreview.net/forum?id=49A1Y6tRhaq

代码链接:

https://github.com/ysymyth/ec-nl

论文题目:

Energy-inspired molecular conformation optimization

论文摘要:

本文研究了计算化学中的一个重要问题:预测分子的空间原子排列,或分子的构象。作者提出了一个神经能量最小化公式,将预测问题转换为一个可展开的优化过程,其中一个神经网络被参数化,以学习一个隐式构象能量的梯度场。通过假设潜在的势能函数的不同形式,作者不仅可以重新解释和统一许多现有的模型,而且还可以以一种有规则的方式推导出SE(3)-等变神经网络的新变体。在作者的实验中,与现有的SE(3)-等变神经网络相比,这些新的变体在分子构象优化方面表现出了更优的性能。此外,能量启发公式也适用于分子构象的生成,与现有的基线相比,可以生成更多样化和准确的构象。

论文链接:

https://openreview.net/forum?id=7QfLW-XZTl

代码链接:

https://github.com/guanjq/confopt_official

论文题目:

Sentiment and Sarcasm Classification With Multitask Learning 论文摘要:

情感分类和讽刺检测都是重要的自然语言处理任务。感情总是伴随着强烈的情感表达的讽刺。然而,大多数文献认为它们是两个独立的任务。我们认为讽刺识别的知识也有助于情感分类,反之亦然。我们证明了这两个任务是相关的,并提出了一个基于多任务学习的框架,使用深层神经网络模型这种相关性,以提高这两个任务在多任务学习环境中的表现。我们的方法在基准数据集中的性能比最先进的方法高出3-4%。

论文链接:

https://ieeexplore.ieee.org/document/8766192

论文题目:

Distribution Matching in Deep Generative Models with Kernel Transfer Operators 论文摘要:

使用显式密度建模的生成模型(例如,变分自动编码器,基于流的生成模型)涉及到从已知分布(例如高斯分布)到未知输入分布的映射。这通常需要搜索一类非线性函数(例如,由深度神经网络表示)。虽然在实践中是有效的,但相关的运行时/内存成本可能会迅速增加,通常是作为应用程序所需性能的函数。我们提出了一种更便宜(更简单)的分布匹配策略,该策略基于对已知结果在内核传输算子上的适应性。我们表明,我们的公式能够实现高效的分布近似和抽样,并提供了令人惊讶的好经验性能,优于强大的基线,但具有显著的运行时节省。我们表明,该算法在小样本容量设置(在大脑成像中)也表现良好。

论文链接:

https://openreview.net/pdf?id=b-VKxdc5cY

0 人点赞