机器之心报道
编辑：陈萍、小舟
ICML2022 共评选出 15 篇杰出论文和一篇时间检验奖论文。
近日，ICML 2022 大会在美国马里兰州巴尔的摩市以线上线下结合的方式举办。这也是新冠疫情以来大会首次恢复线下形式举办。
目前，大会已经公布了全部奖项，包括 15 篇杰出论文奖和 1 项时间检验奖。其中，复旦大学、上海交通大学、厦门大学、莱斯大学胡侠团队等多个华人团队的研究获得杰出论文奖。ICML 2012 关于「投毒攻击」的论文《Poisoning Attacks against Support Vector Machines》获得了本次大会的时间检验奖。
杰出论文奖
- 论文 1：Monarch: Expressive Structured Matrices for Efficient and Accurate Training
- 机构：斯坦福大学、纽约州立大学布法罗分校、密歇根大学
- 作者：Tri Dao、Beidi Chen、Nimit Sohoni、 Arjun Desai、Michael Poli、Jessica Grogan、Alexander Liu、Aniruddh Rao、Atri Rudra、Christopher Re
- 论文地址：https://arxiv.org/abs/2204.00595
论文简介：该研究提出了一类硬件高效的矩阵 Monarch，具有解析最优解。实验表明，Monarch 可以加速 ViT 和 GPT-2 在 ImageNet 分类任务上的训练。在密集到稀疏微调中，作为概念验证，我们的 Monarch 近似算法以相当的精度将 GLUE 上的 BERT 微调速度提高了 1.7 倍。
- 论文 2：Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation
- 机构：复旦大学、厦门大学、卡内基梅隆大学
- 作者：Jiali Wang、Wen Huang、Rujun Jiang、Xudong Li、Alex L. Wang
- 论文地址：https://arxiv.org/abs/2206.02991
论文简介：Stackelberg 预测博弈 (SPG) 是表征学习者和攻击者之间策略交互中很重要的一个问题。该研究探索了 SPG-LS 的一种新型表述，将 SPG-LS 重写为球面约束最小二乘 (SCLS) 问题。数值结果合成和真实世界的数据集表明，借助 SCLS 方法，SPG-LS 可以比当前 SOTA 解决方案快几个数量级。
- 论文 3：G-Mixup: Graph Data Augmentation for Graph Classification
- 机构：莱斯大学胡侠团队
- 作者：韩霄天、Zhimeng Jiang 、Ninghao Liu、 胡侠（Xia Hu）
- 论文地址：https://arxiv.org/pdf/2202.07179.pdf
论文简介：该研究提出了一种名为 G-Mixup 的方法，通过插入不同类别图的生成器（即 graphon）来增强图分类。具体来说，该研究首先使用同一类中的图来估计一个 graphon，然后在欧几里得空间中插值不同类别的 graphon 以获得混合 graphon，合成图基于混合 graphon 生成。大量实验表明，G-Mixup 显著提高了 GNN 的泛化性和稳健性。
- 论文 4：Stable Conformal Prediction Sets
- 机构：佐治亚理工学院
- 作者：Eugene Ndiaye
- 论文地址：https://proceedings.mlr.press/v162/ndiaye22a/ndiaye22a.pdf
论文简介：该研究将共型预测（CP）方法与经典的算法稳定性界限结合起来，推导出可使用单个模型拟合计算的预测集合。该研究进行了一些数值实验来说明当样本量足够大时，在合成数据集和真实数据集上估计的紧密性。
- 论文 5：Learning inverse folding from millions of predicted structures
- 机构：UC 伯克利、纽约大学
- 作者：Chloe Hsu 、 Robert Verkuil 、 Jason Liu 、 Zeming Lin、 Brian Hie、Tom Sercu 、Adam Lerer 、Alexander Rives
- 论文地址：https://www.biorxiv.org/content/10.1101/2022.04.10.487779v1.full.pdf
论文简介：本文考虑从骨架原子坐标来预测蛋白质序列问题。该研究使用 AlphaFold2 预测了 12M 蛋白质序列结构，这样做将训练数据增加了近三个数量级。训练中增加了额外数据，具有不变几何输入处理层的序列到序列 transformer 实现了 51% 的本地序列恢复，掩埋残基的恢复率为 72%，总体上比现有方法提高了近 10 个百分点。
- 论文 6：Causal Conceptions of Fairness and their Consequences
- 机构：斯坦福大学、纽约大学、哈佛大学
- 作者：Hamed Nilforoshan 、 Johann Gaebler 、 Ravi Shroff 、 Sharad Goel
- 论文地址：https://arxiv.org/pdf/2207.05302.pdf
论文简介：本文首先将算法公平的因果定义归类为两大类，然后通过分析和经验证明，这两个定义在度量理论意义上——导致强烈的帕累托主导的决策策略，这意味着每个利益相关者都有一种可替代的、不受约束的策略。本文结果强调了在因果公平中常见的数学概念形式限制和潜在的不利后果。
- 论文 7：Do Differentiable Simulators Give Better Policy Gradients?
- 机构：MIT
- 作者：H.J. Terry Suh 、 Max Simchowitz 、 Kaiqing Zhang 、 Russ Tedrake
- 论文地址：https://proceedings.mlr.press/v162/suh22b/suh22b.pdf
论文简介：该研究表明某些物理系统的特征（例如刚度或不连续性）可能会损害一阶估计器的功效，并从偏差和方差的角度分析了这种现象。然后该研究提出了一个 α 阶梯度估计器（α ∈ [0, 1]），它正确地利用精确的梯度实现了一阶估计效率与零阶方法稳健性的双重优势。
- 论文 8：Learning Mixtures of Linear Dynamical Systems
- 机构：普林斯顿大学
- 作者：Yanxi Chen、H. Vincent Poor
- 论文地址：https://proceedings.mlr.press/v162/chen22t/chen22t.pdf
论文简介：本文研究了从未标记的短样本轨迹中学习多个线性动力系统 (LDS) 的混合问题，此外，该研究还开发了一种两阶段元算法，该算法可以有效地恢复每个真值 LDS 模型，直至误差
，其中 T 是总样本量。通过数值实验进行验证，证实了所提出算法的有效性。
- 论文 9：Active fairness auditing
- 机构：CMU、亚利桑那大学
- 作者：Tom Yan 、 Chicheng Zhang
- 论文地址：https://arxiv.org/pdf/2206.08450.pdf
论文简介：该研究启动了基于查询的审计（auditing）算法的研究，该算法可以以高效查询的方式估计 ML 模型的人口学平等性(Demographic Parity)。该研究提出了一种最佳确定性算法，以及实用随机化、oracle-efficient 算法。此外，他们还研究了随机主动公平性估计算法的最优查询复杂度。
- 论文 10：Understanding Dataset Difficulty with V-Usable Information
- 机构：斯坦福大学、艾伦人工智能研究院、华盛顿大学
- 作者：Kawin Ethayarajh 、 Yejin Choi 、 Swabha Swayamdipta
- 论文简介：https://arxiv.org/pdf/2110.08420v2.pdf
论文简介：该研究构建了数据集难度（dataset difficulty），并进一步引入 PVI（pointwise V-information）来测量单个实例的难度。此外，本文框架允许通过输入转换来解释不同输入属性，并用它来发现 NLP 基准中的注释伪影（artefacts）。
- 论文 11：Adversarially Trained Actor Critic for Offline Reinforcement Learning
- 机构：微软研究院、伊利诺伊大学厄巴纳 - 香槟分校、谷歌研究院
- 作者：Ching-An Cheng 、 Tengyang Xie 、 Nan Jiang 、 Alekh Agarwal
- 论文地址：https://arxiv.org/pdf/2202.02446.pdf
论文简介：该研究提出了对抗训练的 Actor-Critic 算法（ATAC）——一种在数据覆盖不足的情况下用于离线强化学习（RL）的无模型算法。该框架既为函数近似提供了理论保证，又为可扩展到复杂环境和大型数据集的深度 RL 实现提供了保障。在 D4RL 基准测试中，ATAC 在一系列连续控制任务上始终优于 SOTA 离线 RL 算法。
- 论文 12：Privacy for Free: How does Dataset Condensation Help Privacy?
- 机构：上海交通大学、爱丁堡大学、Sony AI
- 作者：Tian Dong 、 Bo Zhao 、 Lingjuan Lyu
- 论文地址：https://arxiv.org/pdf/2206.00240.pdf
论文简介：该研究首次发现旨在提高训练效率的数据集压缩（DC）方法也是替代传统数据生成器进行私有数据生成的良好解决方案。为了证明 DC 的隐私优势，该研究在 DC 和差分隐私之间建立了联系。这项工作是数据高效和隐私保护机器学习的一个里程碑。
- 论文 13：Bayesian Model Selection, the Marginal Likelihood, and Generalization
- 机构：纽约大学
- 作者：Sanae Lotfi 、Pavel Izmailov 、Gregory Benton、Micah Goldblum 、Andrew Wilson
- 论文地址：https://arxiv.org/pdf/2202.11678.pdf
论文简介：本文首先回顾了学习约束和假设检验的边际似然所具有的特性。之后论文强调了在使用边际似然作为泛化代理（proxy）的概念和实际问题。论文展示了边际似然如何与泛化负相关，还介绍了其与神经架构搜索的含义，可能导致超参数学习中欠拟合和过拟合问题。
- 论文 14：The Importance of Non-Markovianity in Maximum State Entropy Exploration
- 机构：米兰理工大学、苏黎世联邦理工学院
- 作者：Mirco Mutti、Riccardo De Santi、Marcello Restelli
- 论文地址：https://openreview.net/pdf?id=VEGkEHqEsiX
论文简介：该研究表明马尔可夫策略类足以满足任何无限样本最大状态熵（MSE）目标，并提出一种新的有限样本 MSE 目标和相应的表述。
- 论文 15：Minimum Cost Intervention Design for Causal Effect Identification
- 机构：洛桑联邦理工学院
- 作者：Sina Akbari、Jalal Etesami 、 Negar Kiyavash
- 论文地址：https://arxiv.org/pdf/2205.02232.pdf
论文简介：本文考虑了以最低成本设计干预措施集合的问题，以确定期望的效果。本文首先证明了这个问题是 NP 困难的，随后提出了一个算法，既可以找到最优解，也可以找到它的 logarithmic-factor 近似。此外，本文还提出了几个多项式时间启发式算法来解决计算复杂性。
时间检验奖
获得 ICML 2022 时间检验奖的是图宾根大学、卡利亚里大学的研究《Poisoning Attacks against Support Vector Machines》。
论文链接：https://arxiv.org/pdf/1206.6389.pdf
论文摘要：在这篇论文中，作者研究了一类针对支持向量机 (SVM) 的投毒攻击（poisoning attack）。这样的攻击注入了特别精心制作的训练数据，增加了 SVM 的测试错误。这些攻击的动机的核心是，大多数学习算法都假定它们的训练数据来自自然的或行为良好的分布。但是，这种假设通常不适用于安全敏感设置。正如本文所证明的，智能的对手可以在一定程度上预测支持向量机的决策函数的变化，基于的是恶意输入和使用这种能力来构造恶意数据。该攻击采用梯度上升策略，根据支持向量机最优解的性质计算梯度。该方法可以进行内核化，即使对于非线性内核也可以在输入空间构造攻击。实验结果表明，该梯度提升算法可靠地识别出非凸验证误差曲面的良好局部极大值，这显著地增加了分类器的测试误差。
作者之一 Battista Biggio 现在是意大利卡利亚里大学助理教授。自从 2007 年以来，他一直在同一所大学的电气与电子工程系工作。他曾分别于 2006 年和 2010 年在意大利卡利亚里大学以优异的成绩获得电子工程硕士学位和电子工程和计算机科学博士学位。
研究的另外两位作者分别是当时在图宾根大学的 Blaine Nelson 和 Pavel Laskov。
Blaine Nelson 于 2003 年获得南卡罗来纳大学计算机科学学士学位，并分别于 2005 年和 2010 年获得加州大学伯克利分校的硕士学位和博士学位，随后在图宾根大学和波茨坦大学进行了博士后研究。完成博士后工作后，Blaine 在 Google 工作了六年，在 2021 年 4 月加入了初创公司 Robust Intelligence 。
Pavel Laskov 现为列支敦士登大学教授，2014 年到 2018 年，他曾是华为欧洲研究中心（慕尼黑）首席工程师。
参考链接：https://icml.cc/virtual/2022/awards_detail
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com
