机器之心&ArXiv Weekly Radiostation
参与：杜伟，楚航，罗若天
本周的重要论文有 Bengio 参与、LeCun 点赞的开源图神经网络权威基准，以及 Nature 新研究中摄像头充当神经网络，速度超传统方法千倍。
目录：
- Benchmarking Graph Neural Networks
- How Much Can A Retailer Sell? Sales Forecasting on Tmall
- SLIDE : IN DEFENSE OF SMART ALGORITHMS OVER HARDWARE ACCELERATION FOR LARGE-SCALE DEEP LEARNING SYSTEMS
- Knowledge Graphs
- Ultrafast machine vision with 2D material neural network image sensors
- DefogGAN: Predicting Hidden Information in the StarCraft Fog of War with Generative Adversarial Nets
- Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data
- ArXiv Weekly Radiostation：NLP、CV、ML更多精选论文（附音频）。
论文 1：Benchmarking Graph Neural Networks
- 作者：Vijay Prakash Dwivedi、Chaitanya K. Joshi、Yoshua Bengio 等
- 论文链接：https://arxiv.org/pdf/2003.00982.pdf
摘要：近期的大量研究已经让我们看到了图神经网络模型（GNN）的强大潜力，很多研究团队都在不断改进和构建基础模块。但大多数研究使用的数据集都很小，如 Cora 和 TU。在这种情况下，即使是非图神经网络的性能也是可观的。如果进行进一步的比较，使用中等大小的数据集，图神经网络的优势才能显现出来。
在斯坦福图神经网络大牛 Jure 等人发布《Open Graph Benchmark》之后，又一个旨在构建「图神经网络的 ImageNet」的研究出现了。近日，来自南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大学和 MILA 等机构的论文被提交到了论文预印版平台上，在该研究中，作者一次引入了六个中等大小的基准数据集（12k-70k 图，8-500 节点），并对一些有代表性的图神经网络进行了测试。除了只用节点特征的基准线模型之外，图神经网络分成带或不带对边对注意力两大类。GNN 研究社区一直在寻求一个共同的基准以对新模型的能力进行评测，这一工具或许可以让我们实现目标。
表 1：提议基准数据集的汇总统计信息。
示例图和超像素图。SLIC 的超像素图（其中 MNIST 最多 75 节点，CIFAR10 最多 150 节点）是欧几里得空间中的 8 个最近邻图形，节点颜色表示平均像素强度。
不同方法在基于 MNIST 和 CI-FAR10 的标准测试集上的测试结果（数值越高越好）。该结果是使用 4 个不同种子运行四次结果的平均值。红色为最佳水平，紫色为高水平。粗体则表示残差链接和非残差连接之间的最佳模型（如两个模型水平相同则皆为粗体显示）。
推荐：这一新的研究有深度学习先驱 Yoshua Bengio 的参与，也得到了 Yann LeCun 的关注。
论文 2：How Much Can A Retailer Sell? Sales Forecasting on Tmall
- 作者：Chaochao Chen、Ziqi Liu、Xingyu Zhong 等
- 论文链接：https://arxiv.org/pdf/2002.11940.pdf
摘要：时间序列预测是学界和业界的一项重要任务，可以用于解决现实生活中的很多预测问题，如股票、供水和销售预测等。在本文中，来自蚂蚁金服的研究者对天猫平台上的零售商销售预测案例展开了研究。通过数据分析，他们得出了以下两个观察结果，其一是将不同的零售（商）分组后呈现出的销售季度性，其二是将销售状况转化为预测值后呈现出的 Tweedie 分布。基于观察结果，研究者设计了两种销售预测机制，即季节提取（seasonality extraction）和分布转化。
具体而言，他们首先采用傅里叶分解方法来自动提取不同零售商的季度性，这之后可进一步作为任何已创建回归算法的额外特征。然后他们提出在对数变换后对销售的 Tweedie 损失进行优化。最后，研究者将这两种销售预测机制应用于经典回归模型，即神经网络和梯度提升决策树。
天猫平台上不同零售商的销售呈季度性波动。
两组零售商的季度性提取结果。
推荐：根据天猫数据集上的实验结果，研究者表示，他们提出的这两种机制均能够大幅提升零售商的销售预测效果。
论文 3：SLIDE : IN DEFENSE OF SMART ALGORITHMS OVER HARDWARE ACCELERATION FOR LARGE-SCALE DEEP LEARNING SYSTEMS
- 作者：Beidi Chen、Tharun Medini、Anshumali Shrivastava 等
- 论文链接：https://www.cs.rice.edu/~as143/Papers/SLIDE_MLSys.pdf
摘要：深度学习模型的训练和推理加速近来是研究领域关注的重点。虽然普遍观点认为，GPU 相比 CPU 有更强的算力优势。但在近日，莱斯大学的计算机科学家们公布了新的研究成果，其提出的深度学习框架，在大型工业级的推荐数据集上验证了在没有类似于 GPU 的专业硬件加速条件下，也可以对深度学习进行加速。
在论文中，研究者指出，尽管已有的研究表明，在算法端对模型进行优化无法显示出如同 V100 GPU 那样强大的性能提升，但是他们提出的 SLIDE 引擎却可以实现。这一模型可以显著地减少训练和推理阶段的运算，比在 GPU 上 经过 TensorFlow 高度优化过的算法还要快。
局部敏感哈希的图示。对于一个输入，可以从对应的哈希桶中抽取哈希码。
SLIDE 系统架构。
TF-CPU 与 SLIDE 之间的可扩展性测试，很明显 SLIDE 要强很多。
推荐：这篇论文的亮点在于，即使只验证了全连接网络，但至少说明高性能 CPU 真的能满足大模型的训练，能大量降低硬件成本。
论文 4：Knowledge Graphs
- 作者：AIDAN HOGAN、EVA BLOMQVIST、ANTOINE ZIMMERMANN 等
- 论文链接：https://arxiv.org/pdf/2003.02320.pdf
摘要：近来知识图谱在需要利用多样化、动态和大规模数据集的诸多场景中吸引了工业界和学术界的注意，在本文中，研究者们对知识图谱做了综述性介绍。在总体介绍之后，他们对用于知识图谱的图数据模型和查询语言进行了对比，探讨了知识图谱中模式、标识和语境的作用。然后研究者解释了如何结合演绎和归纳方法来表征和提取知识，并对知识图谱的创建、丰富、质量评估、精细化和发布方法进行总结。最后，他们综述了著名的公开知识图谱和企业知识图谱以及它们的应用，并展望了知识图谱未来的高级别研究方向。
包含两个命名图以及默认图描述事件和路径的图数据集。
推荐：这篇长达 130 页的知识图谱综述论文可以让读者总览所有相关知识图谱的信息。
论文 5：Ultrafast machine vision with 2D material neural network image sensors
- 作者：Lukas Mennel、Joanna Symonowicz、Thomas Mueller 等
- 论文链接：https://www.nature.com/articles/s41586-020-2038-x
摘要：对于计算机视觉，镜头是它的眼睛，获取丰富的视觉信息后就可以传递给处理单元，并依靠它实现各种视觉能力。这是 CV 最常规的范式，也最符合我们的直觉，但是你会发现有两大问题。首先，从镜头传递信息给处理单元，这一步并不简单，尤其是在使用云计算的情况下，这都怪视觉信息太丰富了。其次，处理单元的工作也不简单，计算量庞大的视觉模型常常让人望而却步。
而在这篇 Nature 最新研究中，研究者表明图像传感器本身也可以「印刻」神经网络，它能同时担当感光与处理图像这两大功能，且还没有延迟。更重要的是，这种机器视觉芯片比传统卷积神经网络要快上千倍。只要一块芯片，相机秒变智能终端。
与人脑一样，新芯片能以纳秒级的速度感知、分类简单的图像。
a 为训练分类器与自编码器的实验配置，b 为用于测量 time-resolved 的实验设置，c 为光学实验的近景照片。
推荐：本文的亮点在于将神经网络与感光能力结合到一起，在感光的同时产生电流，在产生电流的同时完成视觉任务，这样的芯片还是非常有意思。
论文 6：DefogGAN: Predicting Hidden Information in the StarCraft Fog of War with Generative Adversarial Nets
- 作者：Yonghyun Jeong、Hyunjin Choi、Youngjune Gwon 等
- 论文链接：https://arxiv.org/abs/2003.01927
摘要：在本文中，来自三星 SDS 的研究者提出了 DefogGAN，这是一种用于推理即时战略游戏中战争迷雾机制下玩家状态信息的生成式方法。基于观察到的部分状态，DefogGAN 在游戏中生成除雾图像，以作为预测信息。此类信息能够为游戏创建战略智能体。
作为一种条件式 GAN 变体，DefogGAN 以金字塔式重建损失为特征，从而在多特征分辨率规模上进行优化。借助于专业《星际争霸》录像，研究者已经对 DefogGAN 进行了验证。结果表明，DefogGAN 能够像专业玩家那样准确地预测敌方建筑图和战斗单元，并在所有 SOTA 除雾器取得优异表现。
DefogGAN 的预测效果图与 Groud truth 的对比。图中分别以绿色和红色代表己方和敌方战斗单元。DefogGAN 能够预测未观察到的敌方战斗单元。
DefogGAN 整体架构图。
金字塔式重建损失。
推荐：DefogGAN 不仅是对抗学习提升战争迷雾机制的最早应用之一，而且它还可以应用到现实世界中的其他马尔科夫决策过程（POMDP）问题。
论文 7：Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data
- 作者：Sebastian Lunz、Yingzhen Li、Andrew Fitzgibbon、Nate Kushman
- 论文链接：https://arxiv.org/pdf/2002.12674.pdf
摘要：通常来说，训练这样的框架需要通过栅格化处理来进行微分步骤渲染，因此，过去研究人员在该领域的努力都专注于开发定制渲染模型。然而，通过此类模型处理的图像会显得不够真实自然，也不适合用于生成游戏以及图形产业的工业效果图。
微软的研究人员这一次做了新的突破——他们在论文中详细介绍了一个框架，该框架采用的「可缩放」训练技术是第一次被用于这一领域。研究人员提到，在使用 2D 图像进行训练时，该框架始终可以比现有的模型生成效果更好的 3D 形状。
通过在渲染自三个 ShapeNet 类的非结构化 2D 图像上训练 IG-GAN，由此生成的 3D 图示例。
IG-GAN 的整体架构和训练设置。
推荐：这对于视频游戏开发人员、电子商务公司，以及缺乏创建 3D 模型经验的动画公司来说，称得上是「福音」。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
本周 10 篇 NLP 精选论文是：
1. Improving Candidate Generation for Low-resource Cross-lingual Entity Linking. (from Shuyan Zhou, Shruti Rijhawani, John Wieting, Jaime Carbonell, Graham Neubig)
2. SentenceMIM: A Latent Variable Language Model. (from Micha Livne, Kevin Swersky, David J. Fleet)
3. SeMemNN: A Semantic Matrix-Based Memory Neural Network for Text Classification. (from Changzeng Fu, Chaoran Liu, Carlos Toshinori Ishi, Yuichiro Yoshikawa, Hiroshi Ishiguro)
4. UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training. (from Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Songhao Piao, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon)
5. RecipeGPT: Generative Pre-training Based Cooking Recipe Generation and Evaluation System. (from Helena H. Lee, Ke Shu, Palakorn Achananuparp, Philips Kokoh Prasetyo, Yue Liu, Ee-Peng Lim, Lav R. Varshney)
6. XGPT: Cross-modal Generative Pre-Training for Image Captioning. (from Qiaolin Xia, Haoyang Huang, Nan Duan, Dongdong Zhang, Lei Ji, Zhifang Sui, Edward Cui, Taroon Bharti, Ming Zhou)
7. Seshat: A tool for managing and verifying annotation campaigns of audio data. (from Hadrien Titeux, CoML, Rachid Riad, CoML, Xuan-Nga Cao, CoML, Nicolas Hamilakis, CoML, Kris Madden, Alejandrina Cristia, CoML, Anne-Catherine Bachoud-Lévi, Emmanuel Dupoux, CoML)
8. Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation. (from Mikel Artetxe, Gorka Labaka, Noe Casas, Eneko Agirre)
9. DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding. (from Yuyu Zhang, Ping Nie, Xiubo Geng, Arun Ramamurthy, Le Song, Daxin Jiang)
10. A Study on Efficiency, Accuracy and Document Structure for Answer Sentence Selection. (from Daniele Bonadiman, Alessandro Moschitti)
本周 10 篇 CV 精选论文是：
1. Rethinking Zero-shot Video Classification: End-to-end Training for Realistic Applications. (from Biagio Brattoli, Joe Tighe, Fedor Zhdanov, Pietro Perona, Krzysztof Chalupka)
2. Creating High Resolution Images with a Latent Adversarial Generator. (from David Berthelot, Peyman Milanfar, Ian Goodfellow)
3. A U-Net Based Discriminator for Generative Adversarial Networks. (from Edgar Schönfeld, Bernt Schiele, Anna Khoreva)
4. Towards Noise-resistant Object Detection with Noisy Annotations. (from Junnan Li, Caiming Xiong, Richard Socher, Steven Hoi)
5. Image Matching across Wide Baselines: From Paper to Practice. (from Yuhe Jin, Dmytro Mishkin, Anastasiia Mishchuk, Jiri Matas, Pascal Fua, Kwang Moo Yi, Eduard Trulls)
6. Holistically-Attracted Wireframe Parsing. (from Nan Xue, Tianfu Wu, Song Bai, Fu-Dong Wang, Gui-Song Xia, Liangpei Zhang, Philip H.S. Torr)
7. Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data. (from Sebastian Lunz, Yingzhen Li, Andrew Fitzgibbon, Nate Kushman)
8. Feature Extraction for Hyperspectral Imagery: The Evolution from Shallow to Deep. (from Behnood Rasti, Danfeng Hong, Renlong Hang, Pedram Ghamisi, Xudong Kang, Jocelyn Chanussot, Jon Atli Benediktsson)
9. Predicting Sharp and Accurate Occlusion Boundaries in Monocular Depth Estimation Using Displacement Fields. (from Michael Ramamonjisoa, Yuming Du, Vincent Lepetit)
10. Adversarial Deepfakes: Evaluating Vulnerability of Deepfake Detectors to Adversarial Examples. (from Paarth Neekhara, Shehzeen Hussain, Malhar Jere, Farinaz Koushanfar, Julian McAuley)
本周 10 篇 ML 精选论文是：
1. SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives. (from Emmanouil Angelis, Philippe Wenk, Bernhard Schölkopf, Stefan Bauer, Andreas Krause)
2. Fuzzy k-Nearest Neighbors with monotonicity constraints: Moving towards the robustness of monotonic noise. (from Sergio González, Salvador García, Sheng-Tun Li, Robert John, Francisco Herrera)
3. Correlated Feature Selection with Extended Exclusive Group Lasso. (from Yuxin Sun, Benny Chain, Samuel Kaski, John Shawe-Taylor)
4. Decentralized gradient methods: does topology matter?. (from Giovanni Neglia, Chuan Xu, Don Towsley, Gianmarco Calbi)
5. Adversarial Robustness Through Local Lipschitzness. (from Yao-Yuan Yang, Cyrus Rashtchian, Hongyang Zhang, Ruslan Salakhutdinov, Kamalika Chaudhuri)
6. Self-Supervised Object-Level Deep Reinforcement Learning. (from William Agnew, Pedro Domingos)
7. BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward. (from Florian Schmidt, Thomas Hofmann)
8. Analyzing Accuracy Loss in Randomized Smoothing Defenses. (from Yue Gao, Harrison Rosenberg, Kassem Fawaz, Somesh Jha, Justin Hsu)
9. Hierarchically Decoupled Imitation for Morphological Transfer. (from Donald J. Hejna III, Pieter Abbeel, Lerrel Pinto)
10. Curriculum By Texture. (from Samarth Sinha, Animesh Garg, Hugo Larochelle)
