原文标题:Graph Interpolating Activation Improves Both Natural and Robust Accuracies in Data-Efficient Deep Learning
摘要:提高深度神经网络(DNNs)的准确性和鲁棒性,并使其适应较小的训练数据,是深度学习研究的主要任务。本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数),该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。此外,我们还提出了这种新架构的端到端训练和测试算法.该DNN融合了深度学习和流形学习的优点。与传统的以Softmax函数作为输出激活的DNN相比,该框架具有以下主要优点:第一,它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。第二,它显着地提高了清洁图像的自然准确性和对抗性图像的鲁棒准确性,这两种图像都是由白盒和黑盒对抗性攻击构建的。第三,对于可再现性,它是半监督学习的自然选择。
地址: https://arxiv.org/abs/1907.06800
作者: Bao Wang, Stanley J. Osher