又改ResNet | 重新思考ResNet：采用高阶方案的改进堆叠策略（附论文下载）

本文提出了更高阶的ResNet变体：HO-ResNet，平均涨2 个点！实验观察到性能显著的提高，且有助于收敛性和鲁棒性。 作者单位：早稻田大学

1 简介

本文提出了更高阶的ResNet变体：HO-ResNet，平均涨2 个点！并进行了大量实验验证到该方法可以使性能显著的提高的同时也有助于模型的收敛和鲁棒性。（居然连ResNet-RS都引用了，太卷了）

文章总结到网络整体结构的设计缺乏一般性的指导。基于近年来一些研究人员观察到的DNN设计与数值微分方程之间的关系，本文对残差设计和高阶视角进行了公平的比较。

图1 将相同的层按更高的顺序堆叠

在扎实的理论知识和无需额外参数的支持下，可以改进得到广泛使用的DNN设计策略（不断堆叠小的设计），以较高阶的方式重组残差设计，这是受以下观察启发的：许多有效的网络可以解释为微分方程的不同数值离散。ResNet的设计遵循一个相对简单的方案，该方案是Euler提出的；但是，堆叠时的情况迅速复杂化。

假设堆叠的ResNet在某种程度上等于高阶方案，那么与典型的高阶方法（如Runge-Kutta）相比，当前的传递方式可能相对较弱。于是提出了更高阶的ResNet，以通过充分的实验来验证关于广泛使用的CV Baseline的假设。观察到性能稳定且显著的提高同时也有益于收敛性和鲁棒性。

本文工作主要是基于2个优秀的作品:

NODEs 把整个网络作为ODE求解器。
ResNet-RS Make ResNet Great Again (MRGA)。

2 残差网络的高阶设计

2.1 Euler Forward Scheme

以残差网络(ResNet)为例，设模型ResNet的L层残差神经网络为

RESL(x):R^{d_{in}}rightarrow R^{d_{out}}

。假设隐藏状态

属于

R^{d_N}

，输入层为:

N^0(x)=x-R^{d_{in}}

。这里把残差的设计描述为:

是整数，

表示待学习的未进一步扩展的剩余映射。

残差网络中从深度

到

i 1

到隐藏状态

的变换序列可以这样写，其中

和

为权重矩阵：

这里选择最简单的2个核大小为3的卷积层作为

。假设一个网络为ResNet-6，即两个ResBlocks 被堆叠，可以写出输入输出的关系如下:

这里使用

N^{Mid}

记录第1个ResBlock的输出，可以发现2个堆叠的ResBlock的行为与Mid-point Scheme非常相似。

2.2 Mid-point Scheme

图3 Mid-point方案

Euler方法更新为最简单的one-step方法iF，Mid-point法更新为更高阶的one-step:

如果在网络设计上比较ResBlock-Euler和ResBlock-Midpoint会有不同的叠加，如图3所示。现在有一个4层的块设计，而不是2层的设计。然而，堆叠对相同的Euler scheme进行层/阶的平等对比。

这2个block有2个不同之处:

在添加相同的快捷方式获取mid-state时，Mid-point设计将F的输出压缩了一半。
第2个short-cut是从前面的地方直接从输入。

如果将Mid-point ResBlock设计写成:

发现它非常类似于堆叠的ResBlockEuler。因此，假设堆叠的网络可以很容易地用高阶方法改进，对于为什么它可以比低阶方法更精确？在数值问题有坚实的理论基础。

2.3 4th order Runge-Kutta Scheme

是否可以用4阶的设计来进一步探索?Mai Zhu等人尝试过RK风格的设计。在本研究中将其作为一种堆叠的参考，而不是一个特定的RK-Net。RungeKutta方法(RK4)用一个4-step的方法来更新它，本文实现的ResBlock-RK4可以这样写:

网络输出为:

实现单个ResBlock-RK4需要8层，因此比较了4个堆叠的ResBlock-Euler。为了便于比较，可以用同样的方式编写堆叠的ResBlock-Euler:

网络输出为:

根据上面的总结可以很容易地理解4阶RK-ResNet和4个堆叠 ResBlocks之间的区别。在图4中发现RK4-ResBlock在某种程度上类似于DenseNet设计。但是DenseNet在每k层之后都保持short-cut而RK4-ResNet没有。此外，HO-ResNet将在数学理论的支持下缩放k的特定输出。