本文为 AI 研习社编译的技术博客，原标题 ： Review: RoR — ResNet of ResNet / Multilevel ResNet (Image Classification) 作者 | Sik-Ho Tsang 翻译 | 斯蒂芬·二狗子 校对 | 酱番梨 审核 | 约翰逊·李加薪 整理 | 立鱼王 原文链接： https://towardsdatascience.com/review-ror-resnet-of-resnet-multilevel-resnet-image-classification-cd3b0fcc19bb
在本文中，我们简短地回顾一下RoR（残余网络的残余网络）。在成为最先进的深度学习方法并赢得众多竞赛认可的ResNet成功之后，有许多研究者对如何推广或改进ResNet的做出了研究，相关的有 Pre-Activation ResNet, ResNet in ResNet (RiR), ResNet with Stochastic Depth (SD), Wide Residual Network (WRN)。RoR就是一篇改进ResNet的论文，它们引入了一组概念，就是带有短连接的ResNet模块。这个创新使得网络成为多级分层的ResNet模型。这篇论文于2016年首次出现在ResNet之后，于2017年被接受并最终于2018年TCSVT发表，已经有数十篇引文。
本文包括的内容：
- RoR的概念（Res网络模块的残差网络）
- RoR-m：等级数m
- RoR的不同版本
- 结论
1.RoR概念（残差网络的残差网络）
原始ResNet（左），RoR（右）
Original ResNet 显示在左上方，许多Res块级联在一起并形成一个非常深的网络。
在 Res块 中，有两条路径：
- 卷积路径，执行卷积以提取特征。
- 短连接方式将输入信号直接传输到下一层的连接路径。
利用短连接路径，可以减少梯度消失问题，因为在反向传播期间误差信号可以更容易地传播到前面的层。 上面右侧显示的RoR的建议，我们也可以在多个Res块上进行短连接。除此之外，我们还可以在一组“剩余块组”中建立另一级别的短连接。 作者认为：
- RoR将学习问题转变为学习残差到残差映射，这比原始 ResNet 更简单，更容易学习。
- 并且上面的块中的层也可以将信息传播到下面块中的层。
2.RoR-：Level Number m
级别编号m介绍：
- 当m = 1时，RoR仅具有最终级短连接，即原始残差网络。
- 当m = 2时，RoR只有root-level（最外层）和最终级别的短连接。
- 当m = 3时，RoR具有根级别，中级和最终级别的连接。
对于中级连接，每个短连接将跨越具有相同数量的特征图的Res块。
对m = 4和5也进行了测试，但在论文中没有任何关于它的细节。结果与m = 3相比不够好。
3.RoR的不同版本
RoR-3使用原始ResNet（左），RoR-3使用Pre-ResNet或WRN（右）
如上图所示，RoR适应于不同版本的ResNet。
- RoR-3：使用原始ResNet且m = 3的RoR
- Pre-RoR-3：使用Pre-Activation ResNet且m = 3的RoR
- RoR-3-WRN：使用WRN且m = 3的RoR
简而言之，RoR-3使用Conv-BN-ReLU。 Pre-RoR-3使用BN-ReLU-Conv，而WRN是更宽更浅的Pre-RoR-3。 （如果有兴趣，请阅读我对原始ResNet，Pre-Activation ResNet和WRN的评论，见原文。）
4.结果
4.1三个数据集CIFAR-10, CIFAR-100, SVHN
- CIFAR-10: 10类分类数据
- CIFAR-100: 100类分类数据
- SVHN: 街景房屋号数据集
CIFAR-10，CIFAR-100，SVHN数据集上的测试的错误率（％）
- RoR-3-164：通过将RoR应用于164层原始ResNet， （ SD 表示使用随机深度，以减少过度拟合），分别获得CIFAR-10和CIFAR-100数据集的4.86%和 22.47%测试错误率。 （164是模型深度。）
- Pre-RoR-3-164 SD：通过用Pre-ResNet替换原始残差模块的RoR模型，分别获得CIFAR-10和CIFAR-100数据集的4.51％和21.94％测试错误率。
- RoR-3-WRN40-4 SD：通过用更宽的40层WRN40-4替换pre-ResNet，分别获得CIFAR-10和CIFAR-100数据集的4.09％和20.11％测试错误率。
- RoR-3-WRN58-4 SD：对于更深层的58层WRN-58-4，分别获得了CIFAR-10和CIFAR-100数据集的3.77％和19.73％的测试错误率。
4.2 ImageNet数据集
ImageNet：ILSVRC中的1000类的大规模数据集。
ImageNet数据集上的10个目标的Top1和Top5测试错误率（％）
RoR-3的不同层版本始终优于ResNet的不同层版本。本文中有详细的验证实验。如有兴趣，请访问论文。 使用长跳过连接和短跳过连接的类似方法也已应用于生物医学图像分割。希望我也可以下一次谈这个。
相关参考
[2018 TCSVT] [RoR] Residual Networks of Residual Networks: Multilevel Residual Networks
我对图像分类的相关评论博文
[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Inception-v3] [Inception-v4] [Xception] [MobileNetV1] [ResNet] [Pre-Activation ResNet] [RiR] [Stochastic Depth] [WRN] [DenseNet]
感谢 Ludovic Benistant.
