卷积神经网络性能优化

代码语言：javascript复制

来源：AI蜗牛车、极市平台本文约9200字，建议阅读10 分钟本文为你简要介绍几种常见的CNN优化方法，并分享相关经验。

作者丨黎明灰烬来源｜https://zhuanlan.zhihu.com/p/80361782

引言

卷积（Convolution）是神经网络的核心计算之一，它在计算机视觉方面的突破性进展引领了深度学习的热潮。卷积的变种丰富，计算复杂，神经网络运行时大部分时间都耗费在计算卷积，网络模型的发展在不断增加网络的深度，因此优化卷积计算就显得尤为重要。

随着技术的发展，研究人员提出了多种优化算法，包括 Im2col、Winograd 等等。本文首先定义卷积神经网络的概念，继而简要介绍几种常见的优化方法，并讨论作者在该领域的一些经验。

• 大部分时间都耗费在计算卷积链接：https://arxiv.org/abs/1807.11164
• Im2col 链接：https://www.mathworks.com/help/images/ref/im2col.html
• Winograd 链接：https://www.intel.ai/winograd/#gs.avmb0n

卷积神经网络的概念

卷积神经网络（Convolution Neural Networks, CNN）的概念拓展自信号处理领域的卷积。信号处理的卷积定义为

 (1)

由于对称性

 卷积计算在直觉上不易理解，其可视化后如图一所示。图中红色滑块在移动过程中与蓝色方块的积绘制成的三角图案即为卷积结果 (