BatchNorm层与神经网络量化

2019-11-19 17:48:58 浏览数 (1)

深度学习能够解决许多复杂的问题,如今逐渐广泛运用。深度学习的网络往往比较深,要占用大量的存储空间与计算资源,因此为了使其能用于小型设备之中,需要对模型进行压缩。这个演讲则围绕着对激活层(activation)参数的量化进行。演讲者是斯坦福大学的Elaina Chai,师从Boris Murmann。

Chai从过去的研究开始,讲述了量化参数的难度,过去多年的研究研究出的量化方法存在不是量化误差极大,就是量化效果不好的问题。而Batch Norm的发现,提升了网络训练收敛的速度,也无意中改变了参数的结构,使得参数分布更为集中,降低参数数据占据的位深,使得数据得到归一化,从而使得参数更加容易被量化,并且给出了大量的数据分析。

随后,Chai从多年的LMS(learning management system)的研究成果进行总结分析,讲述Batch Norm层的出现为LMS带来了改变,归一化的数据帮助网络更好地收敛,同时BN的引入也降低了网络对小噪声(也包括量化噪声)的敏感程度。

0 人点赞