Introduction
预训练后的深度神经网络模型往往存在着严重的 过参数化 问题，其中只有约5%的参数子集是真正有用的。为此，对模型进行 时间 和 空间 上的压缩，便谓之曰“模型压缩” 。
模型压缩技术包括 前端压缩 和 后端压缩 这两部分。
对比
前端压缩 | 后端压缩 | |
|---|---|---|
实现难度 | 较简单 | 较难 |
可逆否 | 可逆 | 不可逆 |
成熟运用 | 剪枝 | 低秩近似、参数量化 |
待发展运用 | 知识蒸馏 | 二值网络 |
前端压缩
代码语言：javascript复制不会改变原始网络结构的压缩技术。1. 知识蒸馏
蒸馏模型采用的是 迁移学习，通过采用 预先训练好 的 复杂模型（Teacher model）的 输出 作为 监督信号 去训练另外一个简单的网络。这个简单的网络称之为student model。
2. 紧凑的模型结构设计
“挤压”设计 与 “扩张”设计。
3. 滤波器层面的剪枝
在训练时使用稀疏约束（加入权重的稀疏正则项，引导模型的大部分权重趋向于0）。完成训练后，剪去滤波器上的这些 0 。
- 优点： 简单。
- 缺点： 剪得不干净。
后端压缩
代码语言：javascript复制会大程度上改变原始网络结构的压缩技术，且不可逆。1. 低秩近似
使用结构化矩阵来进行低秩分解。
- 优点： 该方法在中小型网络模型上效果不错。
- 缺点： 在大型网络模型上玩不转。
2. 未加限制的剪枝
完成训练后，不加限制地剪去那些冗余参数。
- 优点： 使模型更加成熟。
- 缺点： 易导致网络结构随机且稀疏。由于被剪除的网络连接在分布上缺乏连续性，导致在实际使用模型时，CPU cache和内存之间会增加很多不必要的频繁切换。这种“每次少放，多次拿取”的弊端，使得实际使用中的加速效果大打折扣。 同时，剪枝后，通用的运行库（比如conv2d）不能用了，还得另行设计新的运算接口。So 麻烦。。
3. 参数量化
从权重中 归纳出 若干的“代表”，由这些“代表”来 表示某一类权重 的 具体数值 。
4. 二值网络
所有 参数的取值 只能是 ±1 。
[1] 解析卷积神经网络—深度学习实践手册 [2] 深度压缩之蒸馏模型
