整理并翻译自吴恩达深度学习系列视频:卷积神经网络1.11。
为什么要使用卷积
假设你有32X32X3的图像,一共3072个特征点,卷积成28X28X6的图像,一共4704个特征点。如果使用传统的网络,你需要3072*4704 ≈approx≈ 14M个参数。
32X32X3的图像已经是很小的图像了,如果你是1000*1000,参数可能多到使得计算举步维艰。
卷积的优点
- 参数共享:一个特征检测器(比如垂直边检测器)在图像的一部分是有用的,也会在另一部分是有用的。
- 稀疏连接:在每一层,每一个输出值仅依赖小数目的输入。
关于参数共享,更具体地说,你在整幅图像的所有位置上使用的都是同一个filter,即共享了filter的参数。 关于稀疏连接,卷积操作使用了输入的一小部分(等于filter大小的那部分)进行计算,得到一个值作为输出图像的一个点。这就是稀疏连接的含义。
参数共享的目的是,使网络自动地学习一个更健壮的,更好的捕捉到我们期望的拥有平移不变形的。