1.什么是卷积
对于卷积的定义,如下:
连续形式
离散形式
先对g函数进行翻转,相当于在数轴上把g函数从右边褶到左边去,也就是卷积的“卷”的由来。 然后再把g函数平移到n,在这个位置对两个函数的对应点相乘,然后相加,这个过程是卷积的“积”的过程。
上述公式中有一个共同的特征:
对于这个特征,我们可以令x=tau,y=n-tau,那么x y=n就是一些直线
如果遍历这些直线,就好比,把毛巾沿着角卷起来:
2.通俗易懂的理解卷积
2.1离散卷积的例子:丢骰子
问题:
把两枚骰子抛出去,两枚骰子点数之和为4的概率是多少
表示:
如果用f(x)表示第一枚骰子投出x(x∈{1,2,3,4,5,6})的概率,g(y)表示第二枚骰子投出y(y∈{1,2,3,4,5,6})的概率
结果:
两枚骰子点数加起来等于4的情况有: f(1)g(3)和f(2)g(2)和f(3)g(1)
那么概率为P=f(1)g(3) f(2)g(2) f(3)g(1),符合卷积的定义,把他写成标准形式就是
2.2连续卷积的例子:做馒头
问题:
如果有一家包子铺,会生产包子,但是包子会坏掉,那么一天后包子总共坏掉了多少?
表示:
假设包子生产速度是f(t),对于包子铺一天生产的包子数量是
假设腐败速度是g(t),那么n个包子生产出来后,24小时会腐败个数
结果:
一天后,包子总共腐败了:
2.3卷积提取图像特征
卷积核和图像进行点乘(dot product), 就代表卷积核里的权重单独对相应位置的Pixel进行作用
这里我想强调一下点乘,虽说我们称为卷积,实际上是位置一一对应的点乘,不是真正意义的卷积
比如图像位置(1,1)乘以卷积核位置(1,1),仔细观察右上角你就会发现了
例如:对于一张图片
我们进行手动卷积
代码语言:javascript复制import cv2
import torch,torchvision
from torchvision import transforms
import matplotlib.pyplot as plt
import numpy as np
from PIL import Image
import math
path="./1.jpg"
img = Image.open(path)
transform = transforms.Compose([transforms.ToTensor()])#totensor 得到(C*H*W)
im = transform(img)
def imshow(img):
npimg = img
plt.imshow(np.transpose(npimg,(1,2,0))) #chw->hwc
plt.show()
k = torch.ShortTensor([[0,-4,0],[-4,16,-4],[0,-4,0]])
stride=2 #步长
padding=0 # 补0
f = k.size(0) # 卷积核的形状
channels = im.size(0) #输入的图片的通道数
hin = im.size(1) #输入的图片的高
win = im.size(2) #输入的图片的宽
hout = math.floor((hin-f 2*padding)/stride 1) #输出的图片的高
wout = math.floor((win-f 2*padding)/stride 1) #输出的图片的宽
print("input[{},{}],output[{},{}]".format(hin,win,hout,wout))
output=[]
im = im.numpy()
k = k.numpy()
print("Waite for calculating...")
# 自定义卷积,一一对应相乘
for i in range(channels):
lines=[]
for j in range(hout):
line=[]
for n in range(wout):
a=[[im[i][j*stride][n*stride],im[i][j*stride][n*stride 1],im[i][j*stride][n*stride 2]],[im[i][j*stride 1][n*stride],im[i][j*stride 1][n*stride 1],im[i][j*stride 1][n*stride 2]],[im[i][j*stride 2][n*stride],im[i][j*stride 2][n*stride 1],im[i][j*stride 2][n*stride 2]]]
line.append(sum(sum(a*k)))
lines.append(line)
output.append(lines)
oo=np.array(output)
print(oo.shape)
imshow(oo)
提取特征效果如下:
部分内容参考知乎:如何通俗易懂的理解卷积