目录

    • 1、感受野
    • 2、2层3 * 3卷积与1层5 * 5卷积
    • 3、2层3 * 3卷积与1层5 * 5卷积的计算量比较
    • 4、2层3 * 3卷积与1层5 * 5卷积的非线性比较
    • 5、2层3 * 3卷积与1层5 * 5卷积的参数量比较

1、感受野

感受野:卷积神经网络各输出特征像素点,在原始图片映射区域大小。
举个例子,原图为3x3大小,我们使用3x3大小的卷积核卷积,得到的输出图片大小是1x1的,所以输出图片的感受野是3。
感受野表征了卷积核的特征提取能力。

2、2层3 * 3卷积与1层5 * 5卷积

设原图大小长宽皆为x(x>=5) ,我们使用5x5的卷积核在x方向上滑动,步长为1,需要滑动(x-5+1)次,y方向同理,滑动了(x-5+1)次,所以最终卷积了(x-4) * (x-4)次,也就是说得到的输出图大小为(x-4) * (x-4).
同理,3x3卷积核卷积遍后输出图大小为(x-3+1) * (x-3+1),在输出图基础上再次用3x3卷积核卷积,得到的输出图大小:(x-3+1-3+1) * (x-3+1-3+1)=(x-4) * (x-4).
可以发现对同样一幅图卷积,使用2个3 * 3卷积与1个5 * 5卷积得到的输出图大小是一样的,也就是说他们的感受野是一样大的,所以,可以总结出这样一个结论:2遍3 * 3卷积与1遍5 * 5卷积,特征提取能力是一样的。
那为何工业上常常用小的卷积核多次卷积去替代大卷积核一次卷积?
这个原因可以从三个角度去解答

3、2层3 * 3卷积与1层5 * 5卷积的计算量比较

3x3卷积核卷积一次的运算量是9
5x5卷积核卷积一次的运算量是25
所以对原图大小长宽皆为x的图片来说2遍3x3卷积与1遍5x5卷积的计算量分别为:

3 * 3卷积核:9 * (x-2) ^ 2+9 * (x-4) ^2(第一次卷积计算量+第二次卷积计算量)
5 * 5卷积核:25 * (x-4) ^2
列出不等式:
9 * (x-2) ^ 2+9 * (x-4) ^2 <=25 * (x-4) ^2(求出2遍3 * 3卷积运算量比1遍5 * 5卷积的运算量小时的原图大小)
计算得出这样结果在这里插入图片描述
也就是说原图边长x>10时,2遍3 * 3卷积计算量比1遍5 * 5卷积计算量要小!!!
并且随着x的增大,这种两者计算量差距会逐渐拉大。
而一般图片大小都是大于10的,如mnist手写数字集边长28

4、2层3 * 3卷积与1层5 * 5卷积的非线性比较

小卷积核卷积整合了多个非线性激活层,代替单一非线性激活层,增加了判别能力。

5、2层3 * 3卷积与1层5 * 5卷积的参数量比较

2遍3 * 3卷积参数个数=2 * 3 * 3 =18
1遍5 * 5卷积参数个数=5 * 5=25
参数个数明显减少