## 卷积神经网络(CNN)反向传播算法在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP)
1. 回顾DNN的反向传播算法
我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的\deltaL:\deltaL=∂J(W,b)∂zL=∂J(W,b)∂aL⊙σ′(zL)
\deltaL:\deltaL=∂J(W,b)∂zL=∂J(W,b)∂aL⊙σ′(zL)
利用数学归纳法，用δl+1
δl+1
的值一步步的向前求出第l层的\deltal
\deltal
，表达式为：δl=δl+1∂zl+1∂zl=(Wl+1)Tδl+1⊙σ′(zl)
δl=δl+1∂zl+1∂zl=(Wl+1)Tδl+1⊙σ′(zl)
有了δl
δl
的表达式，从而求出W,b的梯度表达式：
∂J(W,b)∂Wl=∂J(W,b,x,y)∂zl∂zl∂Wl=δl(al−1)T
∂J(W,b)∂Wl=∂J(W,b,x,y)∂zl∂zl∂Wl=δl(al−1)T
∂J(W,b,x,y)∂bl=∂J(W,b)∂zl∂zl∂bl=δl
∂J(W,b,x,y)∂bl=∂J(W,b)∂zl∂zl∂bl=δl
有了W,b梯度表达式，就可以用梯度下降法来优化W,b,求出最终的所有W,b的值。
现在我们想把同样的思想用到CNN中，很明显，CNN有些不同的地方，不能直接去套用DNN的反向传播算法的公式。
2. CNN的反向传播算法思想
要套用DNN的反向传播算法到CNN，有几个问题需要解决：
1）池化层没有激活函数，这个问题倒比较好解决，我们可以令池化层的激活函数为σ(z)
σ(z)
= z，即激活后就是自己本身。这样池化层激活函数的导数为1.
2）池化层在前向传播的时候，对输入进行了压缩，那么我们现在需要向前反向推导δl−1
δl−1
，这个推导方法和DNN完全不同。
- 卷积层是通过张量卷积，或者说若干个矩阵卷积求和而得的当前层的输出，这和DNN很不相同，DNN的全连接层是直接进行矩阵乘法得到当前层的输出。这样在卷积层反向传播的时候，上一层的δl−1
δl−1
递推计算方法肯定有所不同。
4）对于卷积层，由于W使用的运算是卷积，那么从δl
δl
推导出该层的所有卷积核的W,b的方式也不同。
从上面可以看出，问题1比较好解决，但是问题2,3,4就需要好好的动一番脑筋了，而问题2,3,4也是解决CNN反向传播算法的关键所在。另外大家要注意到的是，DNN中的al,zl
al,zl
都只是一个向量，而我们CNN中的al,zl
al,zl
都是一个张量，这个张量是三维的，即由若干个输入的子矩阵组成。
下面我们就针对问题2,3,4来一步步研究CNN的反向传播算法。
在研究过程中，需要注意的是，由于卷积层可以有多个卷积核，各个卷积核的处理方法是完全相同且独立的，为了简化算法公式的复杂度，我们下面提到卷积核都是卷积层中若干卷积核中的一个。
3. 已知池化层的\deltal
\deltal
，推导上一隐藏层的δl−1
δl−1
我们首先解决上面的问题2，如果已知池化层的\deltal
\deltal
，推导出上一隐藏层的δl−1
δl−1
。
在前向传播算法时，池化层一般我们会用MAX或者Average对输入进行池化，池化的区域大小已知。现在我们反过来，要从缩小后的误差δl
δl
，还原前一次较大区域对应的误差。
在反向传播时，我们首先会把\deltal
\deltal
的所有子矩阵大小还原成池化之前的大小，然后如果是MAX，则把\deltal
\deltal
的所有子矩阵的各个池化局域的值放在之前做前向传播算法得到最大值的位置。如果是Average，则把δl
δl
的所有子矩阵的各个池化局域的值取平均后放在还原后的子矩阵位置。这个过程一般叫做upsample。
用一个例子可以很方便的表示：假设我们的池化区域大小是2x2。\deltal
\deltal
的第k个子矩阵为:δkl=(28 46)
δkl=(28 46)
由于池化区域为2x2，我们先讲δlk
δkl
做还原，即变成：(0000 0280 0460 0000)
(0000 0280 0460 0000)
如果是MAX，假设我们之前在前向传播时记录的最大值位置分别是左上，右下，右上，左下，则转换后的矩阵为：(2000 0008 0400 0060)
(2000 0008 0400 0060)
如果是Average，则进行平均：转换后的矩阵为：(0.50.522 0.50.522 111.51.5 111.51.5)
(0.50.522 0.50.522 111.51.5 111.51.5)
这样我们就得到了上一层 ∂J(W,b)∂akl−1
∂J(W,b)∂akl−1
的值，要得到δkl−1
δkl−1
：δkl−1=∂J(W,b)∂akl−1∂akl−1∂zkl−1=upsample(δkl)⊙σ′(zl−1k)
δkl−1=∂J(W,b)∂akl−1∂akl−1∂zkl−1=upsample(δkl)⊙σ′(zkl−1)
其中，upsample函数完成了池化误差矩阵放大与误差重新分配的逻辑。
我们概括下，对于张量δl−1
δl−1
，我们有：δl−1=upsample(\deltal)⊙σ′(zl−1)
δl−1=upsample(\deltal)⊙σ′(zl−1)
4. 已知卷积层的\deltal
\deltal
，推导上一隐藏层的δl−1
δl−1
对于卷积层的反向传播，我们首先回忆下卷积层的前向传播公式：al=σ(zl)=σ(al−1∗Wl+bl)
al=σ(zl)=σ(al−1∗Wl+bl)
其中nin
nin
为上一隐藏层的输入子矩阵个数。
在DNN中，我们知道δl−1
δl−1
和δl
δl
的递推关系为：δl=∂J(W,b)∂zl=∂J(W,b)∂zl+1∂zl+1∂zl=δl+1∂zl+1∂zl
δl=∂J(W,b)∂zl=∂J(W,b)∂zl+1∂zl+1∂zl=δl+1∂zl+1∂zl
因此要推导出δl−1
δl−1
和δl
δl
的递推关系，必须计算∂zl∂zl−1
∂zl∂zl−1
的梯度表达式。
注意到zl
zl
和zl−1
zl−1
的关系为：zl=al−1∗Wl+bl=σ(zl−1)∗Wl+bl
zl=al−1∗Wl+bl=σ(zl−1)∗Wl+bl
因此我们有：δl−1=δl∂zl∂zl−1=δl∗rot180(Wl)⊙σ′(zl−1)
δl−1=δl∂zl∂zl−1=δl∗rot180(Wl)⊙σ′(zl−1)
这里的式子其实和DNN的类似，区别在于对于含有卷积的式子求导时，卷积核被旋转了180度。即式子中的rot180()
rot180()
，翻转180度的意思是上下翻转一次，接着左右翻转一次。在DNN中这里只是矩阵的转置。那么为什么呢？由于这里都是张量，直接推演参数太多了。我们以一个简单的例子说明为啥这里求导后卷积核要翻转。
假设我们l-1层的输出al−1
al−1
是一个3x3矩阵，第l层的卷积核Wl
Wl
是一个2x2矩阵，采用1像素的步幅，则输出zl
zl
是一个2x2的矩阵。我们简化bl
bl
都是0,则有al−1∗Wl=zl
al−1∗Wl=zl
我们列出a,W,z的矩阵表达式如下：(a11a12a13 a21a22a23 a31a32a33)∗(w11w12 w21w22)=(z11z12 z21z22)
(a11a12a13 a21a22a23 a31a32a33)∗(w11w12 w21w22)=(z11z12 z21z22)
利用卷积的定义，很容易得出：
z11=a11w11+a12w12+a21w21+a22w22
z11=a11w11+a12w12+a21w21+a22w22
z12=a12w11+a13w12+a22w21+a23w22
z12=a12w11+a13w12+a22w21+a23w22
z21=a21w11+a22w12+a31w21+a32w22
z21=a21w11+a22w12+a31w21+a32w22
z22=a22w11+a23w12+a32w21+a33w22
z22=a22w11+a23w12+a32w21+a33w22
接着我们模拟反向求导：∇al−1=∂J(W,b)∂al−1=∂J(W,b)∂zl∂zl∂al−1=δl∂zl∂al−1
∇al−1=∂J(W,b)∂al−1=∂J(W,b)∂zl∂zl∂al−1=δl∂zl∂al−1
从上式可以看出，对于al−1
al−1
的梯度误差∇al−1
∇al−1
，等于第l层的梯度误差乘以∂zl∂al−1
∂zl∂al−1
，而∂zl∂al−1
∂zl∂al−1
对应上面的例子中相关联的w的值。假设我们的z矩阵对应的反向传播误差是δ11,δ12,δ21,δ22
δ11,δ12,δ21,δ22
组成的2x2矩阵，则利用上面梯度的式子和4个等式，我们可以分别写出∇al−1
∇al−1
的9个标量的梯度。
比如对于a11
a11
的梯度，由于在4个等式中a11
a11
只和z11
z11
有乘积关系，从而我们有：∇a11=δ11w11
∇a11=δ11w11
对于a12
a12
的梯度，由于在4个等式中a12
a12
和z12,z11
z12,z11
有乘积关系，从而我们有：∇a12=δ11w12+δ12w11
∇a12=δ11w12+δ12w11
同样的道理我们得到：
∇a13=δ12w12
∇a13=δ12w12
∇a21=δ11w21+δ21w11
∇a21=δ11w21+δ21w11
∇a22=δ11w22+δ12w21+δ21w12+δ22w11
∇a22=δ11w22+δ12w21+δ21w12+δ22w11
∇a23=δ12w22+δ22w12
∇a23=δ12w22+δ22w12
∇a31=δ21w21
∇a31=δ21w21
∇a32=δ21w22+δ22w21
∇a32=δ21w22+δ22w21
∇a33=δ22w22
∇a33=δ22w22
这上面9个式子其实可以用一个矩阵卷积的形式表示，即：
(0000 0δ11δ120 0δ21δ220 0000)∗(w22w21 w12w11)=(∇a11∇a12∇a13 ∇a21∇a22∇a23 ∇a31∇a32∇a33)
(0000 0δ11δ120 0δ21δ220 0000)∗(w22w21 w12w11)=(∇a11∇a12∇a13 ∇a21∇a22∇a23 ∇a31∇a32∇a33)
为了符合梯度计算，我们在误差矩阵周围填充了一圈0，此时我们将卷积核翻转后和反向传播的梯度误差进行卷积，就得到了前一次的梯度误差。这个例子直观的介绍了为什么对含有卷积的式子求导时，卷积核要翻转180度的原因。
以上就是卷积层的误差反向传播过程。
5. 已知卷积层的δl
δl
，推导该层的W,b的梯度
好了，我们现在已经可以递推出每一层的梯度误差δl
δl
了，对于全连接层，可以按DNN的反向传播算法求该层W,b的梯度，而池化层并没有W,b,也不用求W,b的梯度。只有卷积层的W,b需要求出。
注意到卷积层z和W,b的关系为：zl=al−1∗Wl+b
zl=al−1∗Wl+b
因此我们有：∂J(W,b)∂Wl=∂J(W,b)∂zl∂zl∂Wl=\deltal∗rot180(al−1)
∂J(W,b)∂Wl=∂J(W,b)∂zl∂zl∂Wl=\deltal∗rot180(al−1)
由于我们有上一节的基础，大家应该清楚为什么这里求导后al−1
al−1
要旋转180度了。
而对于b,则稍微有些特殊，因为\deltal
\deltal
是三维张量，而b只是一个向量，不能像DNN那样直接和\deltal
\deltal
相等。通常的做法是将\deltal
\deltal
的各个子矩阵的项分别求和，得到一个误差向量，即为b的梯度：∂J(W,b)∂bl=∑u,v(δl)u,v
∂J(W,b)∂bl=∑u,v(δl)u,v
6. CNN反向传播算法总结
现在我们总结下CNN的反向传播算法，以最基本的批量梯度下降法为例来描述反向传播算法。
输入：m个图片样本，CNN模型的层数L和所有隐藏层的类型，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准（MAX或Average），对于全连接层，要定义全连接层的激活函数（输出层除外）和各层的神经元个数。梯度迭代参数迭代步长α
α
,最大迭代次数MAX与停止迭代阈值ϵ
ϵ
输出：CNN模型各隐藏层与输出层的W,b
- 初始化各隐藏层与输出层的各W,b的值为一个随机值。
2）for iter from 1 to MAX：
2-1) for i =1 to m：
a) 将CNN输入a1
a1
设置为xi
xi
对应的张量
b) for l=2 to L-1，根据下面3种情况进行前向传播算法计算：
b-1) 如果当前是全连接层：则有ai,l=σ(zi,l)=σ(Wlai,l−1+bi,l)
ai,l=σ(zi,l)=σ(Wlai,l−1+bi,l)
b-2) 如果当前是卷积层：则有ai,l=σ(zi,l)=σ(Wl∗ai,l−1+bi,l)
ai,l=σ(zi,l)=σ(Wl∗ai,l−1+bi,l)
b-3) 如果当前是池化层：则有ai,l=pool(ai,l−1)
ai,l=pool(ai,l−1)
, 这里的pool指按照池化区域大小k和池化标准将输入张量缩小的过程。
c) 对于输出层第L层:ai,L=softmax(zi,L)=softmax(Wi,Lai,L−1+bi,L)
ai,L=softmax(zi,L)=softmax(Wi,Lai,L−1+bi,L)
c) 通过损失函数计算输出层的δi,L
δi,L
d) for l= L to 2, 根据下面3种情况进行进行反向传播算法计算:
d-1) 如果当前是全连接层：δi,l=(Wl+1)Tδi,l+1⊙σ′(zi,l)
δi,l=(Wl+1)Tδi,l+1⊙σ′(zi,l)
d-2) 如果当前是卷积层：δi,l=δi,l+1∗rot180(Wl+1)⊙σ′(zi,l)
δi,l=δi,l+1∗rot180(Wl+1)⊙σ′(zi,l)
d-3) 如果当前是池化层：δi,l=upsample(δi,l+1)⊙σ′(zi,l)
δi,l=upsample(δi,l+1)⊙σ′(zi,l)
2-2) for l = 2 to L，根据下面2种情况更新第l层的Wl,bl
Wl,bl
:
2-2-1) 如果当前是全连接层：Wl=Wl−α∑i=1mδi,l(ai,l−1)T
Wl=Wl−α∑i=1mδi,l(ai,l−1)T
bl=bl−α∑i=1mδi,l
bl=bl−α∑i=1mδi,l
2-2-2) 如果当前是卷积层，对于每一个卷积核有：Wl=Wl−α∑i=1mδi,l∗rot180(ai,l−1),bl=bl−α∑i=1m∑u,v(δi,l)u,v
Wl=Wl−α∑i=1mδi,l∗rot180(ai,l−1),bl=bl−α∑i=1m∑u,v(δi,l)u,v
2-3) 如果所有W，b的变化值都小于停止迭代阈值ϵ
ϵ
，则跳出迭代循环到步骤3。
3） 输出各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b。
