在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中，我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。需要一些简洁的方法。

　　　　本文我们讨论矩阵向量求导链式法则，使用该法则很多时候可以帮我们快速求出导数结果。

　　　　本文的标量对向量的求导，标量对矩阵的求导使用分母布局， 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同，请先确认布局是否一样。

1. 向量对向量求导的链式法则

　　　　首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系，比如三个向量x→y→z存在依赖关系，则我们有下面的链式求导法则：$$\frac{\mathrm{\partial }\mathbf{z/}}{\mathrm{\partial }\mathbf{x}}=（\frac{\mathrm{\partial }\mathbf{z/}}{\mathrm{\partial }\mathbf{y）*（}}\frac{\mathrm{\partial }\mathbf{y/}}{\mathrm{\partial }\mathbf{x）}}$$

　　　　该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量，如果有一个Y是矩阵，比如是$\mathbf{x}\to \mathbf{Y}\to \mathbf{z}$，则上式并不成立。

　　　　从矩阵维度相容的角度也很容易理解上面的链式法则，假设x,y,z分别是m,n.p维向量，则求导结果∂z/∂x是一个p×m的雅克比矩阵，而右边∂z/∂y是一个p×n的雅克比矩阵，∂y/∂x是一个n×m的矩阵，两个雅克比矩阵的乘积维度刚好是p×m，和左边相容。

2. 标量对多个向量的链式求导法则

　　　　在我们的机器学习算法中，最终要优化的一般是一个标量损失函数，因此最后求导的目标是标量，无法使用上一节的链式求导法则，比如2向量，最后到1标量的依赖关系：x→y→z，此时很容易发现维度不相容。

　　　　假设x,y分别是m,n维向量, 那么∂z/∂x的求导结果是一个m×1的向量, 而∂z/∂y是一个n×1的向量，∂y/∂x是一个n×m的雅克比矩阵,右边的向量和矩阵是没法直接乘的。

　　　　但是假如我们把标量求导的部分都做一个转置，那么维度就可以相容了，也就是：$$(\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{x}}{)^}^T=(\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{y}}{)^}^{\mathrm{T(}}\frac{\mathrm{\partial }\mathbf{y/}}{\mathrm{\partial }\mathbf{x)}}$$

　　　　但是毕竟我们要求导的是(∂z/∂x),而不是它的转置，因此两边转置我们可以得到标量对多个向量求导的链式法则：$$\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{x}}=(\frac{\mathrm{\partial }\mathbf{y/}}{\mathrm{\partial }\mathbf{x}}{)^}^{\mathrm{T(}}\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{y)}}$$

 　　　　如果是标量对更多的向量求导,比如y1→y2→...→yn→z，则其链式求导表达式可以表示为：$$\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{\mathbf{y}}_{\mathbf{1}}}=(\frac{\mathrm{\partial }{\mathbf{y}}_{\mathbf{n/}}}{\mathrm{\partial }{\mathbf{y}}_{\mathbf{n}\mathbf{-}\mathbf{1}}}\frac{\mathrm{\partial }{\mathbf{y}}_{\mathbf{n}\mathbf{-}\mathbf{1/}}}{\mathrm{\partial }{\mathbf{y}}_{\mathbf{n}\mathbf{-}\mathbf{2}}}...\frac{\mathrm{\partial }{\mathbf{y}}_{\mathbf{2/}}}{\mathrm{\partial }{\mathbf{y}}_{\mathbf{1}}}{)^}^{\mathrm{T(}}\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{\mathbf{y}}_{\mathbf{n)}}}$$

　　　　这里我们给一个最常见的最小二乘法求导的例子。最小二乘法优化的目标是最小化如下损失函数:$$l=(X\theta -y{)^}^T(X\theta -y)$$

　　　　我们优化的损失函数l$l$是一个标量，而模型参数θ$\theta$是一个向量，期望L对θ$\theta$求导，并求出导数等于0时候的极值点。我们假设向量z=Xθ−y, 则l=z^Tz， θ→z→l存在链式求导的关系，因此：$$\frac{\mathrm{\partial }\mathrm{l/}}{\mathrm{\partial }\theta }=(\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\theta }{)^}^{\mathrm{T(}}\frac{\mathrm{\partial }\mathrm{l/}}{\mathrm{\partial }\mathbf{z)}}={\mathrm{X^}}^T(2z)=2{\mathrm{X^}}^T(X\theta -y)$$

　　　　其中最后一步转换使用了如下求导公式：$$\frac{\mathrm{(\partial }X\theta -\mathrm{y)/}}{\mathrm{\partial }\theta }=X$$$$\frac{\mathrm{\partial }{\mathrm{z^}}^T\mathrm{z/}}{\mathrm{\partial }z}=2z$$

　　　　这两个式子我们在前几篇里已有求解过，现在可以直接拿来使用了，非常方便。

　　　　当然上面的问题使用微分法求导数也是非常简单的，这里只是给出链式求导法的思路。

3. 标量对多个矩阵的链式求导法则

　　　　下面我们再来看看标量对多个矩阵的链式求导法则，假设有这样的依赖关系：X→Y→z,那么我们有：$$\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{x}_{ij}}=\sum _{k,(l}\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{Y}_{k\mathrm{l)(}}}\frac{\mathrm{\partial }{Y}_{k\mathrm{l/}}}{\mathrm{\partial }{X}_{i\mathrm{j)}}}=tr((\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }Y}{)^}^{\mathrm{T(}}\frac{\mathrm{\partial }\mathrm{Y/}}{\mathrm{\partial }{X}_{i\mathrm{j)}}})$$

　　　　这里大家会发现我们没有给出基于矩阵整体的链式求导法则，主要原因是矩阵对矩阵的求导是比较复杂的定义，我们目前也未涉及。因此只能给出对矩阵中一个标量的链式求导方法。这个方法并不实用，因为我们并不想每次都基于定义法来求导最后再去排列求导结果。

　　　　虽然我们没有全局的标量对矩阵的链式求导法则，但是对于一些线性关系的链式求导，我们还是可以得到一些有用的结论的。

　　　　我们来看这个常见问题：A,X,B,Y都是矩阵，z是标量，其中z=f(Y),Y=AX+B,我们要求出∂z/∂X,这个问题在机器学习中是很常见的。此时，我们并不能直接整体使用矩阵的链式求导法则，因为矩阵对矩阵的求导结果不好处理。

　　　　这里我们回归初心，使用定义法试一试,先使用上面的标量链式求导公式：$$\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{x}_{ij}}=\sum _{k,（l}\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{Y}_{k\mathrm{l)(}}}\frac{\mathrm{\partial }{Y}_{k\mathrm{l/}}}{\mathrm{\partial }{X}_{i\mathrm{j）}}}$$

　　　　我们再来看看后半部分的导数：$$\frac{\mathrm{\partial }{Y}_{k\mathrm{l/}}}{\mathrm{\partial }{X}_{ij}}=\frac{\mathrm{\partial }\sum _s(A_{ks}{X}_{sl})/}{\mathrm{\partial }{X}_{ij}}=\frac{\mathrm{\partial }{A}_{ki}{X}_{i\mathrm{l/}}}{\mathrm{\partial }{X}_{ij}}=A_{ki}{\delta }_{lj}$$

　　　　其中δlj在l=j$l=j$时为1，否则为0.

　　　　那么最终的标签链式求导公式转化为：$$\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{x}_{ij}}=\sum _{k,(l}\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{Y}_{k\mathrm{l)}}}{A}_{ki}{\delta }_{lj}=\sum _{\mathrm{k(}}\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }{Y}_{k\mathrm{j)}}}{A}_{ki}$$

　　　　即矩阵AT的第i行和∂z∂Y的第j列的内积。排列成矩阵即为：$$\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }X}={\mathrm{A^}}^T\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }Y}$$

　　　　总结下就是：$$z=f(Y),Y=AX+B\to \frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }X}={\mathrm{A^}}^T\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }Y}$$

　　　　这结论在x$\mathbf{x}$是一个向量的时候也成立，即：$$z=f(\mathbf{y}),\mathbf{y}=A\mathbf{x}+\mathbf{b}\to \frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{x}}={\mathrm{A^}}^T\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{y}}$$

　　　　如果要求导的自变量在左边，线性变换在右边，也有类似稍有不同的结论如下，证明方法是类似的，这里直接给出结论：$$z=f(Y),Y=XA+B\to \frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }X}=\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }Y}{\mathrm{A^}}^T$$

$$z=f(\mathbf{y}),\mathbf{y}=X\mathbf{a}+\mathbf{b}\to \frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{X}}=\frac{\mathrm{\partial }\mathrm{z/}}{\mathrm{\partial }\mathbf{y}}{\mathrm{a^}}^T$$

　　　　使用好上述四个结论，对于机器学习尤其是深度学习里的求导问题可以非常快的解决,大家可以试一试。

4. 矩阵向量求导小结

　　　　矩阵向量求导在前面我们讨论三种方法，定义法，微分法和链式求导法。在同等情况下，优先考虑链式求导法，尤其是第三节的四个结论。其次选择微分法、在没有好的求导方法的时候使用定义法是最后的保底方案。

　　　　基本上大家看了系列里这四篇后对矩阵向量求导就已经很熟悉了，对于机器学习中出现的矩阵向量求导问题已足够。这里还没有讲到的是矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这三种形式，这个我们在系列的下一篇，也是最后一篇简单讨论一下，如果大家只是关注机器学习的优化问题，不涉及其他应用数学问题的，可以不关注。