梯度的定义如下：

梯度是一个方向向量，若α是函数在某点的梯度，那么函数在该点沿着α方向的变化最快

那么什么是函数的增长方向？

任何函数都可以用以下的表示方式表示：

x为自变量，w为参数，y为因变量，我们一般默认函数的增长方向为因变量的增长方向（函数图像中因变量的坐标轴的正方向），所以函数上某点的最快增长方向，是使得因变量增长最快的方向。

那么，现在考虑一个三维空间中的球面，其上的一个点的最快增长方向是哪个方向（梯度方向）？

可能很多人懵了，球上的一个点的360°方向上的增长不都是一样的吗？

不否认，球的360°方向上的变化是一样的，但是，这样的函数图像是具有自变量，参数，因变量的函数，其图形是建立在一个三维坐标轴（x，y，z）下的图形，若函数是关于z的函数，即z是因变量，那么球上的点的增长方向是面向z轴的，是一个唯一方向，不再是360°，所以在考虑梯度的时候一定要考虑我们面向的增长方向。

 那么梯度是某点函数面向因变量变化最快的方向吗？

前面说到了，面向因变量的增长，是我们默认的，常用的增长方向，我们可以求函数在该点的任意方向上的梯度，但是我们一定要描述我们面向的是哪个方向，否则梯度的描述是没有意义的。

下面来看看在二维空间，三维空间，以及推广到高维空间的梯度的表现形式：

一：二维空间

这是一个简单的一次函数，在点（b，a）的梯度等于直线斜率（这是关于y的最快增长方向）

这是一个二次函数图形，在（a，b）和（c，d）两点的梯度等于切线的斜率

因为斜率以x轴的正方向为参考，所以在点（a，b）处的斜率为负，但这并不影响梯度，这是梯度的负方向，取该点斜率的负方向就是正方向的梯度。

二：三维空间

 一个三维曲面如下，函数式为（z = y.*exp(-x.^2-y.^2）：

三维图形中描述变化情况的常用工具为等高线图，我们在x，y平面上绘制等高线图如下：

我们以其中一个极值点作为增长方向，则梯度为等高线上某点切线的法向量方向 。

三：高维空间

我们将三维空间的等高线和切线法向量向高维推广，则“等高线”是描述n维空间增长变化的n-1维投影，梯度方向是这n-1维空间的法向量。