(9) 概率分布 Probability Distribution (b) : 高斯分布，混合高斯模型 - PRML && CS229

———— 泛彼柏舟，亦泛其流；耿耿不寐，如有隐忧。

1. 高斯分布 (Gaussian Distribution)

⾼斯分布，也称正态分布，是连续随机变量的模型中应用最广泛的分布。在第一篇文章就简单讨论过一元高斯分布的性质，本文重点讨论多元高斯分布，对于 $D$ 维向量 $\mathbf x$ ，其多元高斯分布形式是

$\mathcal N(\mathbf x|\boldsymbol \mu,\boldsymbol \Sigma)=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{\left | \boldsymbol \Sigma \right |^{\frac{1}{2}} }\exp\left \{ -\frac{1}{2}(\mathbf x-\boldsymbol \mu)^T\boldsymbol \Sigma^{-1}(\mathbf x-\boldsymbol \mu) \right \}~~~~~~(1)\\$

其中， $\boldsymbol \mu$ 是⼀个 $D$ 维均值向量， $\boldsymbol \Sigma$ 是⼀个 $D\times D$ 的协⽅差矩阵， $\left | \boldsymbol \Sigma \right |$ 是 $\boldsymbol \Sigma$ 的⾏列式。

⾼斯分布会在许多问题中产⽣，可以从多个不同的角度来理解。例如，我们已知对于⼀元实值随机变量，使熵取得最⼤值时就服从于⾼斯分布，代表了数据分布的最大不确定性，该性质对于多元⾼斯分布也成⽴。

多个随机变量的和也会产⽣⾼斯分布，根据中⼼极限定理 (central limit theorem) ，一般情况下，⼀组随机变量之和的概率分布随着随机变量数量的增加⽽逐渐趋向⾼斯分布。给定 $N$ 个一元变量 $x_1,\dots,x_N$ ，都服从于区间 $[0,1]$ 上的均匀分布，然后考虑其均值 $\frac{1}{N}(x_1+\dots+x_N)$ 的分布。在实际应⽤中，随着 $N$ 的增加，分布会趋于⾼斯分布。根据这个结论，前一章所讲的⼆项分布（⼆元随机变量 $x$ 在 $N$ 次观测中出现次数 $m$ 的分布）将会在 $N\rightarrow\infty$ 时趋向⾼斯分布，如下图所示，对于不同的 $N$ 值， $N$ 个均匀分布的随机变量均值的直⽅图。可以看到随着 $N$ 的增加，分布趋向于⾼斯分布。

1.1 高斯分布的熵值计算

对于给定的协⽅差，具有最⼤熵的多元概率分布是⾼斯分布。概率分布 $p(\mathbf x)$ 的熵为

$H[\mathbf x]=-\int p(\mathbf x)\ln p(\mathbf x)\mathrm d\mathbf x~~~~~~(2)\\$

针对 $p(\mathbf x)$ 最大化 $H[\mathbf x]$ ，其中 $p(\mathbf x)$ 满足：1. 可归⼀化；2. 具有均值 $\boldsymbol \mu$ ；3. 具有协⽅差 $\boldsymbol \Sigma$ 。

我们使用拉格朗日乘数法来引入限制条件，需要注意我们需要三个不同的拉格朗日乘数器，首先引入一个单变量 $\lambda$ 针对归一化条件，然后是一个 $D$ 维向量 $\mathbf m$ 针对均值条件，以及一个 $D\times D$ 维的矩阵 $\mathbf L$ 针对协方差限制，这样我们有

$\begin{align} \tilde{\mathbf H}[p]=&-\int p(\mathbf x)\ln p(\mathbf x)\mathrm d\mathbf x+\lambda\left (\int p(\mathbf x)\mathrm d\mathbf x-1\right )+\mathbf m^T\left (\int p(\mathbf x)\mathbf x\mathrm d\mathbf x - \boldsymbol \mu\right )\\&+\mathrm {Tr}\left \{ \left (\mathbf L\int p(\mathbf x)(\mathbf x-\boldsymbol \mu)(\mathbf x-\boldsymbol \mu)^T\mathrm d\mathbf x-\boldsymbol \Sigma\right )\right \} \end{align}~~~~~~(3)\\$

将公式 (3) 中所有积分项写在一起，定义被积函数 $F(\mathbf x)$ 为 $p(\mathbf x)\ln p(\mathbf x)+\lambda\left ( p(\mathbf x)-1\right )+\mathbf m^T\left (p(\mathbf x)\mathbf x - \boldsymbol \mu\right )+\mathrm {Tr} \left \{\mathbf L\left (p(\mathbf x)(\mathbf x-\boldsymbol \mu)(\mathbf x-\boldsymbol \mu)^T-\boldsymbol \Sigma\right )\right \}$ ，该函数被称为 $p(\mathbf x)$ 的泛函数，根据泛函数的导数定义，我们令 $\frac{\partial F(\mathbf x)}{\partial p(\mathbf x)} = 0$ ，可得

$\frac{\partial F(\mathbf x)}{\partial p(\mathbf x)} = -1-\ln p(\mathbf x)+\lambda+\mathbf m^T\mathbf x+\mathrm{Tr}\left \{ \mathbf L(\mathbf x-\boldsymbol \mu)(\mathbf x - \boldsymbol \mu)^T \right \}~~~~~~(4)\\ \begin{align} p(\mathbf x)&=\exp\left \{ \lambda-1 + \mathbf m^T\mathbf x+(\mathbf x-\boldsymbol \mu)^T\mathbf L(\mathbf x - \boldsymbol \mu) \right \}\\ &=\exp\left \{ \lambda-1 +\left(\mathbf x-\boldsymbol \mu+\frac{1}{2}\mathbf L^{-1}\mathbf m\right )^T\mathbf L\left (\mathbf x - \boldsymbol \mu+\frac{1}{2}\mathbf L^{-1}\mathbf m\right )+ \boldsymbol \mu^T\mathbf m-\frac{1}{4}\mathbf m^T\mathbf L^{-1}\mathbf m\right \} \end{align}~~~~~~(5)\\$

令 $\mathbf y=\mathbf x-\boldsymbol \mu+\frac{1}{2}\mathbf L^{-1}\mathbf m$ ，然后代入归一化和均值的约束条件，可得以下两个公式

$\int \exp\left \{ \lambda-1+\mathbf y^T\mathbf L\mathbf y+\boldsymbol\mu^T\mathbf m-\frac{1}{4}\mathbf m^T\mathbf L^{-1}\mathbf m \right \}\left ( \mathbf y+\boldsymbol \mu-\frac{1}{2}\mathbf L^{-1}\mathbf m \right )\mathrm d\mathbf y=\boldsymbol \mu~~~~~~(6)\\ \int \exp\left \{ \lambda-1+\mathbf y^T\mathbf L\mathbf y+\boldsymbol\mu^T\mathbf m-\frac{1}{4}\mathbf m^T\mathbf L^{-1}\mathbf m \right \}\mathrm d\mathbf y=1~~~~~~(7)\\$

其中 $\exp\left \{ \lambda-1+\mathbf y^T\mathbf L\mathbf y+\boldsymbol\mu^T\mathbf m-\frac{1}{4}\mathbf m^T\mathbf L^{-1}\mathbf m \right \}\mathbf y$ 为奇函数，公式 (7) 代入 (6) 可得 $-\frac{1}{2}\mathbf L^{-1}\mathbf m=\mathbf 0$ ，进一步可得 $\mathbf m=\mathbf 0$ 。证明一元高斯分布的熵值最大化时我们利用已知条件 $\int \exp(-x^2)\mathrm dx=\sqrt{\pi}$ ，多元高斯分布的推导需要利用矩阵的指数函数的性质，依次按照一元高斯分布的方式计算矩阵每一个元素，然后再求和，就可以得出 $\mathbf L=-\frac{1}{2}\boldsymbol \Sigma$ ，并且有 $\lambda-1=\ln\left \{ \frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{|\boldsymbol \Sigma|^{\frac{1}{2}}} \right \}$ 。全部代入，就可以得出当概率分布 $p(\mathbf x)$ 的熵最大时，其函数形式满足高斯分布 (1)。

求⾼斯分布的熵，可以得到 $H[x]=\frac{1}{2}\left \{ 1+\ln (2\pi\sigma^2) \right \}$ 。

1.2 高斯分布的几何形式 $\$

考虑⾼斯分布的⼏何形式，⾼斯分布对于 $\mathbf x$ 的依赖是通过下⾯的⼆次型

$\Delta^2=(\mathbf x-\boldsymbol \mu)^T\boldsymbol \Sigma^{-1}(\mathbf x-\boldsymbol \mu)~~~~~~(8)\\$

这个⼆次型出现在指数位置上， $\Delta$ 被叫做 $\boldsymbol \mu$ 和 $\mathbf x$ 之间的马⽒距离 (Mahalanobis distance)。当 $\boldsymbol \Sigma$ 是单位矩阵时，就变成了欧式距离。对于 $\mathbf x$ 空间中这个⼆次型是常数的曲⾯，⾼斯分布也是常数。

⾸先，我们注意到矩阵 $\boldsymbol \Sigma$ 可以取为对称矩阵，⽽不失⼀般性，因为任何⾮对称项都会从指数中消失。这一点可以通过把协⽅差矩阵的逆矩阵 $\boldsymbol \Sigma^{-1}=\boldsymbol \Lambda$ 写成对称矩阵 $\boldsymbol \Lambda^S$ 和反对称矩阵 $\boldsymbol \Lambda^A$ 的和，证明反对称项不会出现在⾼斯分布的指数项中，其中 $\Lambda_{ij}^S=\frac{\Lambda_{ij}+\Lambda_{ji}}{2}$ ， $\Lambda_{ij}^A=\frac{\Lambda_{ij}-\Lambda_{ji}}{2}$ 。多元高斯分布的指数项可以写作 $\frac{1}{2}\sum_{i=1}^{D}\sum_{j=1}^{D}(x_i-\mu_i)\Lambda_{ij}(x_j-\mu_j)$ ，由于反对称矩阵具有性质 $\Lambda_{ij}^A=-\Lambda_{ji}^A$ ，易证指数项展开后反对称矩阵每一项都会相互抵消掉。由于对称矩阵的逆矩阵还是对称矩阵，因此我们也可以令协⽅差矩阵为对称矩阵⽽不失⼀般性。

现在考虑协⽅差矩阵的特征向量⽅程 $\boldsymbol \Sigma\boldsymbol \mu_i=\lambda_i\boldsymbol \mu_i$ ，由于 $\boldsymbol \Sigma$ 是实对称矩阵，因此它的特征值也是实数，并且特征向量可以被选成单位正交的，即 $\boldsymbol \mu_i^T\boldsymbol \mu_j=I_{ij}$ ，其中 $\mathbf I$ 表示单位矩阵。协⽅差矩阵 $\boldsymbol \Sigma$ 可以表示成特征向量的展开形式， $\boldsymbol \Sigma=\sum_{i=1}^{D}\lambda_i\boldsymbol \mu_i\boldsymbol \mu_i^T,\boldsymbol \Sigma^{-1}=\sum_{i=1}^{D}\frac{1}{\lambda_i}\boldsymbol \mu_i\boldsymbol \mu_i^T$ ，代入公式 (8)，二次型就变成了 $\Delta^2=\sum_{i=1}^{D}\frac{y_i^2}{\lambda_i^2}$ ，定义 $y_i=\boldsymbol \mu_i^T(\mathbf x-\boldsymbol \mu)$ ，可以把 $y_i$ 表示成单位正交向量 $\boldsymbol \mu_i$ 关于原始的 $x_i$ 坐标经过平移和旋转后形成的新的坐标系。

当⼆次型为常数时，它表示的是一个曲⾯。如果所有的特征值 $\lambda_i$ 都是正数，那么这些曲⾯表示椭球⾯，椭球中⼼位于 $\boldsymbol \mu$ ，椭球的轴的⽅向沿着 $\boldsymbol \mu_i$ ，沿着轴向的缩放因⼦为 $\lambda_i^{\frac{1}{2}}$ ，如下图所示。对于定义的⾼斯分布，我们要求协⽅差矩阵的所有特征值 $\lambda_i$ 严格⼤于零，否则分布将不能被正确地归⼀化。

1.3 高斯分布的均值和方差

现在考察⾼斯分布的矩，已知参数 $\boldsymbol \mu$ 和 $\boldsymbol \Sigma$ 。⾼斯分布下 $\mathbf x$ 的期望为

$\begin{align} \mathbb E[\mathbf x]&=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{\left | \boldsymbol \Sigma \right |^{\frac{1}{2}} }\int\exp\left \{ -\frac{1}{2}(\mathbf x-\boldsymbol \mu)^T\boldsymbol \Sigma^{-1}(\mathbf x-\boldsymbol \mu) \right \}\mathbf x\mathrm d\mathbf x\\ &=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{\left | \boldsymbol \Sigma \right |^{\frac{1}{2}} }\int\exp\left \{ -\frac{1}{2}\mathbf z^T\boldsymbol \Sigma^{-1}\mathbf z \right \}(\mathbf z+\boldsymbol \mu)\mathrm d\mathbf z \end{align}~~~~~~(9)\\$

使用等量代换后可以发现， $\exp\left \{ -\frac{1}{2}\mathbf z^T\boldsymbol \Sigma^{-1}\mathbf z\right \}\mathbf z$ 是 $\mathbf z$ 的奇函数，结合归一化条件，很容易得出 $\mathbb E[\mathbf x]=\boldsymbol \mu$ 。

我们现在考虑⾼斯分布的⼆阶矩。在⼀元变量的情形下，⼆阶矩由 $\mathbb E[x^2]=\mu^2+\sigma^2$ 给出。对于多元⾼斯分布，有 $D^2$ 个由 $\mathbb E[x_ix_j]$ 给出的⼆阶矩，可以聚集在⼀起组成矩阵 $\mathbb E[\mathbf x\mathbf x^T]$ 。这个矩阵可以写成

$\begin{align} \mathbb E[\mathbf x\mathbf x^T]&=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{\left | \boldsymbol \Sigma \right |^{\frac{1}{2}} }\int\exp\left \{ -\frac{1}{2}(\mathbf x-\boldsymbol \mu)^T\boldsymbol \Sigma^{-1}(\mathbf x-\boldsymbol \mu) \right \}\mathbf x\mathbf x^T\mathrm d\mathbf x\\ &=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{\left | \boldsymbol \Sigma \right |^{\frac{1}{2}} }\int\exp\left \{ -\frac{1}{2}\mathbf z^T\boldsymbol \Sigma^{-1}\mathbf z \right \}(\mathbf z+\boldsymbol \mu)(\mathbf z+\boldsymbol \mu)^T\mathrm d\mathbf z \end{align}~~~~~~(10)\\$

再次应用等量代换，并且涉及到 $\mathbf z$ 的奇函数项将由于对称性⽽变为零。项 $\boldsymbol \mu\boldsymbol \mu^T$ 是常数，可以从积分中拿出，然后使用归一化条件积分项为 1。考虑涉及到 $\mathbf z\mathbf z^T$ 的项，我们可以再次使⽤协⽅差矩阵的特征向量展开，以及特征向量集合的完备性，得到 $y_i=\boldsymbol\mu_j^T\mathbf z$ ，因此有

$\begin{align} \frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{\left | \boldsymbol \Sigma \right |^{\frac{1}{2}} }\int\exp\left \{ -\frac{1}{2}\mathbf z^T\boldsymbol \Sigma^{-1}\mathbf z \right \}\mathbf z\mathbf z^T\mathrm d\mathbf z&=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{\left | \boldsymbol \Sigma \right |^{\frac{1}{2}} }\sum_{i=1}^D\sum_{j=1}^D\boldsymbol \mu_i\boldsymbol \mu_j\int\exp\left \{ -\sum_{k=1}^D\frac{y_k^2}{2\lambda_k} \right \}y_iy_j\mathrm d\mathbf y\\ &=\sum_{i=1}^D\boldsymbol \mu_i\boldsymbol \mu_i^T\lambda_i=\boldsymbol \Sigma~~~~~~(11)\\ \end{align}$

第二步等式右侧积分所有 $i\ne j$ 由于对称性会等于零，最终我们有 $\mathbb E[\mathbf x\mathbf x^T]=\boldsymbol\mu\boldsymbol\mu^T+\boldsymbol\Sigma$ 。把均值减掉，就给出了随机变量 $\mathbf x$ 的协⽅差 (covariance)，定义为

$\mathrm{var}[\mathbf x]=\mathbb E\left [ \left ( \mathbf x-\mathbb E[\mathbf x] \right )\left ( \mathbf x-\mathbb E[\mathbf x] \right )^T \right ]=\boldsymbol \Sigma~~~~~~(12)\\$

$\boldsymbol \Sigma$ 因此被称为协方差矩阵。虽然⾼斯分布被⼴泛⽤作概率密度模型，但它有⼀些巨⼤的局限性。考虑分布中⾃由参数的数量，通常一个对称协⽅差矩阵 $\boldsymbol \Sigma$ 有 $\frac{D(D+1)}{2}$ 个独⽴参数， $\boldsymbol \mu$ 中有另外 $D$ 个独⽴参数，总计有 $\frac{D(D+3)}{2}$ 个参数。参数数量随着 $D$ 平⽅式增长，因此对⼤矩阵进⾏求逆等运算会⽆法计算。一种解决这个问题的⽅式是限制协⽅差矩阵的形式。如果我们考虑对角 (diagonal) 矩阵，即 $\boldsymbol \Sigma=\mathrm{diag}(\sigma_i^2)$ ，那么我们就只有 $2D$ 个独⽴参数。由于常数高斯密度对应的曲面轮廓是与轴对齐的椭球型，我们可以进⼀步限制协⽅差矩阵成正⽐于单位矩阵，即 $\boldsymbol \Sigma=\sigma^2\mathbf I$ ，被称为各向同性 (isotropic) 的协⽅差，这时模型只有 $D+1$ 个独⽴参数，并且常数概率密度是球⾯，但是这样做也极⼤地限制了概率分布的描述形式。

1.4 条件高斯分布

多元⾼斯分布的⼀个重要性质是，如果两组变量是联合⾼斯分布，那么以⼀组变量为条件，另⼀组变量同样是⾼斯分布。类似地，任何⼀个变量的边缘分布也是⾼斯分布。

⾸先考虑条件概率的情形，假设 $\mathbf x$ 是⼀个服从⾼斯分布 $\mathcal N(\mathbf x|\boldsymbol \mu,\boldsymbol \Sigma)$ 的 $D$ 维向量。我们把 $\mathbf x$ 划分成两个不相交的⼦集 $\mathbf x_a$ 和 $\mathbf x_b$ 。不失⼀般性，我们可以令 $\mathbf x_a$ 为 $\mathbf x$ 的前 $M$ 个分量，令 $\mathbf x_b$ 为剩余 $D-M$ 个分量，因此可以划分 $\mathbf x=\begin{pmatrix} \mathbf x_a \\ \mathbf x_b \end{pmatrix}$ ， $\boldsymbol \mu=\begin{pmatrix} \boldsymbol \mu_a \\ \boldsymbol \mu_b \end{pmatrix}$ ， $\boldsymbol \Sigma=\begin{pmatrix} \boldsymbol \Sigma_{aa}&\boldsymbol \Sigma_{ab} \\ \boldsymbol \Sigma_{ba}&\boldsymbol \Sigma_{bb} \end{pmatrix}$ 。由于⾼斯分布的⼀些性质使⽤协方差的逆矩阵，也称作精度矩阵 (precision matrix) 表示，形式会更简单。我们定义 $\boldsymbol \Lambda\equiv\boldsymbol \Sigma^{-1}$ ，以及 $\boldsymbol \Lambda=\begin{pmatrix} \boldsymbol \Lambda_{aa}&\boldsymbol \Lambda_{ab} \\ \boldsymbol \Lambda_{ba}&\boldsymbol \Lambda_{bb} \end{pmatrix}$ ，由于对称矩阵的逆矩阵也是对称矩阵，因此 $\boldsymbol \Lambda_{aa}$ 和 $\boldsymbol \Lambda_{bb}$ 也是对称的，⽽ $\boldsymbol \Lambda_{ab}=\boldsymbol \Lambda_{ba}^T$ 。

⾸先，我们寻找条件概率分布 (conditional probability distribution) $p(\mathbf x_a|\mathbf x_b)$ 的表达式，根据概率的乘积规则，条件分布可以根据联合分布 $p(\mathbf x)=p(\mathbf x_a,\mathbf x_b)$ 很容易计算出来。只需把 $\mathbf x_b$ 固定为观测值，然后对得到的表达式进⾏归⼀化，得到 $\mathbf x_a$ 的⼀个概率分布。我们考虑⾼斯分布指数项中出现的⼆次型，然后在计算的最后阶段重新考虑归⼀化系数，因此有

$\begin{align} -\frac{1}{2}(\mathbf x-\boldsymbol \mu)^T\boldsymbol \Sigma^{-1}(\mathbf x-\boldsymbol \mu) = &-\frac{1}{2}(\mathbf x_a-\boldsymbol \mu_a)^T\boldsymbol \Lambda_{aa}(\mathbf x_a-\boldsymbol \mu_a)-\frac{1}{2}(\mathbf x_a-\boldsymbol \mu_a)^T\boldsymbol \Lambda_{ab}(\mathbf x_b-\boldsymbol \mu_b)\\ &-\frac{1}{2}(\mathbf x_b-\boldsymbol \mu_b)^T\boldsymbol \Lambda_{ba}(\mathbf x_a-\boldsymbol \mu_a)-\frac{1}{2}(\mathbf x_b-\boldsymbol \mu_b)^T\boldsymbol \Lambda_{bb}(\mathbf x_b-\boldsymbol \mu_b) \end{align}~~~~~~(13)\\$

将其看作 $\mathbf x_a$ 的函数，这又是⼀个⼆次型，因此对应的条件分布 $p(\mathbf x_a|\mathbf x_b)$ 是⾼斯分布。然后通过观察公式 (13) 找到 $p(\mathbf x_a|\mathbf x_b)$ 的均值和协⽅差的表达式。⼀个⼀般的⾼斯分布 $\mathcal N(\mathbf x|\boldsymbol \mu,\boldsymbol \Sigma)$ 的指数项可以写成

$-\frac{1}{2}(\mathbf x-\boldsymbol \mu)^T\boldsymbol \Sigma^{-1}(\mathbf x-\boldsymbol \mu)=-\frac{1}{2}\mathbf x^T\boldsymbol \Sigma^{-1}\mathbf x+\mathbf x^T\boldsymbol \Sigma^{-1}\boldsymbol\mu+C~~~~~~(14)\\$

其中 $C$ 为常数，并且我们用到 $\boldsymbol \Sigma$ 的对称性。如果采用公式 (14) 的表示方式，我们可以令 $\mathbf x$ 的⼆阶项系数矩阵等于协⽅差矩阵的逆矩阵 $\boldsymbol \Sigma^{-1}$ ，令 $\mathbf x$ 的线性项系数等于 $\boldsymbol \Sigma^{-1} \boldsymbol \mu$ ，我们就可以得到 $\boldsymbol \mu$ 。整理 $\mathbf x_a$ 的所有二阶项，可得条件概率分布的协方差为 $\boldsymbol \Sigma_{a|b}=\boldsymbol \Lambda_{aa}^{-1}$ ，再整理 $\mathbf x_a$ 的所有一阶项为 $\mathbf x_a^T\left \{ \boldsymbol \Lambda_{aa}\boldsymbol \mu_a-\boldsymbol \Lambda_{ab}(\mathbf x_b-\boldsymbol \mu_b) \right \}$ ，使用对称性和已求解的协方差矩阵，可得 $\boldsymbol \mu_{a|b}=\boldsymbol \mu_{a}-\boldsymbol\Lambda_{aa}^{-1}\boldsymbol\Lambda_{ab}(\mathbf x_b-\boldsymbol \mu_b)$ ，或者记为 $\boldsymbol \mu_{a|b}=\boldsymbol \mu_{a}+\boldsymbol\Sigma_{ab}\boldsymbol\Sigma_{bb}^{-1}(\mathbf x_b-\boldsymbol \mu_b)$ ， $\boldsymbol \Sigma_{a|b}=\boldsymbol \Sigma_{aa}-\boldsymbol\Sigma_{ab}\boldsymbol\Sigma_{bb}^{-1}\boldsymbol\Sigma_{ba}$ 。

1.5 边缘高斯分布

我们已证明如果联合分布 $p(\mathbf x_a,\mathbf x_b)$ 是⾼斯分布，那么条件概率分布 $p(\mathbf x_a|\mathbf x_b)$ 也是高斯分布。现在讨论边缘概率分布 (marginal probability distribution)

$p(\mathbf x_a)=\int p(\mathbf x_a,\mathbf x_b)\mathrm d\mathbf x_b~~~~~~(15)\\$

这也是⼀个⾼斯分布。和之前⼀样，我们估计这个概率分布的策略是观察联合分布指数项的⼆次型，然后找出边缘分布 $p(\mathbf x_a)$ 的均值和协⽅差。联合分布的⼆次型可以参考条件高斯分布表示成公式 (13) 分块精度矩阵的形式，然后积分出 $\mathbf x_b$ ，⾸先考虑涉及 $\mathbf x_b$ 的项，然后配出平⽅项，我们有

$-\frac{1}{2}\mathbf x_b^T\boldsymbol \Lambda_{bb}\mathbf x_b+\mathbf x_b^T\mathbf m=-\frac{1}{2}(\mathbf x_b-\boldsymbol \Lambda_{bb}^{-1}\mathbf m)^T\boldsymbol \Lambda_{bb}(\mathbf x_b-\boldsymbol \Lambda_{bb}^{-1}\mathbf m)+-\frac{1}{2}\mathbf m^T\boldsymbol \Lambda_{bb}^{-1}\mathbf m~~~~~~(16)\\ \mathbf m=\boldsymbol \Lambda_{bb}\boldsymbol \mu_{b}-\boldsymbol \Lambda_{ba}(\mathbf x_a-\boldsymbol \mu_{a})~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~(17)\\$

$\mathbf x_b$ 的相关项已经被转化为了⼀个⾼斯分布的标准⼆次型，即公式 (16) 右侧的第⼀项，加上⼀个与 $\mathbf x_b$ ⽆关但与 $\mathbf x_a$ 相关的项。当我们取这个⼆次型作为⾼斯分布的指数项时，我们看到公式 (15) 要求的关于 $\mathbf x_b$ 的积分形式为

$\int\exp\left\{-\frac{1}{2}(\mathbf x_b-\boldsymbol \Lambda_{bb}^{-1}\mathbf m)^T\boldsymbol \Lambda_{bb}(\mathbf x_b-\boldsymbol \Lambda_{bb}^{-1}\mathbf m)\right\}\mathrm d\mathbf x_b~~~~~~(18)\\$

这是⼀个在未归⼀化的⾼斯分布上做的积分，因此结果是归⼀化系数的倒数。⾼斯分布的系数与均值⽆关，只依赖于协⽅差矩阵的⾏列式。因此通过配平⽅项的⽅法，我们能够积分出 $\mathbf x_b$ ，这样唯⼀剩余的与 $\mathbf x_a$ 相关的项就是公式 (16) 右侧的最后⼀项。把这⼀项与公式 (13) 中余下的与 $\mathbf x_a$ 相关的项结合，我们有可以写出 $\mathbf x_a$ 的二次项的形式为

$-\frac{1}{2}\mathbf x_a^T(\boldsymbol \Lambda_{aa}-\boldsymbol \Lambda_{ab}\boldsymbol \Lambda_{bb}^{-1}\boldsymbol \Lambda_{ba})\mathbf x_a+\mathbf x_a^T(\boldsymbol \Lambda_{aa}-\boldsymbol \Lambda_{ab}\boldsymbol \Lambda_{bb}^{-1}\boldsymbol \Lambda_{ba})\boldsymbol\mu_a+C~~~~~~(19)\\$

所以可得 $\boldsymbol \Sigma_{aa}=(\boldsymbol \Lambda_{aa}-\boldsymbol \Lambda_{ab}\boldsymbol \Lambda_{bb}^{-1}\boldsymbol \Lambda_{ba})^{-1}$ ，以及 $\boldsymbol \Sigma_{aa}(\boldsymbol \Lambda_{aa}-\boldsymbol \Lambda_{ab}\boldsymbol \Lambda_{bb}^{-1}\boldsymbol \Lambda_{ba})\boldsymbol \mu_{a}=\boldsymbol \mu_{a}$ ，边缘概率 $p(\mathbf x_a)$ 的均值和协⽅差为 $\mathbb E[\mathbf x_a]=\boldsymbol\mu_a$ ， $\mathrm{cov}[\mathbf x_a]=\boldsymbol\Sigma_{aa}$ 。

我们关于分块⾼斯边缘分布和条件分布的结果可总结如下，

给定⼀个联合⾼斯分布 $\mathcal N(\mathbf x|\boldsymbol \mu,\boldsymbol \Sigma)$ ，其中 $\boldsymbol \Lambda\equiv\boldsymbol \Sigma^{-1}$ ，且 $\mathbf x=\begin{pmatrix} \mathbf x_a \\ \mathbf x_b \end{pmatrix}$ ， $\boldsymbol \mu=\begin{pmatrix} \boldsymbol \mu_a \\ \boldsymbol \mu_b \end{pmatrix}$ ， $\boldsymbol \Sigma=\begin{pmatrix} \boldsymbol \Sigma_{aa}&\boldsymbol \Sigma_{ab} \\ \boldsymbol \Sigma_{ba}&\boldsymbol \Sigma_{bb} \end{pmatrix}$ ， $\boldsymbol \Lambda=\begin{pmatrix} \boldsymbol \Lambda_{aa}&\boldsymbol \Lambda_{ab} \\ \boldsymbol \Lambda_{ba}&\boldsymbol \Lambda_{bb} \end{pmatrix}$ 。此时

条件概率分布 $p(\mathbf x_a|\mathbf x_b)=\mathcal N(\mathbf x_a|\boldsymbol \mu_{a|b},\boldsymbol \Lambda_{aa}^{-1})$ ， $\boldsymbol \mu_{a|b}=\boldsymbol \mu_{a}-\boldsymbol\Lambda_{aa}^{-1}\boldsymbol\Lambda_{ab}(\mathbf x_b-\boldsymbol \mu_b)$ ，

边缘概率分布 $p(\mathbf x_a)=\mathcal N(\mathbf x_a|\boldsymbol \mu_{a},\boldsymbol \Sigma_{aa})$ 。

1.6 高斯变量的贝叶斯定理

这⾥我们重新定义给定⼀个⾼斯边缘分布 $p(\mathbf x)$ 和⼀个⾼斯条件分布 $p(\mathbf y|\mathbf x)$ ，其中 $p(\mathbf y|\mathbf x)$ 的均值是 $\mathbf x$ 的线性函数，协⽅差与 $\mathbf x$ ⽆关，与前文所描述的 $\mathbf x_a$ 与 $\mathbf x_b$ 的分布类似，这是线性⾼斯模型 (linear Gaussian model) 的⼀个例⼦，我们想找到边缘概率分布 $p(\mathbf x)$ 和条件概率分布 $p(\mathbf x|\mathbf y)$ 。首先令边缘概率分布和条件概率分布的形式如下

$p(\mathbf x)=\mathcal N(\mathbf x|\boldsymbol \mu,\boldsymbol \Lambda^{-1})~~~~~~(20)\\ p(\mathbf y|\mathbf x)=\mathcal N(\mathbf y|\mathbf A\mathbf x+\mathbf b,\boldsymbol L^{-1})~~~~~~(21)\\$

其中， $\boldsymbol \mu,\mathbf A,\mathbf b$ 控制均值参数， $\boldsymbol \Lambda,\boldsymbol L$ 是精度矩阵。如果 $\mathbf x$ 的维度为 $M$ ， $\mathbf y$ 的维度为 $D$ ，那么矩阵 $\mathbf A$ 的⼤⼩为 $D\times M$ 。

⾸先，我们寻找 $\mathbf x$ 和 $\mathbf y$ 联合分布的表达式，定义 $\mathbf z=\begin{pmatrix} \mathbf x \\ \mathbf y \end{pmatrix}$ ，联合概率分布的对数为

$\ln p(\mathbf z)=\ln p(\mathbf x)+\ln p(\mathbf y|\mathbf x)=-\frac{1}{2}(\mathbf x-\boldsymbol \mu)^T\boldsymbol \Lambda(\mathbf x-\boldsymbol \mu) -\frac{1}{2}(\mathbf x-\mathbf A\mathbf x-\mathbf b)^T\boldsymbol L(\mathbf x-\mathbf A\mathbf x-\mathbf b) +C~~~~~~(22)$

与之前相同，这是 $\mathbf z$ 的分量的⼀个⼆次函数，因此 $p(\mathbf z)$ 是⼀个⾼斯分布，为了找到这个⾼斯分布的精度矩阵，我们考虑公式 (22) 的第⼆项，可以写成

$\begin{align} &-\frac{1}{2}\mathbf x^T(\boldsymbol \Lambda+\mathbf A^T\boldsymbol L\mathbf A)\mathbf x-\frac{1}{2}\mathbf y^T\boldsymbol L\mathbf y+\frac{1}{2}\mathbf y^T\boldsymbol L\mathbf A\mathbf x+\frac{1}{2}\mathbf x^T\mathbf A^T\boldsymbol L\mathbf y\\ &=-\frac{1}{2}\begin{pmatrix} \mathbf x \\ \mathbf y \end{pmatrix}^T \begin{pmatrix} \boldsymbol \Lambda+\mathbf A^T\boldsymbol L\mathbf A& -\mathbf A^T\boldsymbol L\\ -\boldsymbol L\mathbf A&\boldsymbol L \end{pmatrix}\begin{pmatrix} \mathbf x \\ \mathbf y \end{pmatrix}=-\frac{1}{2}\mathbf z^T\mathbf R\mathbf z \end{align}~~~~~~(23)\\$

因此 $\mathbf z$ 上的⾼斯分布的精度矩阵为 $\begin{pmatrix} \boldsymbol \Lambda+\mathbf A^T\boldsymbol L\mathbf A& -\mathbf A^T\boldsymbol L\\ -\boldsymbol L\mathbf A&\boldsymbol L \end{pmatrix}$ ，再使用类似公式 (14) 的方法，找到 $\mathbf z$ 的线性项，可以求出均值为 $\begin{pmatrix} \boldsymbol \Lambda+\mathbf A^T\boldsymbol L\mathbf A& -\mathbf A^T\boldsymbol L\\ -\boldsymbol L\mathbf A&\boldsymbol L \end{pmatrix}^{-1} \begin{pmatrix} \boldsymbol \Lambda\boldsymbol \mu-\mathbf A^T\boldsymbol L\mathbf b\\ \boldsymbol L\mathbf b \end{pmatrix}$ ，化简后为 $\begin{pmatrix} \boldsymbol \mu \\ \mathbf A\boldsymbol\mu+\mathbf b \end{pmatrix}$ 。

接下来寻找 $p(\mathbf y)$ 边缘分布的表达式，这个边缘分布是通过对 $\mathbf x$ 积分得到的。而条件分布 $p(\mathbf x|\mathbf y)$ 则可以通过贝叶斯定理推断出来，这里直接给出结论，有兴趣可自行推导。

给定 $\mathbf x$ 的⼀个边缘⾼斯分布，以及在给定 $\mathbf x$ 的条件下 $\mathbf y$ 的条件⾼斯分布，形式为分别如公式 (20) (21) 所示，那么 $\mathbf y$ 的边缘分布以及给定 $\mathbf y$ 的条件下 $\mathbf x$ 的条件分布为

$p(\mathbf y)=\mathcal N(\mathbf y|\mathbf A\boldsymbol \mu+\mathbf b,\boldsymbol L^{-1}+\mathbf A\boldsymbol \Lambda^{-1}\mathbf A^T)~~~~~~(22)\\ p(\mathbf x|\mathbf y)=\mathcal N(\mathbf x|\boldsymbol \Sigma\left \{ \mathbf A^T\boldsymbol L(\mathbf y-\mathbf b)+\boldsymbol \Lambda\boldsymbol \mu\right \},\boldsymbol \Sigma)~~~~~~(23)\\$

其中 $\boldsymbol \Sigma=(\boldsymbol \Lambda+\mathbf A^T\boldsymbol L\mathbf A)^{-1}$ 。

1.7 高斯分布的最大似然估计

给定⼀个数据集 $\mathbf X=(\mathbf x_1,\dots,\mathbf x_N)^T$ ，其中观测 $\left \{ \mathbf x_n \right \}$ 假定是独⽴地从多元⾼斯分布中抽取的。我们使⽤最⼤似然法估计分布的参数，对数似然函数为

$\ln p(\mathbf X|\boldsymbol\mu,\boldsymbol\Sigma)=-\frac{ND}{2}\ln(2\pi)-\frac{N}{2}\ln|\boldsymbol\Sigma|-\frac{1}{2}\sum_{n=1}^{N}(\mathbf x_n-\boldsymbol\mu)^T\boldsymbol\Sigma^{-1}(\mathbf x_n-\boldsymbol\mu)~~~~~~(24)\\$

似然函数对数据集的依赖只通过 $\sum_{n=1}^{N}\mathbf x_n,\sum_{n=1}^{N}\mathbf x_n\mathbf x_n^T$ 体现，这被称为⾼斯分布的充分统计量。对数似然函数关于 $\boldsymbol\mu$ 的导数为 $\sum_{n=1}^{N}\boldsymbol\Sigma^{-1}(\mathbf x_n-\boldsymbol\mu)$ ，令导数为 0，可得均值的最大似然估计 $\boldsymbol\mu_{ML}=\frac{1}{N}\sum_{n=1}^{N}\mathbf x_n$ ，这是数据点的观测集合的均值。关于 $\boldsymbol\Sigma$ 的最⼤化更加复杂，但我们可以利⽤了对称性和正定性的限制，得到 $\boldsymbol\Sigma_{ML}=\frac{1}{N}\sum_{n=1}^{N}(\mathbf x_n-\boldsymbol\mu_{ML})(\mathbf x_n-\boldsymbol\mu_{ML})^T$ 。

1.8 高斯分布的贝叶斯推断

最⼤似然框架给出了对于参数 $\boldsymbol\mu$ 和 $\boldsymbol\Sigma$ 的点估计。现在通过引⼊这些参数的先验分布，介绍贝叶斯⽅法。⾸先，考虑⼀个⼀元⾼斯随机变量 $x$ ，我们假设⽅差 $\sigma^2$ 是已知的。我们从⼀组 $N$ 次观测 $\mathbf X=\left \{ \mathbf x_1,\dots,\mathbf x_N\right \}^T$ 中推断均值 $\mu$ 。此时似然函数是给定 $\mu$ 的情况下，观测数据集出现的概率，可以看成 $\mu$ 的函数，由下式给出

$p(\mathbf X|\mu)=\prod_{n=1}^{N}p(x_n|\mu)=\frac{1}{(2\pi\sigma^2)^{\frac{N}{2}}}\exp\left \{ -\frac{1}{2\sigma^2}\sum_{n=1}^{N}(x_n-\mu)^2 \right \}~~~~~~(25)\\$

似然函数 $p(\mathbf X|\mu)$ 不是 $\mu$ 的概率密度，没有被归⼀化。似然函数的形式为 $\mu$ 的⼆次型指数形式。因此如果我们把先验分布 $p(\mu)$ 选成⾼斯分布，那么它就是似然函数的⼀个共轭分布，因为对应后验概率是两个 $\mu$ 的⼆次函数指数乘积，也是⼀个⾼斯分布。于是我们令先验概率分布为

$p(\mu)=\mathcal N(\mu|\mu_0,\sigma_0^2)~~~~~~(26)\\$

从⽽后验概率为

$p(\mu|\mathbf X)\propto p(\mathbf X|\mu)p(\mu)~~~~~~(27)\\$

进⾏对指数项的完全平⽅项等简单计算，可以证明后验概率的形式为

$p(\mu|\mathbf X)=\mathcal N(\mu|\mu_N,\sigma_N^2)~~~~~~(28)\\$

其中 $\mu_N=\frac{\sigma^2}{N\sigma_0^2+\sigma^2}\mu_0+\frac{N\sigma_0^2}{N\sigma_0^2+\sigma^2}\mu_{ML}$ ， $\frac{1}{\sigma_N^2}=\frac{1}{\sigma_0^2}+\frac{N}{\sigma^2}$ 。可以看到后验分布的均值是先验均值 $\mu_0$ 和最⼤似然解 $\mu_{ML}$ 的折中，这与之前所讨论后验分布介于先验和最大似然之间的结论是一致。如果观测数据点 $N=0$ ，那么后验均值就变成了先验均值。对于 $N\rightarrow\infty$ ，后验均值由最⼤似然解给出。类似地，考虑后验分布⽅差的结果，⽅差的倒数可以用来表示精度，并且精度是可以相加的，因此后验概率的精度等于先验的精度加上每⼀个观测数据点所贡献的精度。当我们增加观测数据点时，精度持续增加，对应于后验分布的⽅差持续减少。没有观测数据点 $N=0$ 时，后验方差为先验⽅差，⽽如果 $N\rightarrow\infty$ ，⽅差 $\sigma_N^2$ 趋于零，后验分布在最⼤似然解附近变成了⽆限⼤的尖峰。对于有限的 $N$ 值，如果我们取极限 $\sigma_0^2\rightarrow\infty$ ，先验⽅差会变为⽆穷⼤，后验均值就变成了最⼤似然结果，⽽后验⽅差为 $\sigma_N^2=\frac{\sigma^2}{N}$ 。

现在我们假设均值是已知的，来推断⽅差。同之前⼀样，如果我们选择先验分布的共轭形式，那么计算将会得到极⼤的简化，使用方差倒数 $\lambda=\frac{1}{\sigma^2}$ 。 $\lambda$ 的似然函数为

$p(\mathbf X|\mu)=\prod_{n=1}^{N}p(x_n|\mu,\lambda^{-1})\propto\lambda^{\frac{N}{2}}\exp\left \{ -\frac{\lambda}{2}\sum_{n=1}^{N}(x_n-\mu)^2 \right \}~~~~~~(29)\\$

对应的共轭先验因此应该正⽐于 $\lambda$ 的幂指数，也正⽐于指数项中 $\lambda$ 的线性函数。这对应于 Gamma 分布，定义为

$\mathrm{Gam}(\lambda|a,b)=\frac{1}{\Gamma(a)}b^a\lambda^{a-1}\exp(-b\lambda)~~~~~~(30)\\$

$\Gamma(a)$ 是前一篇文章中的 Gamma 函数，保证了公式的归⼀化。如果 $a>0$ ，那么 Gamma 分布有⼀个有穷的积分。如果 $a\geq1$ ，那么分布本⾝是有穷的。Gamma 分布的均值和⽅差为 $\mathbb E[\lambda]=\frac{a}{b},\mathrm{var}[\lambda]=\frac{a}{b^2}$ ，如下图是一些不同的 $a$ 和 $b$ 的分布。

考虑⼀个先验分布 $\mathrm{Gam}(\lambda|a_0,b_0)$ 。如果我们乘以公式 (29) 的似然函数，那么得到后验

$p(\lambda|\mathbf X)\propto\lambda^{a_0-1}\lambda^{\frac{N}{2}}\exp\left \{-b_0\lambda -\frac{\lambda}{2}\sum_{n=1}^{N}(x_n-\mu)^2 \right \}~~~~~~(31)\\$

我们可以把它看成形式为 $\mathrm{Gam}(\lambda|a_N,b_N)$ 的 Gamma 分布，其中 $a_N=a_0+\frac{N}{2}$ ， $b_N=b_0+\frac{1}{2}\sum_{n=1}^{N}(x_n-\mu)^2=b_0+\frac{N}{2}\sigma^2_{ML}$ ，其中 $\sigma^2_{ML}$ 是⽅差的最⼤似然估计。我们看到观测 $N$ 个数据点的效果是把系数 $a$ 的值增加 $2N$ 。因此我们可以把先验分布中的参数 $a_0$ 看成 $2a_0$ 个 “有效” 先验观测。类似地， $N$ 个数据点对参数 $b$ 贡献了 $\frac{N}{2}\sigma^2_{ML}$ ，其中 $\sigma^2_{ML}$ 是⽅差，同样可以把先验分布中的 $b_0$ 看成 “有效” 先验观测。对于指数族分布来说，把共轭先验看成有效假想数据点是⼀个很通⽤的思想。

混合高斯模型 (Mixture of Gaussians)

虽然⾼斯分布有⼀些重要的分析性质，但是当它遇到实际数据集时，也会有巨⼤的局限性。因为高斯分布是单峰的，而实际情况往往有很多是多峰分布，可以通过将基本的概率分布进⾏线性组合，这样的叠加⽅法被称为混合模型 (mixture distributions)。⾼斯分布的线性组合可以给出相当复杂的概率密度形式，通过使⽤⾜够多的⾼斯分布，并且调节它们的均值和⽅差以及线性组合的系数，⼏乎所有的连续概率密度都能够以任意的精度近似。

考虑 $K$ 个⾼斯概率密度的叠加，形式为

$p(\mathbf x)=\sum_{k=1}^{K}\pi_k\mathcal N(\mathbf x|\boldsymbol \mu_k,\boldsymbol \Sigma_k)~~~~~~(32)\\$

这被称为混合⾼斯 (mixture of Gaussians)。每⼀个⾼斯概率密度 $\mathcal N(\mathbf x|\boldsymbol \mu_k,\boldsymbol \Sigma_k)$ 被称为混合分布的⼀个成分，并且有⾃⼰的均值 $\boldsymbol \mu_k$ 和协⽅差 $\boldsymbol \Sigma_k$ 。参数 $\pi_k$ 被称为混合系数，如果对公式 (32) 两侧关于 $\mathbf x$ 进⾏积分，因为各个⾼斯成分都是归⼀化的，我们可以得到 $\sum_{k=1}^K\pi_k=1$ ，同时为了满⾜ $p(\mathbf x)\geq0$ ，我们进一步限制 $0\leq\pi_k\leq1$ 。

根据概率的加和规则和乘积规则，边缘概率密度为 $p(\mathbf x)=\sum_{k=1}^{K}p(k)p(\mathbf x|k)$ ，其中我们把 $\pi_k=p(k)$ 看成选择第 $k$ 个成分的先验概率，把密度 $\mathcal N(\mathbf x|\boldsymbol \mu_k,\boldsymbol \Sigma_k)=p(\mathbf x|k)$ 看成以 $k$ 为条件的 $\mathbf x$ 的概率。

⾼斯混合分布的形式由参数 $\boldsymbol \pi,\boldsymbol \mu,\boldsymbol \Sigma$ 控制，其中 $\boldsymbol \pi=\left \{ \pi_1,\dots,\pi_K \right \}$ ， $\boldsymbol \mu=\left \{ \boldsymbol \mu_1,\dots,\boldsymbol \mu_K \right \}$ ， $\boldsymbol \Sigma=\left \{ \boldsymbol \Sigma_1,\dots,\boldsymbol \Sigma_K \right \}$ 。⼀种确定这些参数值的⽅法是使⽤最⼤似然法。根据公式 (30)，对数似然函数为

$\ln p(\mathbf X|\boldsymbol\pi,\boldsymbol\mu,\boldsymbol\Sigma)=\sum_{n=1}^N\ln\left\{ \sum_{k=1}^{K}\pi_k\mathcal N(\mathbf x_n|\boldsymbol \mu_k,\boldsymbol \Sigma_k) \right \}~~~~~~(33)\\$

这种情形⽐⼀元⾼斯分布复杂得多，因为对数中存在⼀个求和式，这就导致参数的最⼤似然解不再有⼀个封闭形式的解析解。可以使用期望最大化 (expectation maximization) 算法来求解，这个在第 15 章节将会详细讨论。

(9) 概率分布 Probability Distribution (b) : 高斯分布，混合高斯模型 - PRML && CS229

魔王梦蝶

1. 高斯分布 (Gaussian Distribution)

1.1 高斯分布的熵值计算

1.2 高斯分布的几何形式

1.3 高斯分布的均值和方差

1.4 条件高斯分布

1.5 边缘高斯分布

1.6 高斯变量的贝叶斯定理

1.7 高斯分布的最大似然估计

1.8 高斯分布的贝叶斯推断

混合高斯模型 (Mixture of Gaussians)

为你推荐

卷积神经网络（GoogLeNet）识别Fashion-MNIST数据集（Pytorch版）

Multiple Anchor Learning for Visual Object Detection

深度神经网络（DNN）的正则化

当我们在谈论 Deep Learning：DNN 与 Backpropagation

知识图谱实体对齐2：基于GNN嵌入的方法

精选迁移学习：实现快速训练和泛化的新方法

评论（0）

关于作者

魔王梦蝶

19

0

0

1

(4) 线性分类 Linear Classification (b) : Logistic 回归，判别式与生成式模型，广义线性模型 - PRML && CS229

(17) 隐马尔科夫模型 Hidden Markov Model，维特比算法 Viterbi Algorithm - PRML && CS229

(11) 核方法 Kernel Method，高斯过程 Gaussian Process - PRML && CS229

相关推荐

机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法

OpenAI官方提示词课（四）如何进行文字的情感分析

pytorch实现yolov3(2) 配置文件解析及各layer生成

机器学习笔记（八）：强化学习

TensorFlow学习——Tensorflow Object Detection API（3.模型训练篇）

利用python实现Apriori关联规则算法

热门泡泡

30积分 失眠，聊聊自己搞ROS的心得体会吧

ros学习路线

30积分 TF_REPEATED_DATA ignoring data错误

各位大佬，有什么ROS定位算法推荐吗

5积分 想买能用ROS2的开发套件。或者开发板

5积分 ros中启动gazebo时报错

给作者打赏

忘记密码

修改头像

添加你感兴趣的标签

举报类型（必选）

举报详情（选填）

1.2 高斯分布的几何形式 $\$

30积分失眠，聊聊自己搞ROS的心得体会吧

5积分想买能用ROS2的开发套件。或者开发板