1. 贝叶斯定理
1763年12月23日，Thomas Bayes的遗产受赠者R. Price牧师 在英国皇家学会宣读了贝叶斯的遗作《An essay towards solving a problem in the doctrine of chances》（《论机会学说中一个问题的求解》），其中给出了贝叶斯定理。
在这篇文章之前，人们已经能够计算“正向概率”，如12个白球和3个黑球在1个箱子中，随机取1个球，计算该球为白球的概率。
反过来， 如果事先并不知道袋子里面黑白球的比例，随机取到5个球（4个白球，1个黑球），估计该总体中黑球与白球的比例。这个问题，就是所谓的逆向概率问题，可以看做在总体未知的情况，已知样本数据，对总体进行估计。
1.1 贝叶斯公式
根据条件概率：

其中，
P(A)：事件A AA的先验概率（prior probability）
P(A∣B)：事件B条件下的，事件A的后验概率（posterior probability）
P(B)：事件B的先验概率（prior probability）
P(B∣A)：事件A条件下的，事件B的后验概率（posterior probability）
条件概率可理解为：后验概率＝先验概率×调整因子（标准似然度）
若P(B∣A)=P(B)或P(A∣B)=P(A)，则P(AB)=P(A)P(B)，此时事件A,B为相互独立事件，即任一事件的发生不影响另一事件的发生。
e.g1.
肺癌发病率P(A)=0.001；吸烟人群占比P(B)=0.4 ；根据观测，肺癌病人中有80%吸烟P(B∣A)=0.8 。
若某患者吸烟，则该患者肺癌的概率为：

在该例子中，贝叶斯公式将先验概率P(A)转化为了后验概率P(A∣B)，这个过程中主要利用了观察数据P(B∣A)
肺癌发病率只有P(A)=0.001，但是根据观察数据发现，肺癌病人的吸烟者比率P(B∣A)=0.8高于整体人群的吸烟者占比P(B)=0.4，因此增强了吸烟者中肺癌发病率的信念。
1.2 全概率公式

1.3 贝叶斯公式推广

e.g.1 A容器中有7个红球和3个白球，B容器中1个红球和4个白球
事件A：从A容器里拿一个球
事件B：从B容器里拿一个球
事件R：拿出一个球为红球
事件W：拿出一个球为白球
从A容器里拿球的概率P(A)=½ ，从B容器里拿球的概率P(B)=½
（1）随机从其中一个容器里取出一个球，该球为红球的概率：

（2）随机取出一个球为红球，该红球来自A容器的概率：

2. 频率学派 v.s. 贝叶斯学派
2.1 频率学派
从客观事件本身出发，认为事件本身具有某种客观随机性，数据样本都是在这个空间里的“某个”参数值下产生的
把参数θ视作固定且未知的常数，而样本数据D是随机的，着眼点在样本空间
通过引入了极大似然（maximum likelihood）以及置信区间（confidence interval），根据数据样本计算参数值
2.2 贝叶斯学派
从“观察者”角度出发，认为概率是主观对某个事物发生的相信程度，由于“观察者”知识不完备，需要从对客观世界的观察中得到规律更新对事件的假定
把参数θ视作随机变量（本身也有分布），而样本数据D是固定的（即实际观测到的数据集），着眼点在参数空间
通常假定参数服从一个先验分布（prior distribution），然后基于观测的数据样本（证据）来计算参数的后验分布（posterior distribution）
频率学派坚持数据说话。贝叶斯学派认为数据会有偏差，先验概率可对这些噪音做到健壮。事实证明贝叶斯学派方法更为科学，胜利的关键在于先验概率实质上也是经验统计的结果（先验信息一般源于历史的经验与资料），所谓先“验”中先于的经验就是指先于样本数据。
贝叶斯方法更符合人类认识自然的规律与日常的思考方式，即我对客观世界总有一个主观的先验判断，但是这个判断会随着对真实世界的观察而修正，从而对世界永远保持开放的态度。
3. 极大似然估计 v.s. 贝叶斯估计
极大似然估计与贝叶斯估计是统计中两种对模型的参数确定的方法，最大的不同就在于是否考虑了先验，贝叶斯估计需要设定先验p(θ)
3.1 极大似然估计
极大似然估计（MLE，Maximum Likelihood Estimation）源自频率学派，提供了一种根据样本数据来估计总体分布参数的方法，即给定样本数据D，寻找参数θ，使得条件概率p(θ∣D)最大，优化目标如下：

在极大似然估计中假设θ是确定的（均匀分布的），所以p(θ)为常数；
p(D)同样是根据已有的数据得到的，为确定值（可看做概率归一化因子）；
p(D∣θ)称为似然函数，表示不同的参数向量θ下，观察数据集D出现的可能性大小。
优化目标等价于最大化似然函数

使得该参数分布下产生样本数据的概率最大（极大似然估计认为观测到的样本就是发生概率最大的那次实现，参数完全取决于实验结果）。

为了便于计算，通常引入对数来处理（对对数似然函数求导，并令其导数为0，通过求解似然方程得到参数）。
3.2 贝叶斯估计
贝叶斯估计假定参数服从一个先验分布p(θ)，该先验分布更多的时候完全是一种假设（可凭主观判断或客观分析得出）。
然后结合样本数据，校正先验分布，得到后验分布$p(\theta \mid D) 的概率分布模型（并不求出参数的概率分布模型（并不求出参数的概率分布模型（并不求出参数\theta$的具体值，通常取后验分布的期望作为参数的估计值）：
先验分布p(θ)+样本数据D⇒后验分布p(θ∣D)
由于先验概率p(θ)不再是一个常量，而是某种概率分布的函数，就会导致较高的计算复杂度。
为避免计算所有的后验概率p(θ∣D)，通过最大后验概率（Maximum A Posterior）来对参数估计，类似于极大似然估计的思想。
最大后验估计
最大后验概率估计（MAP, maximum a posterior）在已知数据D的情况下，寻找参数θ，最大化后验概率p(θ∣D)，即

即求得的θ不单单让似然函数大，θ自己出现的先验概率也得大。
MAP类似正则化里的加惩罚项（正则化利用加法，而MAP利用乘法），即不仅仅依赖于实验数据，通过引入先验信息减少实验数据过拟合风险（MLE在试验数据过少的情况会导致过拟合）。
假设P(θ)是一个高斯分布，则

即，在MAP中使用一个高斯分布的先验等价于采用L2的regularizaton。
3.3 举例
e.g. 假设一个袋子里面装着白球和黑球，通过连续有放回的从袋子里面取10次，白球7次，黑球3次，估计下次取出一个球是白球的概率是多少。
设取到白球的概率为θ(0≤θ≤1)，服从二项分布。
（1）极大似然估计
计算10次抽取的总概率

（2）贝叶斯估计
假设θ服从Beta分布，即θ∼Beta(α,β)，则

由于p ( θ ) p(\theta)p(θ)使用的先验模型贝塔分布，与p ( θ ∣ D ) p(\theta \mid D)p(θ∣D)使用的伯努利分布是共轭关系，使得伯努利分布乘以Beta分布，得到的结果是一个新的Beta分布。
共轭先验
在贝叶斯估计中，如果选取先验分布p(θ) ，使其与后验分布p(θ∣D) 属于同一分布簇（即共轭分布），则称p(θ) 为似然函数p(D∣θ) 的共轭先验。
常见的共轭先验有：Beta分布（二项分布）、Dirichlet分布（多项分布）。
共轭先验有如下好处：
符合直观，先验分布和后验分布应该是相同形式的；
可以给出后验分布的解析形式；
可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。
最大后验概率估计
假设先验认为白球与黑球的数量是一样的，即θ=0.5的概率很大，使用均值0.5，方差0.1的正态分布描述该先验知识（也可使用其他先验模型，如Beta分布等）。
使用最大后验概率估计，需要最大化p(D∣θ)p(θ)

函数在θ=0.558时取得最大值时，不再是0.7 0.70.7，即用最大后验概率估计θ=0.558。可见样本不够多的情况下，先验模型的选择对结果产生较大影响。

如果抽取球100次，白球70次，黑球30次，函数在θ接近0.7时取得最大值。继续抽取，可进一步修正θ值。
当样本非常少时，先验会严重影响估计；随着数据量的增加，参数θ的值会越来越向数据靠拢，先验的影响力会越来越小。
4. 朴素贝叶斯分类器
对于训练数据集D中的样本(x,y)，

则，

朴素贝叶斯在估计参数时选用了极大似然估计（基于样本数据中的频次计数），但是在做决策时则使用了MAP估计。