目录

先验概率、条件概率与后验概率的概念

   先验概率

   条件概率

   后验概率

   加大难度，来个辨析题

贝叶斯决策理论

  基于最小错误率的贝叶斯决策

  基于最小风险的贝叶斯决策

先验概率、条件概率与后验概率的概念
先验概率

先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。

通俗点讲，先验概率就是事情尚未发生前，我们对该事发生概率的估计，那些通过实践调研得到的，或者通过经验总结的概率都是先验概率。

例如明天下雨的概率是85%，抛一枚硬币正面朝上的概率是50%，下午挨饿的概率是15%。若用w1和w2分别表示两个类别，P（w1）和P（w2）表示各自的先验概率，此时满足       P（w1）+P（w2）=1

条件概率

它是指在某个特定的类别发生的前提下，某一个情况发生的概率。例如已知今天中午吃了一个馒头，就下午挨饿的概率，一般我们用如下的形式表示模式样本X出现的概率：   P（X|Wi）  ,它表示Wi发生的前提下X发生的概率。还拿吃馒头举例子的话，今天中午吃馒头了，那么下午挨饿概率就可以表示为      P（下午挨饿|中午吃馒头）  。

后验概率

它是在某一个具体的模式发生的前提下，某一个类别出现的概率。例如下午挨饿了，求中午吃的是馒头的概率。后验概率可以根据贝叶斯公式求出。

Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,...Bn为 S 的一个划分（也即类别）且有P（A）>0,P(Bi)>0, (i=1,2,…n),则下式

贝叶斯公式

称为Bayes公式。从公式可以看出基于贝叶斯决策的决策结果取决于实际已给出训练样本的类条件概率和先验概率。贝叶斯概率是通过先验知识和统计现有数据，使用概率的方法对某一事件未来可能发生的概率进行估计的。 

再举一个别人的例子：

假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。

堵车的概率就是先验概率 。

那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是有因求果。

如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大，

那这个就叫做后验概率 （也是条件概率，但是通常习惯这么说） 。也就是P(交通事故|堵车)。这是有果求因。

加大难度，来个辨析题

贝叶斯决策理论

当分类器设计完成之后，并不能保证每一次的分类是一定正确的。那么如果有错误的存在，是因为什么而发生的呢？错分的概率有多大？这些重要的问题就是贝叶斯决策理论分析的问题。

这里以某制药厂生产的药品检验识别为例，以此说明贝叶斯决策所要解决的问题、如图4-1所示，正常药品为+。异常药品为-，识别的目的是要依据X向量将药品划分为两类。对于图4-1来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器、如果x向量被划分到直线右侧，则其为正常药品，若被划分到直线左侧，则其为异常药品，可见对其作出决策是很容易的，也不会出现什么差错。

问题在于可能会出现模棱两可的情况，如图4-2所示。

此时，任何决策都存在判错的可能性。由图4-2可见，在直线A.B之间，属于不同类的样品在特征空间中相互穿插，很难用简单的分界线将它们完全分开，即所观察到的某一样品的特征向量为X,在M类中又有不止一类，可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。

如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。但是如果将一个“一”样品错分成“+”类，所造成的损失要比将"+"分成"一"类严重，这是由于将异常药品误判为正常药品，则会使病人因失去及早治疗的机会而遭受极大的损失；把正常药品误判为异常
药品会给企业带来一点损失，则偏向使对”一‘类样品的错分类进一步减少，可以使总的损失为最小，那么B直线就可能比A直线更适合作为分界线。

可见，分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。

建立数学模型：

设定类别ωi =(ω1,ω2,…,ωm),模式样本x=(x1,x2,…, xn)

1. 确定判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x)，用于表示多类决策规则。多类判别函数可以定义为如下三种形式：

如果使得，对于一切i≠j成立，则将x归于i类。 

2.确定决策面方程：

3.进行分类器设计

基于最小错误率的贝叶斯决策

在模式分类问题中，人们往往希望尽量减少分类的错误，从这样的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。

1.两类问题

若样品属于w1，w2类中的一类，一直两类的先验概率为和，两类的条件概率为和。由贝叶斯公式计算出和.。

对于两类问题：

2.多类问题

，则类。也就是把X带入M个判别函数中，看哪个判别函数最大，就把X归于哪一类，也就是后验概率的最大的类。由于先验概率很容易求出来，贝叶斯分类器的核心问题就是求出类条件概率,条件概率求出来以后，后验概率就可以求出来了。

基于最小风险的贝叶斯决策

最小错误率判决规则没有考虑错误判决带来的风险，或者说没有考虑某种判决带来的损失。同一问题中，不同的判决有不同的风险，例如判断细胞是否为癌细胞，可能有两种错误判决：

1.正常细胞错判为癌细胞；

2.癌细胞错判为正常细胞。但两种错误带来的风险并不相同。

在1中，会给健康人带来不必要的精神负担;

在2中，会使患者失去进一步检查进行治疗的机会，造成严重后果。显然，第2种错误判决的风险大于第1种。

正是由于有判决风险的存在，仅考虑最小错误进行判决是不充分的，还必须考虑由此带来的风险，因此引入最小风险判决规则。事实上，最小风险判决规则也是一种贝叶斯分类。判决风险也可以理解为由判决而付出的代价，即使在做出正确判决的情况下，也会付出一定的代价，也会有损失。