基础系列1：先验概率 & 后验概率

一、全概率公式&贝叶斯公式

在介绍先验、后验概率之前我们先来复习一下全概率公式和贝叶斯公式

全概率公式：设事件  构成一个完备事件组，即它们两两不相容，和为全集且  ，则对任一事件  有：

可以看出，全概率公式是“由因推果”的思想，当知道某件事的原因后，推断由某个原因导致这件事发生的概率为多少。

贝叶斯公式：符号定义与全概率公式相同，则：

可以看出，贝叶斯公式是“由果溯因”的思想，当知道某件事的结果后，由结果推断这件事是由各个原因导致的概率为多少。

二、先验概率&后验概率

先验概率（prior probability）：指根据以往经验和分析。在实验或采样前就可以得到的概率。

后验概率（posterior probability）：指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。

可以看出，先验概率就是事先可估计的概率分布，而后验概率类似贝叶斯公式“由果溯因”的思想。下面我们通过PRML（Pattern Recognition and Machine Learning）这本书中的例子来理解一下上面的定义。

假设我们现在有两个盒子，分别为红色和蓝色。在红色盒子中放着2个苹果和6个橙子，在蓝色盒子中放着1个橙子和3个苹果，如下图所示：

图中绿色表示苹果，橙色代表橙子。假设我们每次实验的时候会随机从某个盒子里挑出一个水果，随机变量B（box）表示挑出的是哪个盒子，并且P(B=blue) = 0.6（蓝色盒子被选中的概率），P(B=red) = 0.4（红色盒子被选中的概率）。随机变量F（fruit）表示挑中的是哪种水果，F的取值为"a (apple)"和"o (orange)"。

现在假设我们已经得知某次实验中挑出的水果是orange，那么这个orange是从红色盒子里挑出的概率是多大呢？依据贝叶斯公式有：

同时，由概率的加法规则我们可以得到：

在上面的计算过程中，我们将  或者说  称为先验概率（prior probability），因为我们在得到F是“a”或者“o”之前，就可以得到  。同理，将  和  称为后验概率，因为我们在完整的一次实验之后也就是得到了F的具体取值之后才能得到这个概率。