贝叶斯决策

贝叶斯决策理论方法在进行分类时要求：
(1)各类别的总体概率密度函数的分布是已知的；
(2)要决策分类的类别数数是一定的
特征空间、特征向量、先验概率、类条件概率密度函数、
出发点:概率的不同分类决策与相应的决策代价之间的定量折中
假定：所有的有关的概率结构已知-->基于常识的判别过程
几种常见的决策规则
1)基于最小错误率的贝叶斯决策

实质:通过观察x把状态的先验概率P(wi)转化为后验概率
判别错误率的问题

2)基于最小风险的贝叶斯决策
    考虑到各种错误照成的损失不同而提出的一种决策规则
决策空间
决策损失：因为决策而可能产生的损失，它通常是决策和自然状态的函数
决策表
最小风险的贝叶斯决策的计算方法：
1)根据贝叶斯公式，计算出后验概率
2)利用后验概率和决策表，计算出条件风险
3)比较2中的计算结果，找出使条件风险最小的决策Ak，则它就是最小风险的贝叶斯决策

3）两者之间的关系：
基于最小错误率的决策是基于最小风险决策的一个特例

4）分类器的设计
A)决策域:待识别的特征向量落在哪个决策域中，该样本就被判定为哪一类
B)判别面:决策域的边界面
C)判别函数:用于表达决策规则的某些函数
两类情况的判别函数:
g(x) = g1(x)-g2(x)
并将决策规则表示为：
g(x)>0.则决策w1
g(x)<0.则决策w2
决策面方程：
g(x) = 0

当X是一维时,决策面是一个分界点,当X是二维时，决策面是一个曲线，当X是三维时，决策面是一个曲面，当X是d维(d>3)时，决策面是一个超平面
分类器:

决策域的划分和样本的概率分布有关
6）多元正态分布的概率密度函数

"多元"中元是指的特征向量的分量数，也就是维数
多维向量，每一个分量都是随机变量，多服从正态分布，但是还要考虑相关性的问题

相关性:协方差矩阵：主对角线（方差），次对角线（相关性），正定的对称矩阵
性质：
参数U和协方差矩对分布具有决定性
Mahalanobis距离
   

多元正态概率型下，最小错误率的贝叶斯判别函数和决策面
三种情况

7）
先验概率和类条件概率（贝叶斯的使用方法）的获取方法
三种方法：

参考:《模式识别》和《模式分类》《武汉大学PR课件》