爱咋咋地
分类: LINUX
2009-07-25 23:23:16
最大熵模型(Max Entropy Model,MEM):在已知限制条件下,未知的概率分布应该均等看待。此时,模型的熵最大。
最大熵模型主要是在已有的一些限制条件下估计未知的概率分布,在估计时,通过认为熵最大的那个分布为最后所求。形式化时,通常将那些限制条件变成特征函数(在MEM中也常常称为特征,和一般我们所说的特征并不一样),最大熵的目标就是在这些特征函数的期望值等于观测值的限制条件下,最具有最大熵的那个分布。