分类： 大数据
2013-08-28 20:58:19
TF指词项频率，IDF指逆文档频率，假定文档集中有N篇文档， 为词项i在文档j中出现的频率（即次数）
归一化通过 除以同一文档中出现最多的词项（可能不考虑停用词的频率）来计算。
假定词项i在文档集的 篇文档中出现，那么词项i的IDF定义为：
词项i在文档j中的得分就被定义为 ，具有最高得分的那些词项通常是刻画文档主题的最佳词项。
注：TF-iDF公式不唯一，可自由选择进行归一化，如TF公式的分母，可为同一文档中出现的总词频（去除停用词）；如IDF公式的对数公式的底数。
From Minging of Massive Datasets
