（软件工程课设）Search Engine 10---梳理（数据预处理模块）

   当网页采集模块将采集到的网页信息返回时，我们需要进行预处理，之后才能够建立索引，存入搜索引擎的数据库！

  

0.   预处理的功能

 

   关键词的提取-分词       ：  文档转换与分析；     分词；

   重复或者转载网页的消除   ：  网页重复率大约为 4

   链接分析               ：  分析标签，确定关键词的重要程度 ；

                             分析网页的链接关系（出度和入度）；

   网页重要程度的计算-排序  

  

   预处理的模块：