Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2008107
  • 博文数量: 392
  • 博客积分: 7040
  • 博客等级: 少将
  • 技术积分: 4138
  • 用 户 组: 普通用户
  • 注册时间: 2009-06-17 13:03
个人简介

范德萨发而为

文章分类

全部博文(392)

文章存档

2017年(5)

2016年(19)

2015年(34)

2014年(14)

2013年(47)

2012年(40)

2011年(51)

2010年(137)

2009年(45)

分类: Java

2012-11-28 11:52:19

转载请注明出处:

IK分词全名IK Analyzer,是基于Java语言开发的轻量级的中文分词工具包。像lucence等开源搜索引擎都可以使用IK进行分词处理。使用Java的同学有很多人都使用过IK
但是IK从2006年发布以来,还没人发布过源码分析介绍(也有可能是本人google技术不过关),这个连载系列会把自己对IK源码的分析写出来和大家分享


源码来自IK分词的2012版本,请google 'ik分词 google code' 查找源码

下面直接进入正题:

暂时跳过了IK分词的初始化过程,先简单的说明下:
初始化最主要的工作就是读入1.main2012.dic(关键词)2.quantifier.dic(量词)3.stopword.dic(停用词)4.ext.dic(扩展词,可选),将这些词放入内存字典树。

先走匹配的核心流程,从一段最简单的IK示例开始。

点击(此处)折叠或打开

  1. while ((lexeme = ik.next()) != null) {
  2.                 wordName = lexeme.getLexemeText();
  3.                 pos = lexeme.getBeginPosition();
  4.                 System.out.println("wordName: " + wordName + " pos: " + pos);
  5.             }
最主要的就是ik.next()方法

点击(此处)折叠或打开

  1. /**
  2.      * 分词,获取下一个词元
  3.      * @return Lexeme 词元对象
  4.      * @throws IOException
  5.      */
  6.     public synchronized Lexeme next()throws IOException{
  7.         if(this.context.hasNextResult()){
  8.             //存在尚未输出的分词结果
  9.             return this.context.getNextLexeme();
  10.         }else{
  11.             /*
  12.              * 从reader中读取数据,填充buffer
  13.              * 如果reader是分次读入buffer的,那么buffer要进行移位处理
  14.              * 移位处理上次读入的但未处理的数据
  15.              */
  16.             int available = context.fillBuffer(this.input);
  17.             if(available <= 0){
  18.                 //reader已经读完
  19.                 context.reset();
  20.                 return null;
  21.                 
  22.             }else{
  23.                 //初始化指针
  24.                 context.initCursor();
  25.                 do{
  26.                     //遍历子分词器
  27.                     for(ISegmenter segmenter : segmenters){
  28.                         segmenter.analyze(context);
  29.                     }
  30.                     //字符缓冲区接近读完,需要读入新的字符
  31.                     if(context.needRefillBuffer()){
  32.                         break;
  33.                     }
  34.                    //向前移动指针
  35.                 }while(context.moveCursor());
  36.                 //重置子分词器,为下轮循环进行初始化
  37.                 for(ISegmenter segmenter : segmenters){
  38.                     segmenter.reset();
  39.                 }
  40.             }
  41.             //对分词进行歧义处理
  42.             this.arbitrator.process(context, this.cfg.useSmart());            
  43.             //处理未切分CJK字符
  44.             context.processUnkownCJKChar();
  45.             //记录本次分词的缓冲区位移
  46.             context.markBufferOffset();
  47.             //输出词元
  48.             if(this.context.hasNextResult()){
  49.                 return this.context.getNextLexeme();
  50.             }
  51.             return null;
  52.         }
其中几个主要的方法说明如下:
  • 读入待匹配的文本

点击(此处)折叠或打开

  1. int available = context.fillBuffer(this.input);
  • 初始化文本指针,指向文本中的第一个字符

    点击(此处)折叠或打开

    1. context.initCursor();
  • 遍历分词器,进行分词处理,这里是最核心的流程之一,将待匹配文本生成分词候选集。
  • 总共有三种分词器CJKSegmenter(中文分词器)、CN_QuantifierSegment(数量词分词器)、LetterSegment(字母数字分词器),每种分词器的分词方法是独立的,各自生成自己的分词结果,放到分词候选集里

点击(此处)折叠或打开

  1. for(ISegmenter segmenter : segmenters){
  2.                         segmenter.analyze(context);
  3.                     }
  • 处理完一个字符之后,文本指针后移一位,直到处理完所有待匹配文本

点击(此处)折叠或打开

  1. while(context.moveCursor());
  • 生成分词候选集之后,进行歧义处理,歧义处理方法区分智能和非智能,也就是在初始化IKSegment时传递的第二个参数IKSegmenter(Reader input, boolean useSmart)。
  • 其功能是根据分词候选集和歧义处理策略,生成最后的分词结果,具体策略后面介绍

点击(此处)折叠或打开

  1. //对分词进行歧义处理
  2.             this.arbitrator.process(context, this.cfg.useSmart());
  • 处理未切分CJK字符

点击(此处)折叠或打开

  1. //处理未切分CJK字符
  2.             context.processUnkownCJKChar();
  • 记录本次分词的缓冲区位移

点击(此处)折叠或打开

  1. //记录本次分词的缓冲区位移
  2.             context.markBufferOffset();

主要流程介绍完了,并不复杂,其实IK分词算是比较简单的分词方法了,没有复杂的智能算法在里面
下一篇介绍三种子分词器的作用IK分词源码分析连载(二)--子分词器


阅读(7116) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~