Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4486272
  • 博文数量: 192
  • 博客积分: 10014
  • 博客等级: 上将
  • 技术积分: 8232
  • 用 户 组: 普通用户
  • 注册时间: 2006-07-21 00:22
文章分类

全部博文(192)

文章存档

2011年(4)

2009年(14)

2008年(174)

我的朋友

分类:

2008-06-20 19:49:11

 
 

Lucene分析器的实现。

Lucene(分词)过滤器TokenFilter类,以及继承它的子类的实现类。

TokenFilter类的继承关系,如图所示:

TokenFilter是一个抽象类,定义了对一个经过分词(Tokenizer)后的TokenStream进行过滤的功能,它的源代码如下所示:

package org.apache.lucene.analysis;

import java.io.IOException;

public abstract class TokenFilter extends TokenStream {
// 通过输入一个TokenStream
protected TokenStream input;

protected TokenFilter(TokenStream input) {
    this.input = input;
}

public void close() throws IOException {
    input.close();
}
}

ChineseFilter中文过滤器类:

package org.apache.lucene.analysis.cn;

import java.util.Hashtable;
import org.apache.lucene.analysis.*;

    // 中文过滤器,包含了含有外文字符的情况,因为中文搜索的关键字可能是:中文+外文

public final class ChineseFilter extends TokenFilter {

    // 这里给出了英文的终止词汇,如果直接调用根本对中文没有过滤作用,或者也可以在此添加终止词汇,比如:“也、了、啊、吧、呵……”等等一些助词叹词,因为这些词语对于检索没有意义
    public static final String[] STOP_WORDS = {
    "and", "are", "as", "at", "be", "but", "by",
    "for", "if", "in", "into", "is", "it",
    "no", "not", "of", "on", "or", "such",
    "that", "the", "their", "then", "there", "these",
    "they", "this", "to", "was", "will", "with"
    };


    private Hashtable stopTable;

    // 构造函数,初始化一个终止词汇表 (过滤掉的词汇)  

   public ChineseFilter(TokenStream in) {
        super(in);

        stopTable = new Hashtable(STOP_WORDS.length);
        for (int i = 0; i < STOP_WORDS.length; i++)
            stopTable.put(STOP_WORDS[i], STOP_WORDS[i]);
    }

    // 如果stopTable为空,说明该过滤类根本没有进行过滤,直接将读入的词条(Token)返回

    public final Token next() throws java.io.IOException {

        for (Token token = input.next(); token != null; token = input.next()) {
            String text = token.termText(); // 获取分词后词条的内容

          // 这里,如果chineseChar是单个字,则Character.getType(chineseChar)返回的类型值为5;大写英文字符类型值为1,小写字符类型值为2
            if (stopTable.get(text) == null) { // 如果分词后的词条内容没有出现在过滤列表stopTable中
                switch (Character.getType(text.charAt(0))) {

                case Character.LOWERCASE_LETTER:
                case Character.UPPERCASE_LETTER:

                    // 如果英文词条不是单个字符
                    if (text.length()>1) {
                        return token;
                    }
                    break;
                case Character.OTHER_LETTER:

                    // 如果中文的过滤词汇表中是单个字的形式,则若是一个词汇中有一个字出现在stopTable中,那么整个词条都被过滤掉了。这是不合理的;所以只要把stopTable设置为空就可以实现,即不对分词的词条进行过滤
                    // 也可以在这里添加对词条的限制,来实现过滤

                    return token;
                }

            }

        }
        return null;
    }

}

再看一个限制词条长度的过滤器类:


package org.apache.lucene.analysis;

import java.io.IOException;

// 词条过长或者过短,则过滤掉
public final class LengthFilter extends TokenFilter {

final int min;
final int max;

// 构造函数,初始化此条长度上限和下限
public LengthFilter(TokenStream in, int min, int max)
{
    super(in);
    this.min = min;
    this.max = max;
}

// 返回长度在min与max之间的词条
public final Token next() throws IOException
{
    for (Token token = input.next(); token != null; token = input.next())
    {
      int len = token.termText().length();
      if (len >= min && len <= max) {
          return token;
      }
      // note: else we ignore it but should we index each part of it?
    }

    return null;
}
}

可见,过滤器的目的就是对分词获得的词条的一些属性信息进行过滤,原则是:这些属性信息对检索没有实际意义。通过阅读标准过滤器类,再综合各种需要,我们就能根据自己的需要实现词条的过滤。Lucene包里给出的标准过滤器类。其实是对英文字符过滤的的,源代码如下:

package org.apache.lucene.analysis.standard;

import org.apache.lucene.analysis.*;

public final class StandardFilter extends TokenFilter
implements StandardTokenizerConstants {

public StandardFilter(TokenStream in) {
    super(in);
}

// APOSTROPHE、ACRONYM等都是在一个常量接口类StandardTokenizerConstants里定义的常量,分别代表在过滤中可能要对其进行处理的字符

private static final String APOSTROPHE_TYPE = tokenImage[APOSTROPHE];
private static final String ACRONYM_TYPE = tokenImage[ACRONYM];

// 如果词条不空,进行处理后返回经过过滤处理后的词条
public final org.apache.lucene.analysis.Token next() throws java.io.IOException {
    org.apache.lucene.analysis.Token t = input.next();

    if (t == null)
      return null;

    String text = t.termText();
    String type = t.type();

// 英文中的 's或'S对检索意义不大,可以删除掉
    if (type == APOSTROPHE_TYPE &&    
(text.endsWith("'s") || text.endsWith("'S"))) {
      return new org.apache.lucene.analysis.Token
(text.substring(0,text.length()-2),t.startOffset(), t.endOffset(), type);

    } else if (type == ACRONYM_TYPE) {    // 对“圆点”进行处理,直接把出现的“圆点”删除掉,保留其它字符
      StringBuffer trimmed = new StringBuffer();
      for (int i = 0; i < text.length(); i++) {
char c = text.charAt(i);
if (c != '.')
   trimmed.append(c);
      }
      return new org.apache.lucene.analysis.Token
(trimmed.toString(), t.startOffset(), t.endOffset(), type);

    } else {
      return t;
    }
}
}

常量接口类StandardTokenizerConstants 定义如下:

package org.apache.lucene.analysis.standard;

public interface StandardTokenizerConstants {

int EOF = 0;
int ALPHANUM = 1;
int APOSTROPHE = 2;
int ACRONYM = 3;
int COMPANY = 4;
int EMAIL = 5;
int HOST = 6;
int NUM = 7;
int P = 8;
int HAS_DIGIT = 9;
int ALPHA = 10;
int LETTER = 11;
int CJ = 12;
int KOREAN = 13;
int DIGIT = 14;
int NOISE = 15;

int DEFAULT = 0;

String[] tokenImage = {
    "",
    "",
    "",
    "",
    "",
    "",
    "",
    "",
    "

",
    "",
    "",
    "",
    "",
    "",
    "",
    "",
};
}

还有一个org.apache.lucene.analysis.StopFilter类,和ChineseFilter类的实现很相似,只是这里把过滤字符列表是初始化一个StopFilter过滤器的时候指定的,而且该类实现了对过滤字符类表中字符进行转换的功能。

我感觉,最应该好好研究的是关于同义词的过滤问题。Lucene包中给了一个org.apache.lucene.index.memory.SynonymTokenFilter过滤类,比较复杂,因为这里面涉及到了一个重要的类:org.apache.lucene.index.memory.SynonymMap。通过研究对英文中同义词的过滤,来考虑中文同义词过滤的问题。

阅读(1121) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~