分类:
2008-06-23 20:34:12
关于MultiTermQuery查询。
这里研究FuzzyQuery查询。
MultiTermQuery是一个抽象类,继承自它的一种有3个,分别为:FuzzyQuery、WildcardQuery、RegexQuery,其中RegexQuery使用了第三方提供的服务,可以使用正则表达式,如果你对正则表达式很熟悉,可以尝试着使用RegexQuery查询。
FuzzyQuery查询,即模糊查询。
在FuzzyQuery类定义中定义了两个成员变量:
private float minimumSimilarity;
private int prefixLength;
minimumSimilarity是最小相似度,取值范围为0.0~1.0,包含0.0但不包含1.0,默认值为0.5。
prefixLength是前缀长度,默认为0。
其实,在Fuzzy数学中,模糊度被定义为0.5是最模糊的程度,这里说的模糊度是德莱卡模糊度,D(F)=0表示不模糊,即为普通集合;D(F)=05表示最模糊的程度。
使用FuzzyQuery要从的构造方法开始,该类给出3种构造方式:
第一种:
public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength) throws IllegalArgumentException {
super(term);
if (minimumSimilarity >= 1.0f)
throw new IllegalArgumentException("minimumSimilarity >= 1");
else if (minimumSimilarity < 0.0f)
throw new IllegalArgumentException("minimumSimilarity < 0");
if (prefixLength < 0)
throw new IllegalArgumentException("prefixLength < 0");
this.minimumSimilarity = minimumSimilarity;
this.prefixLength = prefixLength;
}
第二种:
public FuzzyQuery(Term term, float minimumSimilarity) throws IllegalArgumentException {
this(term, minimumSimilarity, defaultPrefixLength);
}
第三种:
public FuzzyQuery(Term term) {
this(term, defaultMinSimilarity, defaultPrefixLength);
}
可见,后两种都是使用默认的定义,即minimumSimilarity或者prefixLength使用默认值,最后还是通过第一个构造方法来构造一个FuzzyQuery的实例。
1、使用public FuzzyQuery(Term term)构造查询
实际是这样构造的:FuzzyQuery(term, 0.5f, 0);进行构造。
使用静态定义的具有默认值的两个成员:
minimumSimilarity = defaultMinSimilarity = 0.5f;
prefixLength = defaultPrefixLength = 0;
其实,minimumSimilarity = defaultMinSimilarity = 0.5f并不同于Fuzzy数学中定义的模糊度,minimumSimilarity 表示的应该是一种匹配的严格程度,minimumSimilarity越大表示查询匹配时越严格,通过测试可以看出,如下所示:
package org.apache.lucene.shirdrn.main;
import java.io.IOException;
import java.util.Date;
import net.teamhot.lucene.ThesaurusAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.FuzzyQuery;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.store.LockObtainFailedException;
public class FuzzyQuerySearcher {
private String path = "E:\\Lucene\\index";
private FuzzyQuery fuzzyQuery;
public void createIndex(){
IndexWriter writer;
try {
writer = new IndexWriter(path,new ThesaurusAnalyzer(),true); // 使用ThesaurusAnalyzer 中文分析器
//writer = new IndexWriter(path,new StandardAnalyzer(),true);
Field fieldA = new Field("contents","文件夹",Field.Store.YES,Field.Index.TOKENIZED);
Document docA = new Document();
docA.add(fieldA);
Field fieldB = new Field("contents","文件名",Field.Store.YES,Field.Index.TOKENIZED);
Document docB = new Document();
docB.add(fieldB);
Field fieldC = new Field("contents","文件精神",Field.Store.YES,Field.Index.TOKENIZED);
Document docC = new Document();
docC.add(fieldC);
Field fieldD = new Field("contents","文人",Field.Store.YES,Field.Index.TOKENIZED);
Document docD = new Document();
docD.add(fieldD);
Field fieldE = new Field("contents","整饬",Field.Store.YES,Field.Index.TOKENIZED);
Document docE = new Document();
docE.add(fieldE);
writer.addDocument(docA);
writer.addDocument(docB);
writer.addDocument(docC);
writer.addDocument(docD);
writer.addDocument(docE);
/*Field fieldA = new Field("contents","come",Field.Store.YES,Field.Index.TOKENIZED);
Document docA = new Document();
docA.add(fieldA);
Field fieldB = new Field("contents","cope",Field.Store.YES,Field.Index.TOKENIZED);
Document docB = new Document();
docB.add(fieldB);
Field fieldC = new Field("contents","compleat",Field.Store.YES,Field.Index.TOKENIZED);
Document docC = new Document();
docC.add(fieldC);
Field fieldD = new Field("contents","complete",Field.Store.YES,Field.Index.TOKENIZED);
Document docD = new Document();
docD.add(fieldD);
Field fieldE = new Field("contents","compile",Field.Store.YES,Field.Index.TOKENIZED);
Document docE = new Document();
docE.add(fieldE);
Field fieldF = new Field("contents","compiler",Field.Store.YES,Field.Index.TOKENIZED);
Document docF = new Document();
docF.add(fieldF);
writer.addDocument(docA);
writer.addDocument(docB);
writer.addDocument(docC);
writer.addDocument(docD);
writer.addDocument(docE);
writer.addDocument(docF);*/
writer.close();
} catch (CorruptIndexException e) {
e.printStackTrace();
} catch (LockObtainFailedException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
public static void main(String[] args) {
FuzzyQuerySearcher fqs = new FuzzyQuerySearcher();
fqs.createIndex();
Term term = new Term("contents","文件夹");
fqs.fuzzyQuery = new FuzzyQuery(term);
try {
Date startTime = new Date();
IndexSearcher searcher = new IndexSearcher(fqs.path);
Hits hits = searcher.search(fqs.fuzzyQuery);
System.out.println("********************************************************************");
for(int i=0;i
System.out.println("Document内容为 : "+hits.doc(i));
System.out.println("Document的得分为 : "+hits.score(i));
}
System.out.println("********************************************************************");
System.out.println("共检索出符合条件的Document "+hits.length()+" 个。");
Date finishTime = new Date();
long timeOfSearch = finishTime.getTime() - startTime.getTime();
System.out.println("本次搜索所用的时间为 "+timeOfSearch+" ms");
} catch (CorruptIndexException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
注意:上面对中文分词使用了ThesaurusAnalyzer中文分析器,其中构造的那些Field都是词库中一个词条。
检索结果如下所示:
********************************************************************
Document的内部编号为 : 0
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document
Document的得分为 : 0.33333322
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 250 ms
在检索的过程中,进行模糊匹配遵循的原则就是词条长度相等,而且相似,这是在中文检索中,我们看下在英文中检索的结果会是怎样。
首先,在建立索引的方法中,打开建立索引函数中的注释部分,将中文分词部分注释掉;并且,使用StandardAnalyzer分析器分词,修改:
Term term = new Term("contents","compiler");
执行主函数,检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.71428573
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.25
Document的内部编号为 : 3
Document内容为 : Document
Document的得分为 : 0.25
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 125 ms
对于构造的6个Document中,只有两个不能达到最小相似度0.5的要求。
可见,对于中文和英文来说,都能够体现出类似Fuzzy的思想。
2、使用 public FuzzyQuery(Term term, float minimumSimilarity)构造查询
现在,使用该构造方法进行构造,可以对minimumSimilarity进行设置。因为0<=minimumSimilarity<1.0,我们设置只能在这个范围之内。,分别对中文和英文测试一下。
(1) 设置minimumSimilarity = 0.98
◆ 对于中文的情形:
Term term = new Term("contents","文件夹");
fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);
检索结果如下所示:
********************************************************************
Document的内部编号为 : 0
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 78 ms
可见,使用中文,设置minimumSimilarity = 0.98是接近精确匹配的检索结果。
◆ 对于英文的情形:
Term term = new Term("contents","compiler");
fqs.fuzzyQuery = new FuzzyQuery(term,0.98f);
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 125 ms
可见,对于英文,minimumSimilarity的值越大,匹配越精确。
综上所述,minimumSimilarity的值越大,检索时匹配越精确,获得的检索结果就越少。
(2) 设置minimumSimilarity = 0.75
◆ 对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 0
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 140 ms
◆ 对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.42857143
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms
(3) 设置minimumSimilarity = 0.60
◆ 对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 0
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document
Document的得分为 : 0.16666652
********************************************************************
共检索出符合条件的Document 2 个。
本次搜索所用的时间为 219 ms
◆ 对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.64285713
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.06249995
Document的内部编号为 : 3
Document内容为 : Document
Document的得分为 : 0.06249995
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms
(4) 设置minimumSimilarity = 0.40
◆ 对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 0
Document内容为 : Document
Document的得分为 : 0.99999994
Document的内部编号为 : 1
Document内容为 : Document
Document的得分为 : 0.44444436
********************************************************************
共检索出符合条件的Document 2 个。
◆ 对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 0.99999994
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.7619048
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.375
Document的内部编号为 : 3
Document内容为 : Document
Document的得分为 : 0.375
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 453 ms
(5) 设置minimumSimilarity = 0.25
对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 0
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document
Document的得分为 : 0.5555556
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.1111111
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 172 ms
对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.8095239
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.5
Document的内部编号为 : 3
Document内容为 : Document
Document的得分为 : 0.5
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms
(6) 设置minimumSimilarity = 0.00
对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 0
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 1
Document内容为 : Document
Document的得分为 : 0.6666666
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.3333333
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 234 ms
对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.85714287
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.62499994
Document的内部编号为 : 3
Document内容为 : Document
Document的得分为 : 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 328 ms
从上面的检索结果可以看出,minimumSimilarity没有Fuzzy数学中的那种对称性,而是递减的,即:minimumSimilarity的值越大,检索出的结果越少,但是越精确。
3、使用 public FuzzyQuery(Term term, float minimumSimilarity, int prefixLength)构造查询
这里,对中文的测试,准备工作很重要:分别使用ThesaurusAnalyzer分析器和StandardAnalyzer分析器建立索引,使得索引目录中既包含ThesaurusAnalyzer分析器的词库,又包含使用StandardAnalyzer分析器分词得到的单个汉字作为一个词条。
不要使用StandardAnalyzer分析器对下面除了“武”以外的词条进行分词,只使用StandardAnalyzer分析器对“武”进行分词,因为要保证只有一个Document中含有“武”这个词条。
建立索引的函数修改为:
Field fieldA = new Field("contents","武",Field.Store.YES,Field.Index.TOKENIZED);
Document docA = new Document();
docA.add(fieldA);
Field fieldB = new Field("contents","文修武偃",Field.Store.YES,Field.Index.TOKENIZED);
Document docB = new Document();
docB.add(fieldB);
Field fieldC = new Field("contents","文东武西",Field.Store.YES,Field.Index.TOKENIZED);
Document docC = new Document();
docC.add(fieldC);
Field fieldD = new Field("contents","不使用武力",Field.Store.YES,Field.Index.TOKENIZED);
Document docD = new Document();
docD.add(fieldD);
Field fieldE = new Field("contents","不文不武",Field.Store.YES,Field.Index.TOKENIZED);
Document docE = new Document();
docE.add(fieldE);
writer.addDocument(docA);
writer.addDocument(docB);
writer.addDocument(docC);
writer.addDocument(docD);
writer.addDocument(docE);
对于中文,即:
Term term = new Term("contents","文东武西");
fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,10);
对于英文,即:
Term term = new Term("contents","compiler");
fqs.fuzzyQuery = new FuzzyQuery(term,0.00f,0);
(1) 设置minimumSimilarity = 0.00,prefixLength =0
对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.99999994
Document的内部编号为 : 1
Document内容为 : Document
Document的得分为 : 0.49999997
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.24999999
********************************************************************
共检索出符合条件的Document 3 个。
本次搜索所用的时间为 343 ms
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
Document的内部编号为 : 4
Document内容为 : Document
Document的得分为 : 0.85714287
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 0.62499994
Document的内部编号为 : 3
Document内容为 : Document
Document的得分为 : 0.62499994
********************************************************************
共检索出符合条件的Document 4 个。
本次搜索所用的时间为 375 ms
(2) 设置minimumSimilarity = 0.00,prefixLength =10
对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 297 ms
对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 328 ms
(3) 设置minimumSimilarity = 0.98,prefixLength =0
对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms
对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 344 ms
(4) 设置minimumSimilarity = 0.98,prefixLength =10
对于中文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 2
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 313 ms
对于英文:
检索结果如下所示:
********************************************************************
Document的内部编号为 : 5
Document内容为 : Document
Document的得分为 : 1.0
********************************************************************
共检索出符合条件的Document 1 个。
本次搜索所用的时间为 359 ms
总结
minimumSimilarity越小,模糊度越大,检索出的结果越少,但是越精确;
prefixLength越小,模糊度越到,检索出的结果越少,但是越精确。