时光荏苒..
全部博文（453）
分类： 大数据
2015-01-06 13:31:21
转自 Lucene/Solr开发经验[原] 作者 张驰有道
注意：该文章所属Blog中的日记遵循 ，您可以任意转载，转载时请务必以超链接形式标明文章原始出处 和作者信息 及本声明 。
[开篇语 ]按照惯例应该写一篇技术文章了，这次结合Lucene/Solr来分享一下开发经验。
Lucene是一个使用Java语言写的全文检索开发包（API），利用它可以实现强大的检索功能，它的详细介绍大家可以去Google上搜索一下，本文重点放在Solr相关的讨论上。
[概述 ]目前国内研究Solr的人不多，而且大多是因为项目开发需要。Solr师承Lucene，为 Apache基金会下的一个项目，具体的说它还是Lucene下的一个子项目。Solr出身豪门，而且具有自己的技术特点，填补了以往Lucene仅仅作 为开发工具包的遗憾，它是一个完完整整地应用。换句话说，它是一个全文检索服务器，它开箱即用，让我们能立马体会到Lucene的强大功能，为 Lucene产品化走出了一大步。
[渊源 ]最初，CNET Networks使用Lucene API来开发了一些应用，并在这个基础上产生了Solr的雏形，后来Apache Software Foundation在Lucene顶级项目的支持下得到了Solr，这已经是2006年1月份的事了。2006年1月17日，Solr正是加入 Apache基金会的孵化项目，在整个项目孵化期间，Solr 稳步地积累各种特性并吸引了一个稳定的user群体、developer群体和Committer群体，并于1年之后的17日正式酝酿成熟，在这之前已经 成功发布了1.1.0版。目前的稳定版本是1.2，Solr在9月份的2007Apache年会上大放异彩，在今年11月底将来到香港参加2007亚洲开 源软件峰会，遗憾的是为什么不来北京:-(
[初识Solr ]Solr服务器不同于普通的关系型数据库，不仅仅在于它核心本质的不同（面向结构化和非结构化 数据的不同），很大的不同还在于它的体系架构上。Solr服务器一般情况下需要部署于应用服务器/Java容器上（如果是本机通信不涉及RPC可以不使用 Java容器，如采用嵌入方式使用Solr），无法独立工作于JVM上。
Solr架构图
Solr服务器可以存储数据并通过索引对其进行快速高效检索。对外提供HTTP/XML和Json
API接口，这使得它能够在多语言环境下集成，比如针对它的客户端的开发。Solr目前的客户端面向的有Java、PHP、Python、C#、Json
和Ruby等，遗憾的是没有面向C/C++（这也是本人目前在研究的），研究音乐搜索分类的Brian
Whitman曾在苹果平台上使用JNI技术在C代码中嵌入Solr实现检索，不过是一个Cocoa工程。有了这些客户端，使用者能很方便地将Solr集
成到具体运用中。目前最完善的当属Java客户端Solrj，以及加入到Solr trunk，并将在1.3版本中正式发布。
如果不研究开发Solr，只是使用Solr，只需要关注Solr的以下几个方面：
1、Solr服务器的配置在solrconfig.xml中完成，包括对缓存，servlet的个性化配置等等，即系统全局的配置；
2、索引方法、索引域（字段）等等在schema.xml中完成，这个配置是针对Solr实例的；
3、索引数据文件默认放在Solr文档根目录下的data/index目录下，这个路径可以通过第1点配置，同时可以将这个目录下的文件进行复制粘贴，即可完成索引的复用；
4、建立索引的时间相当长，我采用按词无字典索引方式对2G110万条中文记录进行索引，花了将近2个半小时的时间（当然这个时间和很多因素有关，有兴趣
的话大家可以留言和我讨论），相对而言，在linux下建索引时间要比windows下快很多，可以使用commit操作使新增索引生效，同时注意索引的
优化，索引优化也是很费资源和时间的，但是优化索引也是提高检索速度的重要方法，因此需要好好权衡这一点；
5、安装完后的Solr目录下有这么几个文件夹：bin文件夹里主要是用于建立镜像和完成远程同步的脚本；conf文件夹下主要是1、2点中提到的配置文件；admin文件夹下是的主要是提供web管理界面的文件；
6、目前Solr1.2不具备安全性设计，没有用户组及权限设置，在进行具体应用时需要注意安全，目前最有效的方法是通过应用服务器上的授权实现。
本文永久链接：http://www.jinsehupan.com/blog/?p=25
[Solr的安装 ]Solr发行版中已经有一个使用Jetty为servlet容器的小例子，可以使用这个例子来体验，那正在在自己想部署的平台和应用服务器上该怎么一个步骤呢？
要开始使用 Solr，需安装以下软件：
1、Java 1.5 或更高版本；
2、Ant 1.6.x 或更高版本（用于编译管理Solr工程，个人推荐，当然可以使用eclipse）；
3、Web 浏览器，用来查看管理页面（官方建议使用Firefox，但实际没有发现和IE有什么差别）；
4、servlet 容器，如Tomcat 5.5（不建议使用6版本）。本文以Tomcat 在 8080 端口上运行为例。如果运行的是其他 servlet 容器或在其他的端口上运行，则可能要修改代码中的URL才能访问示例应用程序和 Solr。
下面开始安装配置：
1、使用Ant编译工程或下载示例应用程序，将Solr WAR 文件复制到 servlet 容器的webapps目录中；
2、得到Solr文件夹，以备随后将其复制到当前目录，可以使用ant build得到，也可以在下载的压缩包中找到，以它为模板以备之后的修改；
3、可以通过以下三种方式之一设置 Solr 的主位置：
设置 java 系统属性 solr.solr.home （没错，就是 solr.solr.home，一般在嵌入式集成中用得多）；
配置 java:comp/env/solr/home 的一个 JNDI 查找指向 solr
目录，建立/tomcat55/conf/Catalina/localhost/solr.xml文件，注意这个xml文件名将是Solr实例名称，2
中的当前目录被指定为下面中的f:/solrhome，文件内容如下：
在包含 solr 目录的目录中启动 servlet 容器（默认的 Solr 主目录是当前工作目录下的 solr）；
4、最后一点就是如果有CJK（中日韩文字）应用，出现乱码问题，采用如下方法解决（其实已经不算是solr配置问题，而是应用服务器配置问题），修改
Tomcat的conf/server.xml文件中对于端口（本文为8080）的连接器统一资源编码为UTF-8，因为Solr1.2内核支持UTF-
8编码：
[Solr分词顺序 ]Solr建立索引和对关键词进行查询都得对字串进行分词，在向索引库中添加全文检索类型的索引的时候，Solr会首先用空格进行分词，然后把分词结果依次使用指定的过滤器进行过滤，最后剩下的结果才会加入到索引库中以备查询。分词的顺序如下：
索引
1：空格whitespaceTokenize
2：过滤词StopFilter
3：拆字WordDelimiterFilter
4：小写过滤LowerCaseFilter
5：英文相近词EnglishPorterFilter
6：去除重复词RemoveDuplicatesTokenFilter
查询
1：查询相近词
2：过滤词
3：拆字
4：小写过滤
5：英文相近词
6：去除重复词
以上是针对英文，中文的除了空格，其他都类似
[Solr中文应用的一个实例 ]
1、首先配置schema.xml，这个相当于数据表配置文件，它定义了加入索引的数据的数据类型的。1.2版本的schema.xml主要包括types、fields和其他的一些缺省设置。
A、首先需要在types结点内定义一个FieldType子结点，包括name,class,positionIncrementGap等等一些 参数，name就是这个FieldType的名称，class指向org.apache.solr.analysis包里面对应的class名称，用来定 义这个类型的行为。在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词 和过滤。在例子中text这个FieldType在定义的时候，在index的analyzer中使用 solr.WhitespaceTokenizerFactory这个分词包，就是空格分词，然后使用 solr.StopFilterFactory，solr.WordDelimiterFilterFactory，solr.LowerCaseFilterFactory，solr.EnglishPorterFilterFactory，solr.RemoveDuplicatesTokenFilterFactory 这几个过滤器。在向索引库中添加text类型的索引的时候，Solr会首先用空格进行分词，然后把分词结果依次使用指定的过滤器进行过滤，最后剩下的结果 才会加入到索引库中以备查询。Solr的analysis包并没有带支持中文的包，在这里我们采用lucene里的语言包（在下载后的solr压缩包 内，lib目录下有一个lucene-analyzers-2.2.0.jar包，里面含有中文处理的cn和cjk类），有cn和cjk两个类可以支持中 文。我们采用cjk类，并在schema.xml中加入如下配置：
支持类型定义完成了。
B、接下来的工作就是在fields结点内定义具体的字段（类似数据库中的字段），就是filed，filed定义包括name,type（为之前 定义过的各种FieldType）,indexed（是否被索引）,stored（是否被储存），multiValued（是否有多个值）等等。例如定义 如下：
field的定义相当重要，有几个技巧需注意一下，对可能存在多值得字段尽量设置multiValued属性为true，避免建索引是抛出错误；如果不需要存储相应字段值，尽量将stored属性设为false。
C、建议建立了一个拷贝字段，将所有的全文字段复制到一个字段中，以便进行统一的检索：
并在拷贝字段结点处完成拷贝设置：
D、除此之外，还可以定义动态字段，所谓动态字段就是不用指定具体的名称，只要定义字段名称的规则，例如定义一个dynamicField，name 为*_i，定义它的type为text，那么在使用这个字段的时候，任何以_i结尾的字段都被认为是符合这个定义的，例如 name_i，gender_i，school_i等。
2、配置solrconfig.xml，用来配置Solr的一些系统属性，比较重要的一个就是可以通过更改其中的dataDir属性来指定索引文件的存放 位置，对于有大数据量的情况下还要进行自动commit操作配置，以下设置为当内存索引量达到20W条时自动进行往磁盘写操作，以免堆溢出，这也是解决单 个入库xml文件最好不要超过30M的有效方法：
3、配置好这些后，需要重新启动Solr服务器使配置生效，然后向其中添加数据。
4、添加数据是通过向服务器的update Servlet POST xml格式的数据来实现的，xml结构是这样的add中间有很多个doc，每个doc中有很多个field。添加到索引库中的每条记录都必须指定唯一的数 字id来唯一标识这条索引。建立好xml文件（例如solr.xml）之后，在exampledocs目录下执行：java -jar post.jar solr.xml来添加索引数据。对于post的jar包，如果重新配置了应用服务器，如使用了comcat，端口改为8080，实例名称改为solrx 了需要重新生成相应的post.jar包进行操作。
[Solr的检索运算符 ]
1. “:” 指定字段查指定值，如返回所有值*:*
2. “?” 表示单个任意字符的通配
3. “*” 表示多个任意字符的通配（不能在检索的项开始使用*或者?符号）
4. “~” 表示模糊检索，如检索拼写类似于”roam”的项这样写：roam~将找到形如foam和roams的单词；roam~0.8，检索返回相似度在0.8以上的记录。
5. 邻近检索，如检索相隔10个单词的”apache”和”jakarta”，”jakarta apache”~10
6. “^” 控制相关度检索，如检索jakarta apache，同时希望去让”jakarta”的相关度更加好，那么在其后加上”^”符号和增量值，即jakarta^4 apache
7. 布尔操作符AND、||
8. 布尔操作符OR、&&
9. 布尔操作符NOT、!、- （排除操作符不能单独与项使用构成查询）
10. “+” 存在操作符，要求符号”+”后的项必须在文档相应的域中存在
11. ( ) 用于构成子查询
12. [] 包含范围检索，如检索某时间段记录，包含头尾，date:[200707 TO 200710]
13. {} 不包含范围检索，如检索某时间段记录，不包含头尾
date:{200707 TO 200710}
14. \ 转义操作符，特殊字符包括+ - && || ! ( ) { } [ ] ^ ” ~ * ? : \
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
1 lucene简介
1.1 什么是lucene
Lucene是一个全文搜索框架，而不是应用产品。因此它并不像 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。
1.2 lucene能做什么
要回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服
务，告诉你你要搜索的关键词出现在哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了，做个资料库；你可以把
一个数据库表的若干个字段索引起来，那就不用再担心因为“%like%”而锁表了；你也可以写个自己的搜索引擎……
1.3 你该不该选择lucene
下面给出一些测试数据，如果你觉得可以接受，那么可以选择。
测试一：250万记录，300M左右文本，生成索引380M左右，800线程下平均处理时间300ms。
测试二：37000记录，索引数据库中的两个varchar字段，索引文件2.6M，800线程下平均处理时间1.5ms。
2 lucene的工作方式
lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。
2.1写入流程
源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword（可选）。
将源中需要的信息加入Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Field存储起来。
将索引写入存储器，存储器可以是内存或磁盘。
2.2读出流程
用户提供搜索关键词，经过analyzer处理。
对处理后的关键词搜索索引找出对应的Document。
用户根据需要从找到的Document中提取需要的Field。
3 一些需要知道的概念
lucene用到一些概念，了解它们的含义，有利于下面的讲解。
3.1 analyzer
Analyzer
是分析器，它的作用是把一个字符串按某种规则划分成一个个词语，并去除其中的无效词语，这里说的无效词语是指英文中的“of”、 “the”，中文中的
“的”、“地”等词语，这些词语在文章中大量出现，但是本身不包含什么关键信息，去掉有利于缩小索引文件、提高效率、提高命中率。
分词的规则千变万化，但目的只有一个：按语义划分。这点在英文中比较容易实现，因为英文本身就是以单词为单位的，已经用空格分开；而中文则必须以某种方法将连成一片的句子划分成一个个词语。具体划分方法下面再详细介绍，这里只需了解分析器的概念即可。
3.2 document
用户提供的源是一条条记录，它们可以是文本文件、字符串或者数据库表的一条记录等等。一条记录经过索引之后，就是以一个Document的形式存储在索引文件中的。用户进行搜索，也是以Document列表的形式返回。
3.3 field
一个Document可以包含多个信息域，例如一篇文章可以包含“标题”、“正文”、“最后修改时间”等信息域，这些信息域就是通过Field在Document中存储的。
Field有两个属性可选：存储和索引。通过存储属性你可以控制是否对这个Field进行存储；通过索引属性你可以控制是否对该Field进行索引。这看起来似乎有些废话，事实上对这两个属性的正确组合很重要，下面举例说明：
还是以刚才的文章为例子，我们需要对标题和正文进行全文搜索，所以我们要把索引属性设置为真，同时我们希望能直接从搜索结果中提取文章标题，所以
我们把标题域的存储属性设置为真，但是由于正文域太大了，我们为了缩小索引文件大小，将正文域的存储属性设置为假，当需要时再直接读取文件；我们只是希望
能从搜索解果中提取最后修改时间，不需要对它进行搜索，所以我们把最后修改时间域的存储属性设置为真，索引属性设置为假。上面的三个域涵盖了两个属性的三
种组合，还有一种全为假的没有用到，事实上Field不允许你那么设置，因为既不存储又不索引的域是没有意义的。
3.4 term 也就是new Term(Field f, String s);
term是搜索的最小单位，它表示文档的一个词语，term由两部分组成：它表示的词语和这个词语所出现的field。
3.5 token 一个 new Term() 会匹配多个 token
token是term的一次出现，它包含term文本和相应的起止偏移，以及一个类型字符串。一句话中可以出现多次相同的词语，它们都用同一个term表示，但是用不同的token，每个token标记该词语出现的地方。
3.6 segment
添加索引时并不是每个document都马上添加到同一个索引文件，它们首先被写入到不同的小文件，然后再合并成一个大索引文件，这里每个小文件都是一个segment。
4 lucene的结构
lucene包括core和sandbox两部分，其中core是lucene稳定的核心部分，sandbox包含了一些附加功能，例如highlighter、各种分析器。
Lucene core有七个包：analysis，document，index，codecs，search，store，util。
4.1 analysis
Analysis包含一些内建的分析器，例如按空白字符分词的WhitespaceAnalyzer，添加了stopwrod过滤的StopAnalyzer，最常用的StandardAnalyzer。
4.2 document
Document包含文档的数据结构，例如Document类定义了存储文档的数据结构，Field类定义了Document的一个域。
4.3 index
Index 包含了索引的读写类，例如对索引文件的segment进行写、合并、优化的IndexWriter类和对索引进行读取和删除操作的
IndexReader类，这里要注意的是不要被IndexReader这个名字误导，以为它是索引文件的读取类，实际上删除索引也是由它完成，
IndexWriter只关心如何将索引写入一个个segment，并将它们合并优化；IndexReader则关注索引文件中各个文档的组织形式。
4.4 queryParser
QueryParser
包含了解析查询语句的类，lucene的查询语句和sql语句有点类似，有各种保留字，按照一定的语法可以组成各种查询。 Lucene有很多种
Query类，它们都继承自Query，执行各种特殊的查询，QueryParser的作用就是解析查询语句，按顺序调用各种
Query类查找出结果。
4.5 search
Search包含了从索引中搜索结果的各种类，例如刚才说的各种Query类，包括TermQuery、BooleanQuery等就在这个包里。
4.6 store
Store包含了索引的存储类，例如Directory定义了索引文件的存储结构，FSDirectory为存储在文件中的索引，RAMDirectory为存储在内存中的索引，MmapDirectory为使用内存映射的索引。
4.7 util
Util包含一些公共工具类，例如时间和字符串之间的转换工具。
5 如何建索引
5.1 最简单的能完成索引的代码片断
IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
下面我们分析一下这段代码。
首先我们创建了一个writer，并指定存放索引的目录为“/data/index”，使用的分析器为StandardAnalyzer，第三个参数说明如果已经有索引文件在索引目录下，我们将覆盖它们。
然后我们新建一个document。
我们向document添加一个field，名字是“title”，内容是“lucene introduction”，对它进行存储并索引。
再添加一个名字是“content”的field，内容是“lucene works well”，也是存储并索引。
然后我们将这个文档添加到索引中，如果有多个文档，可以重复上面的操作，创建document并添加。
添加完所有document，我们对索引进行优化，优化主要是将多个segment合并到一个，有利于提高索引速度。
随后将writer关闭，这点很重要。
对，创建索引就这么简单！
当然你可能修改上面的代码获得更具个性化的服务。
5.2 将索引直接写在内存
你需要首先创建一个RAMDirectory，并将其传给writer，代码如下：
Directory dir = new RAMDirectory();
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
5.3 索引文本文件
如果你想把纯文本文件索引起来，而不想自己将它们读入字符串创建field，你可以用下面的代码创建field：
Field field = new Field("content", new FileReader(file));
这里的file就是该文本文件。该构造函数实际上是读去文件内容，并对其进行索引，但不存储。
6 如何维护索引
索引的维护操作都是由IndexReader类提供。
6.1 如何删除索引
lucene提供了两种从索引中删除document的方法，一种是
void deleteDocument(int docNum)
这种方法是根据document在索引中的编号来删除，每个document加进索引后都会有个唯一编号，所以根据编号删除是一种精确删除，但是这个编号是索引的内部结构，一般我们不会知道某个文件的编号到底是几，所以用处不大。另一种是
void deleteDocuments(Term term)
这种方法实际上是首先根据参数term执行一个搜索操作，然后把搜索到的结果批量删除了。我们可以通过这个方法提供一个严格的查询条件，达到删除指定document的目的。
下面给出一个例子：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexReader reader = IndexReader.open(dir);
Term term = new Term(field, key);
reader.deleteDocuments(term);
reader.close();
6.2 如何更新索引
lucene并没有提供专门的索引更新方法，我们需要先将相应的document删除，然后再将新的document加入索引。例如：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexReader reader = IndexReader.open(dir);
Term term = new Term(“title”, “lucene introduction”);
reader.deleteDocuments(term);
reader.close();
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
7 如何搜索
lucene 的搜索相当强大，它提供了很多辅助查询类，每个类都继承自Query类，各自完成一种特殊的查询，你可以像搭积木一样将它们任意组合使用，完成一些复杂操作；另外lucene还提供了Sort类对结果进行排序，提供了Filter 类对查询条件进行限制。你或许会不自觉地拿它跟SQL语句进行比较： “lucene能执行and、or、order by、where、like ‘%xx%’操作吗？”回答是：“当然没问题！”
7.1 各种各样的Query
下面我们看看lucene到底允许我们进行哪些查询操作：
7.1.1 TermQuery
首先介绍最基本的查询，如果你想执行一个这样的查询：“在content域中包含‘lucene’的document”，那么你可以用TermQuery：
Term t = new Term("content", " lucene";
Query query = new TermQuery(t);
7.1.2 BooleanQuery
如果你想这么查询：“在content域中包含java或perl的document”，那么你可以建立两个TermQuery并把它们用BooleanQuery连接起来：
TermQuery termQuery1 = new TermQuery(new Term("content", "java");
TermQuery termQuery 2 = new TermQuery(new Term("content", "perl");
BooleanQuery booleanQuery = new BooleanQuery();
booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD);
booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD);
7.1.3 WildcardQuery
如果你想对某单词进行通配符查询，你可以用WildcardQuery，通配符包括’?’匹配一个任意字符和’*’匹配零个或多个任意字符，例如你搜索’use*’，你可能找到’useful’或者’useless’：
Query query = new WildcardQuery(new Term("content", "use*");
7.1.4 PhraseQuery
你可能对中日关系比较感兴趣，想查找‘中’和‘日’挨得比较近（5个字的距离内）的文章，超过这个距离的不予考虑，你可以：
PhraseQuery query = new PhraseQuery();
query.setSlop(5);
query.add(new Term("content ", “中”));
query.add(new Term(“content”, “日”));
那么它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中国某高层领导说日本欠扁”。
7.1.5 PrefixQuery
如果你想搜以‘中’开头的词语，你可以用PrefixQuery：
PrefixQuery query = new PrefixQuery(new Term("content ", "中");
7.1.6 FuzzyQuery
FuzzyQuery用来搜索相似的term，使用Levenshtein算法。假设你想搜索跟‘wuzza’相似的词语，你可以：
Query query = new FuzzyQuery(new Term("content", "wuzza");
你可能得到‘fuzzy’和‘wuzzy’。
7.1.7 RangeQuery
另一个常用的Query是RangeQuery，你也许想搜索时间域从20060101到20060130之间的document，你可以用RangeQuery：
RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);
最后的true表示用闭合区间。
7.2 QueryParser
看了这么多Query，你可能会问：“不会让我自己组合各种Query吧，太麻烦了！”当然不会，lucene提供了一种类似于SQL语句的查询
语句，我们姑且叫它lucene语句，通过它，你可以把各种查询一句话搞定，lucene会自动把它们查分成小块交给相应Query执行。下面我们对应每
种 Query演示一下：
TermQuery可以用“field:key”方式，例如“content:lucene”。
BooleanQuery中‘与’用‘+’，‘或’用‘ ’，例如“content:java contenterl”。
WildcardQuery仍然用‘?’和‘*’，例如“content:use*”。
PhraseQuery用‘~’，例如“content:"中日"~5”。
PrefixQuery用‘*’，例如“中*”。
FuzzyQuery用‘~’，例如“content: wuzza ~”。
RangeQuery用‘[]’或‘{}’，前者表示闭区间，后者表示开区间，例如“time:[20060101 TO 20060130]”，注意TO区分大小写。
你可以任意组合query
string，完成复杂操作，例如“标题或正文包括lucene，并且时间在20060101到20060130之间的文章”可以表示为：“+
(title:lucene content:lucene) +time:[20060101 TO 20060130]”。代码如下：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]";
Hits hits = is.search(query);
for (int i = 0; i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
首先我们创建一个在指定文件目录上的IndexSearcher。
然后创建一个使用StandardAnalyzer作为分析器的QueryParser，它默认搜索的域是content。
接着我们用QueryParser来parse查询字串，生成一个Query。
然后利用这个Query去查找结果，结果以Hits的形式返回。
这个Hits对象包含一个列表，我们挨个把它的内容显示出来。
7.3 Filter
filter 的作用就是限制只查询索引的某个子集，它的作用有点像SQL语句里的where，但又有区别 ，它不是正规查询的一部分，只是对数据源进行预处理，然后交给查询语句。注意它执行的是预处理，而不是对查询结果进行过滤，所以使用filter 的代价是很大的，它可能会使一次查询耗时提高一百倍。
最常用的filter 是RangeFilter 和QueryFilter 。RangeFilter 是设定只搜索指定范围内的索引；QueryFilter 是在上次查询的结果中搜索。
Filter 的使用非常简单，你只需创建一个filter 实例，然后把它传给searcher。继续上面的例子，查询“时间在20060101到20060130之间的文章”除了将限制写在query string中，你还可以写在RangeFilter 中：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("title:lucene content:lucene";
RangeFilter filter = new RangeFilter ("time", "20060101", "20060230", true, true);
Hits hits = is.search(query, filter );
for (int i = 0; i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
7.4 Sort
有时你想要一个排好序的结果集，就像SQL语句的“order by”，lucene能做到：通过Sort。
Sort sort = new Sort(“time”); //相当于SQL的“order by time”
Sort sort = new Sort(“time”, true); // 相当于SQL的“order by time desc”
下面是一个完整的例子：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("title:lucene content:lucene";
RangeFilter filter = new RangeFilter ("time", "20060101", "20060230", true, true);
Sort sort = new Sort(“time”);
Hits hits = is.search(query, filter , sort);
for (int i = 0; i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
8 分析器
在前面的概念介绍中我们已经知道了分析器的作用，就是把句子按照语义切分成一个个词语。英文切分已经有了很成熟的分析器：
StandardAnalyzer，很多情况下StandardAnalyzer是个不错的选择。甚至你会发现StandardAnalyzer也能对中
文进行分词。
但是我们的焦点是中文分词，StandardAnalyzer能支持中文分词吗？实践证明是可以的，但是效果并不好，搜索“如果”
会把“牛奶不如果汁好喝”也搜索出来，而且索引文件很大。那么我们手头上还有什么分析器可以使用呢？core里面没有，我们可以在sandbox里面找到
两个： ChineseAnalyzer和CJKAnalyzer。但是它们同样都有分词不准的问题。相比之下用StandardAnalyzer和
ChineseAnalyzer建立索引时间差不多，索引文件大小也差不多，CJKAnalyzer表现会差些，索引文件大且耗时比较长。
要解决问题，首先分析一下这三个分析器的分词方式。StandardAnalyzer和ChineseAnalyzer都是把句子按单个字切
分，也就是说 “牛奶不如果汁好喝”会被它们切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer则会切分成“牛奶 奶不 不如 如果
果汁 汁好好喝”。这也就解释了为什么搜索“果汁”都能匹配这个句子。
以上分词的缺点至少有两个：匹配不准确和索引文件大。我们的目标是将上面的句子分解成 “牛奶 不如
果汁好喝”。这里的关键就是语义识别，我们如何识别“牛奶”是一个词而“奶不”不是词语？我们很自然会想到基于词库的分词法，也就是我们先得到一个词库，
里面列举了大部分词语，我们把句子按某种方式切分，当得到的词语与词库中的项匹配时，我们就认为这种切分是正确的。这样切词的过程就转变成匹配的过程，而
匹配的方式最简单的有正向最大匹配和逆向最大匹配两种，说白了就是一个从句子开头向后进行匹配，一个从句子末尾向前进行匹配。基于词库的分词词库非常重
要，词库的容量直接影响搜索结果，在相同词库的前提下，据说逆向最大匹配优于正向最大匹配。
当然还有别的分词方法，这本身就是一个学科，我这里也没有深入研究。回到具体应用，我们的目标是能找到成熟的、现成的分词工具，避免重新发明车
轮。经过网上搜索，用的比较多的是中科院的
ICTCLAS和一个不开放源码但是免费的JE-Analysis。ICTCLAS有个问题是它是一个动态链接库，
java调用需要本地方法调用，不方便也有安全隐患，而且口碑也确实不大好。JE-Analysis效果还不错，当然也会有分词不准的地方，相比比较方便
放心。
9 性能优化
一直到这里，我们还是在讨论怎么样使lucene跑起来，完成指定任务。利用前面说的也确实能完成大部分功能。但是测试表明lucene的性能并
不是很好，在大数据量大并发的条件下甚至会有半分钟返回的情况。另外大数据量的数据初始化建立索引也是一个十分耗时的过程。那么如何提高lucene的性
能呢？下面从优化创建索引性能和优化搜索性能两方面介绍。
9.1 优化创建索引性能
这方面的优化途径比较有限，IndexWriter提供了一些接口可以控制建立索引的操作，另外我们可以先将索引写入RAMDirectory，
再批量写入FSDirectory，不管怎样，目的都是尽量少的文件IO，因为创建索引的最大瓶颈在于磁盘IO。另外选择一个较好的分析器也能提高一些性
能。
9.1.1 通过设置IndexWriter的参数优化索引建立
setMaxBufferedDocs(int maxBufferedDocs)
控制写入一个新的segment前内存中保存的document的数目，设置较大的数目可以加快建索引速度，默认为10。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
Lucene应用编程接口（API）功能强大、非常灵活、易于使用。Lucene不但提供了出众的全文搜索功能，还提供了所有补充性的过滤和排序特性。如果想把高性能、特性丰富的多重标准全文搜索机制添加到应用程序中，就需要这些功能和特性。
索引
任何Lucene应用程序的第一步就是为数据建立索引。Lucene需要使用数据创建自己的一组索引，以便它可以 对数据进行高性能的全文检查、过滤和排序等操作。这是相当简单、直观的过程。首先，需要创建IndexWriter对象，可以使用该对象建立Lucene 索引，并把它写到磁盘上。Lucene非常灵活，它有许多选项。这里，我们只是在“index”目录里面建立简单的索引结构：
Directory directory = FSDirectory.getDirectory("index", true);
Analyzer analyser = new StandardAnalyzer();
IndexWriter writer = new IndexWriter(directory, analyser, true);
接下来，需要为数据记录建立索引。需要为每个记录建立单独的索引。用Lucene为记录建立索引时，要为每个记录 创建“文档”（Document）对象。要让全文索引发挥作用，就要为Lucene提供可以建立索引的一些数据。最简单的选项就是编写一个方法，写入记录 的全文描述（包括想要搜索的各项内容），然后使用这个值作为可搜索字段。这里，我们把这个字段称为“description”。可以通过为文档添加“字段 ”（Field）类的新实例，来为字段建立索引，如下所示：
Field field = new Field("field", value, Field.Store.NO, Field.Index.TOKENIZED);
doc.add(field);
可以选择指定自己是否想保存该值供将来使用（Field.Store.YES），还是只是为它建立索引 （Field.Store.NO）。后一个选项适用于想建立索引、但以后不想检索的大值。第四个参数表明想要如何为值建立索引。如果使用 Field.Index.TOKENIZED，值就会被分析，让Lucene可以更充分地利用功能强大的全文索引和搜索特性。正如我们会看到的那样，缺点 在于，无法按标记化（tokenized）的字段对结果进行排序。如果想为字段建立索引，而不需要先进行分析，那么 Field.Index.UN_TOKENIZED很有用。如果只是想保存值，供将来使用，那么可以使用Field.Index.NO。下列代码表明了如 何为来自库目录的条目列表建立索引：
List< Item> items = Catalog.getAllItems();
for(Item item : items) {}
Document doc = new Document();
String description = item.getTitle+ " " + item.getAuthors()+ " " + item.getSummary()...;
doc.add(new Field("description", description, Field.Store.NO, Field.Index.TOKENIZED));
... }
上述方法非常适用于全文搜索，但有时候也需要按特定字段进行更加准确的搜索。可搜索字段应当是标记化的，不过它们 确实不需要保存起来（除非想直接从Lucene文档获得字段值）。设想一下：如果需要根据库目录建立全文索引，目录里面有成千上万个条目，譬如图书、文 章、报纸、视频和声音等资料。下列代码说明了如何按特定库条目（这里是图书）的书名和国际标准图书编号添加可搜索的索引：
doc.add(new Field("title", item.getTitle(), Field.Store.NO, Field.Index.TOKENIZED));
doc.add(new Field("isbn", item.getISBNNumber(), Field.Store.NO, Field.Index.TOKENIZED));
doc.add(new Field("type", Item.BOOK, Field.Store.NO, Field.Index.TOKENIZED));
writer.addDocument(doc);
...
writer.close();
有时候往往会需要在表中显示搜索结果，让用户可以按列对结果进行排序。这可以用Lucene来完成，不过有一个问 题：字段必须是UN_TOKENIZED。这意味着，无法对可搜索的索引进行排序：需要添加有着不同名字的另一个索引。办法之一就是用某种易于识读的方式 为字段名添加前缀，如下所示：
// 按照书名字段的可搜索索引
doc.add(new Field("sort-on-title", book.getTitle(), Field.Store.YES, Field.Index.UN_TOKENIZED));
// 按照国际标准图书编号字段的可搜索索引
doc.add(new Field("sort-on-isbn", book.getISBNNumber(), Field.Store.YES, Field.Index.UN_TOKENIZED));
全文搜索
Lucene的全文搜索比较容易实现。典型的Lucene全文搜索如下所示：
Searcher is = indexer.getIndexSearcher();
QueryParser parser = indexer.getQueryParser("description");
Query query = parser.parse("Some full-text search terms");
Hits hits = is.search(query);
这里，我们使用索引程序按“描述”（description）字段执行全文搜索。Lucene返回“搜索结果”（Hits）对象，我们可以使用该对象获得匹配文档，如下所示：
for (int i = 0; i < searchResults.length(); i++) {
Document doc = searchResults.doc(i);
String title = (String) doc.getField("title");
System.out.println(title);}
对这部分代码进行扩充以实现多重标准搜索需要多一些工作量。我们这里使用的关键字类是“过滤器”（Filter） 类，顾名思义，这个类可以对搜索结果进行过滤。“过滤器”类实际上是一个抽象类。有几种类型的过滤器类可以定义准确的过滤操作。QueryFilter类 可以根据Lucene查询表达式来对搜索结果进行过滤。这里，我们构建了一个过滤器，把搜索结果限制为图书，使用了“类型”（type）字段：
Query booksQuery = new TermQuery(new Term("type",Item.BOOK));
Filter typeFilter = new QueryFilter(booksQuery);
RangeFilter类可以把搜索结果限制为某个范围的值。下列过滤器就把搜索结果限制为日期从1990年到1999年的条目，使用了year字段（最后两个布尔字段表明限制值是不是包括在内）：
Filter rangeFilter = new RangeFilter("year", "1990", "1999", true, true);
ChainedFilter类可以使用“与”（AND）、“或”（OR）、“异”（XOR）或者“与非”（ANDNOT）等逻辑操作符来合并其他过滤器。在下一个示例中，我们把搜索结果限制为只有与上述两个条件都匹配的文档：
List< Filter> filters = new ArrayList< Filter>();
filters.add(typeFilter);
filters.add(rangeFilter);
Filter filter = new ChainedFilter(filterList, ChainedFilter.AND);
可以把同一操作符应用于所有过滤器，也可以提供一组操作符，这样就可以提供不同的操作符供每个过滤器使用。不过， 应当认真考虑用于多重标准搜索的操作符。譬如说，在典型的多重标准搜索中，可能会让用户使用复选框（图书、文章和视频等），从而选择他们需要的文档类型。 来自这些复选框值的过滤器通常需要使用“或”（OR）表达式来进行合并。 另一方面，酒店预订网站可能会提供房间号、类别或者酒店位置等搜索标准。这些是限制性的标准，它们需要使用“与”（AND）表达式来进行合并。
以下是一个比较完整的示例，它使用了我们上面讨论过的所有特性：
public List< CatalogItem> search(String expression, boolean displayBooks, boolean displayArticles, boolean displayVideo) {
List< Filter> filters = new ArrayList< Filter>();
//显示图书
if (displayBooks) {
Query booksQuery = new TermQuery(new Term("type",Item.BOOK));
filters.add(new QueryFilter(booksQuery)); }
// 显示文章
if (displayArticles) {
Query articlesQuery = new TermQuery(new Term("type",Item.ARTICLE));
filters.add(new QueryFilter(articlesQuery)); }
// 显示录像
if (displayVideo) {
Query videoQuery = new TermQuery(new Term("type",Item.VIDEO));
filters.add(new QueryFilter(videoQuery)); }
Filter filter = new ChainedFilter(filterList, ChainedFilter.OR);
QueryParser parser = indexer.getQueryParser("description");
Query query = parser.parse(expression);
hits = is.search(query, filter);
... }
结果排序
对搜索结果进行排序是用户对Web应用程序的一个常见需求。如今JavaServer Faces和Tapestry等许多基于组件的Web框架拥有表组件，让用户可以对每一列进行排序，就像Struts这些较为传统的模型－视图－控制器框 架那样。一旦返回了搜索结果，就有可能在内存中对它们进行排序。不过，这种方法浪费严重，而且效率低下。无论是传统的关系数据库应用程序，还是 Lucene应用程序，在源处执行排序操作要有效得多。
正如我们在前面看到的那样，Lucene可以建立专门用来对结果进行排序的索引。可以只对这些字段执行排序操 作，因为对关系数据库中的未索引字段进行排序是不明智的。要使用这些字段，就要使用“排序”（Sort）类。使用这个类的最简单的方法就是，只要创建一个 新实例，并提供想要进行排序的列。然后把这个“排序”（Sort）实例传递给search()方法，如下所示：
Sort sort = new Sort("name");
hits = is.search(query, filter, sort);
除了这个简单示例外，Lucene还提供了一系列广泛的排序功能。只要利用列名字来指定布尔标记，就可以进行逆序排序。这里，我们按名字进行递减排序：
Sort sort = new Sort("name", true);
也可以通过提供一组列名字，对几个列进行排序：
String[] sortOrder = {"lastName","firstName"};
Sort sort = new Sort(sortOrder);
如果需要按每个字段使用不同的排序顺序，就要使用“字段排序”（SortField）类。这里，我们按姓进行递增排序，然后按出生日期朝廷递减排序：
SortField([] sortOrder = {new SortField("lastName"),new SortField("dateOfBirth",true)};
Sort sort = new Sort(sortOrder);
转自：
