java 问题搜索 java 全文搜索

• 全文检索
• lucene概述
• lucene的索引结构
• 建立索引流程

• 采集文档
• 创建文档
• 分析文档
• 索引文档

• 查询索引流程

• 创建查询
• 执行搜索
• 渲染搜索结果

• document和Field
• IndexWriter和Directory
• lucene的建立本地索引的示例
• Luke的简单使用
• IndexSearcher和IndexReader
• TopDocs
• 分析器

• Analyzer分析器
• TokenStream
• 分词示例
• 中文分词器

• Lucene自带的中文分词器
• 第三方产品ik-analyzer

• 创建查询

• Query

• TermQuery
• NumericRangeQuery
• BooleanQuery

• QueryParser

• 简单的域查询
• 查询语法
• MultiFieldQueryParser组合域查询

• 查询示例
• 索引维护

• 添加索引
• 索引删除

• 索引更新

全文检索首先将要查询的目标文档中的词提取出来，组成索引（相当于书的目录），通过查询索引达到搜索目标文档的目的。

这种先建立索引，再对索引进行搜索的过程就叫全文检索（Full-text Search）。

经过几年的发展，全文检索从最初的字符串匹配程序已经演进到能对超大文本、语音、图像、活动影像等非结构化数据进行综合管理的大型软件。

Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

Lucene和搜索引擎不同，Lucene是一套用java或其它语言写的全文检索的工具包，为应用程序提供了很多个api接口去调用，可以简单理解为是一套实现全文检索的类库，搜索引擎是一个全文检索系统，它是一个单独运行的软件。

Lucene的索引结构为倒排索引，倒排文件或倒排索引是指索引对象是文档或者文档集合中的单词等，用来存储这些单词在一个文档或者一组文档中的存储位置，是对文档或者文档集合的一种最常用的索引机制。

Lucene索引index由若干段(segment)组成，每一段由若干的文档（document）组成，每一个文档由若干的域（field）组成，每一个域由若干的项（term）组成。

项（Term）是最小的索引单位，如果Field进行分析，可能会分析出多个语汇单元（词），每个词就是一个Term项，如果Field不进行分析，整个Field就是一个Term项。

项（Term）直接代表了一个字符串以及其在文件中的位置、出现次数等信息。

域将项和文档进行关联。

黄色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括：

1. 采集文档
2. 创建文档
3. 分析文档
4. 索引文档

从互联网上、数据库、文件系统中等获取需要搜索的原始信息，这个过程就是信息采集，信息采集的目的是为了对原始内容进行索引。

在Internet上采集信息的软件通常称为爬虫或蜘蛛，也称为网络机器人，爬虫访问互联网上的每一个网页，将获取到的网页内容存储起来。

Lucene不提供信息采集的类库，需要自己编写一个爬虫程序实现信息采集，也可以通过一些开源软件实现信息采集，如下：

• Solr（http://lucene.apache.org/solr） ，solr是apache的一个子项目，支持从关系数据库、xml文档中提取原始数据。
• Nutch（http://lucene.apache.org/nutch）, Nutch是apache的一个子项目，包括大规模爬虫工具，能够抓取和分辨web网站数据。
• jsoup（http://jsoup.org/ ），jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
• heritrix（http://sourceforge.net/projects/archive-crawler/files/），Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

获取原始内容的目的是为了索引，在索引前需要将原始内容创建成文档（document），文档中包括一个一个的域（Field），域中存储内容。

这里我们可以将磁盘上的一个文件当成一个document，document中包括一些Field（file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容），如下图：

注意：每个document可以有多个Field，不同的document可以有不同的Field，同一个document可以有相同的Field（域名和域值都相同）

将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析。

分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。

分析的示例如下：

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到document（文档）。

注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。

传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。

左边索引词典蓝色为域名，红色为词，通过词找所属的文档。“springmvc.txt”这个词在document1(springmvc.txt) ，“web”和“spring”在document1、document2中都存在。

倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它的规模较小，而文档集合较大。

蓝色表示搜索过程，从索引库中搜索内容，搜索过程包括：

• 创建查询
• 执行搜索，从索引库搜索
• 渲染搜索结果

用户输入查询关键字执行搜索之前需要先构建一个查询对象，查询对象中可以指定查询要搜索的Field文档域、查询关键字等，查询对象会生成具体的查询语法。

比如：

1.根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。

比如搜索语法为“lucene AND java”表示搜索出的文档中即要包括lucene也要包括java

2.由于是AND，所以要对包含lucene或java词语的链表进行交集，得到文档链表应该包括每一个搜索词语。

3.获取文档中的Field域数据。

Lucene不提供制作用户搜索界面的功能，需要根据自己的需求开发搜索界面。

• document

document文档是Lucene搜索的单位，最终要将文档中的数据展示给用户，文档中包括多个Field。

在设计文档对象时，可以将一个document对应关系数据库的一条记录，字段对应Field，但是要注意：document结构属于NOSql（非关系），不同的document包括不同的Field，建议将相同类型数据的document保持Field一致，方便管理维护，避免将不同类型Field数据融合在一个document中。

• Field

Field是文档中的域，包括Field名和Field值两部分，一个文档可以包括多个Field，document只是Field的一个承载体，Field值即为要索引的内容，也是要搜索的内容。

是否分析(tokenized)

• 是：将Field值分析出语汇单元即作分词处理，将词进行索引 比如：商品名称、商品简介等，这些内容用户要输入关键字搜索，由于搜索的内容格式大、内容多需要分析后将语汇单元索引。
• 否：不作分词处理 比如：商品id、订单号、身份证号等

是否索引(indexed)

• 是：将Field分析后的词或整个Field值进行索引，只有索引方可搜索到。 比如：商品名称、商品简介分析后进行索引，订单号、身份证号不用分析但也要索引，这些将来都要作为查询条件。
• 否：不索引无法搜索到 比如：商品id、文件路径、图片路径等，不用作为查询条件的不用索引。

是否存储(stored)

• 是：将Field值存储在文档中，存储在文档中的Field才可以从document中获取 比如：商品名称、订单号，凡是将来要从document中获取的Field都要存储。
• 否：不存储Field值，不存储的Field无法通过document获取 比如：商品简介，内容较大不用存储。如果要向用户展示商品简介可以从系统的关系数据库中获取商品简介。

Field的常用类型

使用时需要根据需求，例如

IndexWriter是索引过程的核心组件，通过IndexWriter可以创建新索引、更新索引、删除索引操作。IndexWriter需要通过Directory对索引进行存储操作。

Directory描述了索引的存储位置，底层封装了I/O操作，负责对索引进行存储。它的子类常用的包括FSDirectory（在文件系统存储索引）、RAMDirectory（在内存存储索引）。

这里是把一个文件夹里的文件建立索引存储在本地的索引文件中

Luke作为Lucene工具包中的一个工具（http://www.getopt.org/luke/ ），用于查询、修改lucene的索引文件。

打开Luke方法：

如果需要加载第三方分词器，如果需要加载第三方分词器，需通过java.ext.dirs加载jar包。

可简单的将第三方分词器和lukeall放在一块儿，cmd下运行：

通过IndexSearcher执行搜索，构建IndexSearcher需要IndexReader读取索引目录，如下图：

创建过程如下

Lucene搜索结果可通过TopDocs遍历，TopDocs类提供了少量的属性，如下：

• TopDocs.totalHits：是匹配索引库中所有记录的数量
• TopDocs.scoreDocs：匹配相关度高的前边记录数组，scoreDocs的长度小于等于search方法指定的参数n

注意：搜索使用的分析器要和索引使用的分析器一致。

输入关键字进行搜索，当需要让该关键字与文档域内容所包含的词进行匹配时需要对文档域内容进行分析，需要经过Analyzer分析器处理生成语汇单Token。

分析器分析的对象是文档中的Field域。当Field的属性tokenized（是否分词）为true时会对Field值进行分析，如下图：

对于一些Field可以不用分析：

1.不作为查询条件的内容，比如文件路径 2.不是匹配内容中的词而匹配Field的整体内容，比如订单号、身份证号等。

Analyzer是一个抽象类，在Lucene的lucene-analyzers-common包中提供了很多分析器，比如：org.apache.lucene.analysis.standard.standardAnalyzer标准分词器，它是Lucene的核心分词器，它对分析文本进行分词、大写转成小写、去除停用词、去除标点符号等操作过程。

从一个Reader字符流开始，创建一个基于Reader的Tokenizer分词器，经过三个TokenFilter生成语汇单元Token。

TokenStream是语汇单元流，tokenStream是一个抽象类，它是所有分析器的基类。

Tokenizer是分词器，负责将reader转换为语汇单元即进行分词，Lucene提供了很多的分词器，也可以使用第三方的分词，比如IKAnalyzer一个中文分词器。

tokenFilter是分词过滤器，负责对语汇单元进行过滤，tokenFilter可以是一个过滤器链儿，Lucene提供了很多的分词器过滤器，比如大小写转换、去除停用词等。

Lucene自带的中文分词器

• StandardAnalyzer： 单字分词：就是按照中文一个字一个字地进行分词。如：“我爱中国”， 效果：“我”、“爱”、“中”、“国”。
• CJKAnalyzer 二分法分词：按两个字进行切分。如：“我是中国人”，效果：“我是”、“是中”、“中国”“国人”。

显然上边两个分词器无法满足需求

第三方产品ik-analyzer

IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。

从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IKAnalyzer继承Lucene的Analyzer抽象类，使用IKAnalyzer和Lucene自带的分析器方法一样，将Analyzer测试代码改为IKAnalyzer测试中文分词效果。

同时IK分词器还可以实现自定义词库

在classpath下定义IKAnalyzer.cfg.xml文件，如下

对要搜索的信息创建Query查询对象，Lucene会根据Query查询对象生成最终的查询语法，类似 关系数据库Sql语法一样Lucene也有自己的查询语法，比如：“name:lucene”表示查询Field的name为 “lucene”的文档信息。

可通过两种方法创建查询对象：

• 使用Lucene提供Query子类 Query是一个抽象类，lucene提供了很多查询对象，比如TermQuery项精确查询，NumericRangeQuery数字范围查询等。
• 使用QueryParse解析查询表达式 QueryParse会将用户输入的查询表达式解析成Query对象实例。

TermQuery

TermQuery，通过项查询，TermQuery不使用分析器所以建议匹配不分词的Field域查询，比如订单号、分类ID号等。

NumericRangeQuery

NumericRangeQuery，指定数字范围查询，如下：

BooleanQuery

说明：

• Occur.MUST 查询条件必须满足，相当于and
• Occur.SHOULD 查询条件可选，相当于or
• Occur.MUST_NOT 查询条件不能满足，相当于not非

简单的域查询

查询语法

项查询：

范围查询：

注意：QueryParse不支持对数字范围的搜索，它支持字符串范围。数字范围搜索建议使用NumericRangeQuery。

组合查询：

上边BooleanQuery例子的查询表达式如下：

上边的表达式表示fileSize的大小在0和1024之间且fileName为“springmvc.txt”，必须满足的条件使用+（加号）表示。

与BooleanQuery中Occur对应的符号如下：

MultiFieldQueryParser组合域查询

IndexUtils.printdocumentOfFile()方法：

前面也已经提到过了

步骤：

1. 创建存放索引的目录Directory
2. 创建索引器配置管理类IndexWriterConfig
3. 使用索引目录和配置管理类创建索引器
4. 使用索引器将document写到索引文件中

删除全部索引

删除指定索引

更新索引是先删除再添加，建议对更新需求采用此方法并且要保证对已存在的索引执行更新，可以先查询出来，确定更新记录存在执行更新操作。