一文讓你輕松了解全文檢索

全文檢索技術被廣泛的應用于搜索引擎，查詢檢索等領域。我們在網絡上的大部分搜索服務都用到了全文檢索技術。

對于數據量大、數據結構不固定的數據可采用全文檢索方式搜索，比如百度、Google等搜索引擎、論壇站內搜索、電商網站站內搜索等。

什么是全文檢索呢？先看一下百度百科的專業定義。

為了能更好的理解，我們先看一個簡單的例子。

案例

實現一個文件的搜索功能，通過關鍵字搜索文件，凡是文件名或文件內容包括關鍵字的文件都需要找出來。還可以根據中文詞語進行查詢，并且需要支持多個條件查詢。

本案例中的原始內容就是磁盤上的一些示例文件，如下圖：

如果用數據庫實現的話，數據庫中的搜索很容易實現，通常都是使用sql語句進行查詢，而且能很快的得到查詢結果。

為什么數據庫搜索很容易？

因為數據庫中的數據存儲是有規律的，有行有列而且數據格式、數據長度都是固定的。

但是，我們生活中的數據總體是分為兩種的：結構化數據和非結構化數據。

結構化數據：指具有固定格式或有限長度的數據，如數據庫，元數據等。

非結構化數據：指不定長或無固定格式的數據，如郵件，word文檔等磁盤上的文件

結構化數據的查詢我們可以通過sql搞定，那么非結構化的呢？

非結構化數據的查詢方法

非結構化數據查詢有兩種辦法：
（1）順序掃描法(Serial Scanning)

所謂順序掃描，比如要找內容包含某一個字符串的文件，就是一個文檔一個文檔的看，對于每一個文檔，從頭看到尾，如果此文檔包含此字符串，則此文檔為我們要找的文件，接著看下一個文件，直到掃描完所有的文件。如利用windows的搜索也可以搜索文件內容，只是相當的慢。

（2）全文檢索(Full-text Search)

將非結構化數據中的一部分信息提取出來，重新組織，使其變得有一定結構，然后對此有一定結構的數據進行搜索，從而達到搜索相對較快的目的。這部分從非結構化數據中提取出的然后重新組織的信息，我們稱之索引。

例如：字典。字典的拼音表和部首檢字表就相當于字典的索引，對每一個字的解釋是非結構化的，如果字典沒有音節表和部首檢字表，在茫茫辭海中找一個字只能順序掃描。然而字的某些信息可以提取出來進行結構化處理，比如讀音，就比較結構化，分聲母和韻母，分別只有幾種可以一一列舉，于是將讀音拿出來按一定的順序排列，每一項讀音都指向此字的詳細解釋的頁數。我們搜索時按結構化的拼音搜到讀音，然后按其指向的頁數，便可找到我們的非結構化數據——也即對字的解釋。

這種先建立索引，再對索引進行搜索的過程就叫全文檢索(Full-text Search)。

雖然創建索引的過程也是非常耗時的，但是索引一旦創建就可以多次使用，全文檢索主要處理的是查詢，所以耗時間創建索引是值得的。

那么如何實現全文檢索呢？

Lucene

提到全文檢索，不得不提到的一個技術就是Lucene，Lucene是apache下的一個開放源代碼的全文檢索引擎工具包。提供了完整的查詢引擎和索引引擎，部分文本分析引擎。我們所熟知的全文檢索引擎Solr和ES都是基于Lucene的。

• 綠色表示索引過程，對要搜索的原始內容進行索引構建一個索引庫，索引過程包括：

確定原始內容即要搜索的內容->采集文檔->創建文檔->分析文檔->索引文檔

• 紅色表示搜索過程，從索引庫中搜索內容，搜索過程包括：

用戶通過搜索界面->創建查詢->執行搜索，從索引庫搜索->渲染搜索結果

創建索引

也就是對文檔索引的過程，將用戶要搜索的文檔內容進行索引，索引存儲在索引庫（index）中。

比如剛才的這些文檔：

我們要分析其中所有的單詞，將單詞、文檔名建立映射關系。

（對于單詞的切分包括了對原始文檔提取單詞、去除停用詞等過程，這個過程被稱為分詞）

我們分析其中的一篇文檔Lucene.txt：

原文檔內容：

Lucene is a Java full-text search engine. Lucene is not a complete

application, but rather a code library and API that can easily be used

to add search capabilities to applications.

我們可以分析后得到語匯單元：

lucene、java、full、search、engine。。。。

另一個文檔flink.txt加入幾個單詞：

java flink kakfa

我們也可以得到語匯單元：

java flink kakfa

這樣我們就建立了映射關系，lucene、java、full、search在Lucene.txt中，而flink不在Lucene.txt中，但是在flink.txt中。java即在Lucene.txt中，也在flink.txt中。

那當我們查找lucene這個詞，就在Lucene.txt中，但是查找java時可以獲悉其在這兩個文件中。

創建索引是對語匯單元索引，通過詞語找文檔，這種索引的結構就叫做叫倒排索引結構。

傳統方法是根據文件找到該文件的內容，在文件內容中匹配搜索關鍵字，這種方法是順序掃描方法，數據量大、搜索慢。

倒排索引結構是根據內容（詞語）找文檔，如下圖：

倒排索引結構也叫反向索引結構，包括索引和文檔兩部分，索引即詞匯表，它的規模較小，而文檔集合較大。

有倒排索引，對應肯定，有正向索引。正向索引其實就是順序掃描所有文件，這樣本身效率是極低的。

查詢索引

查詢索引也是搜索的過程。搜索就是用戶輸入關鍵字，從索引（index）中進行搜索的過程。根據關鍵字搜索索引，根據索引找到對應的文檔，從而找到要搜索的內容（這里指磁盤上的文件）。

我們這里就是通過查詢索引表，找到文檔所在的位置，就完成了查詢，但其他的場景可以靈活的把查詢出來的結果展示出去，比如我們的百度搜索時，為我們展示的是相關網頁。

開發一個自己的全文檢索

手動去開發建立索引和查詢索引的功能需要大量的工作，好在lucene已經幫我們完成了大量的工作，只需要調用java api就可以完成相關工作。

但是Lucene的API過于底層，并不簡單易用，而且缺乏企業級的管理工具對其進行監控管理，于是企業級的全文檢索引擎就應運而生了，目前最流行的兩個就是：Solr和ES。他們都是建立在Lucene之上的。

Solr

Solr是Apache Lucene項目的開源企業搜索平臺。Solr是高度可擴展的，并提供了分布式搜索和索引復制。

Solr由Java開發，運行在Servlet容器中，是一個獨立的全文搜索服務器。并具有強大的API和外部配置功能，使得無需編碼，便可對其調整以適應多種類型應用。

2010年Apache Lucene與Apache Solr項目合并，所以Lucene/Solr成為了Apache一個項目。

由此可見，Solr的優勢就是：

有一個成熟的開發者社區;本省比較穩定;支持多種格式的索引。

但是由于底層機制的限制，Solr的缺點也很明顯：

建立索引時，搜索效率下降；實時索引搜索效率不高。

ES

ES也就是Elasticsearch，是一個實時的分布式搜索和分析引擎，它可以用于全文搜索，結構化搜索以及分析。

由于Lucene過于復雜，不方便使用。Elasticsearch使用Lucene作為內部引擎，但是Elasticsearch做搜索引擎時，只需要使用同一的API就可以，而不需要了解復雜的Lucene原理。

而且Elasticsearch不僅僅可以做全文搜索功能，在企業中可以作為：

• 分布式實時文件存儲；
• 實時分析的分布式搜索引擎；

Elasticsearch的Restful API友好而且簡單，特別容易上手。

目前包括維基百科、Stackoverflow、Github等都是用Elasticsearch作為其搜索引擎。

ES簡單體驗

這里我們簡單使用一個ES完成一個全文檢索功能。

1、下載

首先在官網下載 ，官網地址：https://www.elastic.co/products/elasticsearch

下載地址如下：https://www.elastic.co/cn/downloads/elasticsearch

選擇自己系統的我們這選擇WIndows版本。

同時我們可以下載kibana，kibana是配合ES的一個可視化工具。

2、安裝部署

解壓 放在d盤

隨后我們在命令行啟動：

C:\Users\JN>d:
D:>cd 
D:\elasticsearch-6.4.0>cd bin
D:\elasticsearch-6.4.0\bin>elasticsearch.bat

kibana也是

C:\Users\JN>d:
D:>cd kibana-6.4.0-windows-x86_64
D:\kibana-6.4.0-windows-x86_64>cd bin
D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat

部署成功：可以通過localhost:9200訪問es

localhost:5601訪問kibana

3、簡單使用

我們簡單體驗一下ES，打開kibana的DevTools工具。

分別插入兩條數據，并進行搜索。

使用編程語言調用ES也與這個類似，簡單易用。