11、Segment

在每個segment裡，有許多的Document，在一個索引中，可能有多個segment。Lucene對索引管理的最大單位就是segment。每個segment內的所有索引檔案都具有相同的字首。

在一個索引中，只有一個“segments”檔案，這個檔案沒有後綴，它記錄著當前的索引內有多少個segments，每個segment中有多少個Document這樣的資訊。

12、

.fdt檔案是主要的儲存資料來源資料的檔案，.fdx檔案只是記錄下當前Document在.fdt中的位置，以便後面讀取時方便。需要注意，在.fdt檔案中儲存的field的值僅為Document中具有Store.YES屬性的field。

13、Lucene的索引部分invertDocument方法負責了呼叫底層分析器的介面，來對資料來源進行分析，並統計詞條的位置和頻率資訊，然後將其存入postingTable中。

在invertDocument方法中，需要注意：

（1）、對所有需要加入索引的field進行遍歷。對於那些不需要分詞的field，就將其整個field的資料作為一個大詞條，放入postingTable中。

（2）、對於需要分詞的field，則呼叫底層分詞介面進行分詞，然後將每個分出來的詞都放入postingTable中去。

14、對postingTable進行排序

所有詞條被加入postingTable後，Lucene首先將這個postingTable轉化為一個Posting型別的陣列，然後對這個陣列進行排序，使所有的詞條按其字典序排列。那樣，就可以將詞條資訊寫入.tii和.tis檔案。另外，將頻率和位置資訊寫入.frq和.prx檔案中去。（在Lucene中採用了快速排序法對這個Posting的陣列進行了排序）。

為什麼Lucene要對Posting的陣列進行排序呢？

這裡涉及一個索引檔案的儲存方式的問題。索引是整個Lucene工作的基礎，沒有索引，搜尋引擎也就失去了意義。那麼，索引檔案的存取和訪問效率就成了制約搜尋引擎效能的重要引數。通常情況下，索引的儲存效率可以比讀取效率略差一些，這是因為，索引的建立時間對使用者體驗並無太大影響，所以，應當建立一種索引格式，使之更有助於加速搜尋程序。這種格式應當具有索引內容少、可進行有序查詢等特點。

15、將Posting資訊寫入索引

16、索引檔案格式

（1）、索引的segment

每個segment代表Lucene的一個完整索引段。通常，在一個索引中，會包含有多個segment。每個segment都有統一的字首，這個簽字追的確定是根據當前索引的Document的數量確立的。字首名等於Document數量轉化成36進位制後，在前面加上下劃線而組成。

通常，在一個完整的索引中，有且只有一個“segment”檔案，這個檔案沒有後綴，它記錄了當前索引中所有segment的資訊。

（2）.fnm格式的檔案中包含了Document中的所有的field名稱（field name）。

（3）.fdx和.fdt是綜合使用的兩個檔案，其中.fdt用於儲存具有Store.YES屬性的field的資料。而.fdx則是一個索引，用於儲存Document在.fdt中的位置。

（4）.tis檔案用於儲存分詞後的詞條（Term），而.tii就是它的索引檔案，它標明瞭每個.tis檔案中的詞條的位置。

（5）在Lucene的索引中，所有的文件被刪除後並不是立刻從索引中取出，而是留待下一次合併索引或是對索引進行優化時才真正刪除，這點有點類似於Windows的回收站原理。這種功能是通過deletable檔案實現的。所有的文件在被刪除後，會首先在deletable檔案中留一個記錄，要真正刪除時，才將索引除去。

（6）在IndexWriter中有一個屬性：useCompoundFile，預設值為true，表示是否使用複合索引格式來儲存索引。在索引內容非常大，檔案數量很多的情況下，系統開啟檔案將會極大地耗費系統資源。因此Lucene提供了一種單檔案索引格式，也就是所謂的複合索引格式。使用複合索引格式儲存Document內容時，只需要在初始化完成一個IndexWriter物件後，使用setUseCompoundFile（boolean）方法，將屬性值設定為true就可以了。

17、索引過程的調優

（1）合併因子mergeFactor

該因子決定segment該如何被addDocument（）方法進行合併。該值取較小時，建索引時需要更小的記憶體，搜尋未優化索引的速度會更快，但索引建立的速度會比較慢，適合於間歇性地向索引加入文件。該值較大時，適合於批量索引建立。

舉一個例子：

將mergeFactor的因子設定為10，那麼，每向索引新增10個Document時就會有一個新的segment建立。

當第10個這樣的segment建立好後，它們會被合併成一個具有100個Document的新segment。

接下來，每100個Document又會建立一個新的segment，當第999個文件被加入索引時，此時磁碟上應該已經有了9個segment，其中每個都有100個Document，而第901個到999個Document此時正在記憶體中，還未被寫入磁碟中。

倘若此時再向索引中加入一個Document，那麼，前9個segment就會和這第10個新建立的segment進行合併，成為一個具有1000個Document的segment。過程一次類推。

（2）、maxMergeDocs

該引數用於實現對mergeFactor引數的限制，表示在一個segment中，最多可以擁有的Document數量。

（3）minMergeDocs

當索引被刷到磁碟中，需要首先儲存在記憶體中，minMergeDocs就是用來限制這個記憶體中文件數量的。

18、索引的合併與索引的優化

（1）、Directory類有兩個子類：RAMDirectory（與檔案系統的記憶體有關）和FSDirectory（與檔案系統的目錄有關）。

FSDirectory指的是在檔案系統中的一個路徑。因此，當Lucene向其中寫入索引時，會直接寫入到磁碟上。而RAMDirectory則是記憶體中的一個區域，當虛擬機器退出後，裡面的內容會隨之消失。因此需要將RAMDirectory中的內容轉到FSDirectory中。

對於RAMDirectory，只需要簡單的使用建構函式就可以生成例項。而FSDirectory的例項則需要使用靜態方法來生成，這個靜態方法有兩個引數，第一個引數為所需要存入索引的檔案系統的路徑，第二個引數為一個boolean型的引數，表示是否將原目錄中的所有內容清空。

（2）、使用IndexWriter來合併索引

Lucene的IndexWriter類提供了一個介面，以合併不同的索引。這並不是合併具體的目錄，而是合併不同的Directory型物件。不僅可以將存放於不同檔案系統路徑下的索引合併，還可以將記憶體中的索引與檔案系統中的索引合併，以此來儲存那些存放於RAMDirectory中的索引。

在合併記憶體中的索引時，一定要先將相應的IndexWriter關閉，以保證滯留在快取中的文件被“刷”到RAMDirectory中去，這點與使用FSDirectory時一樣，如果不使用close方法關閉IndexWriter，就會發現索引檔案並未真正寫入目錄中去。

（3）、索引的優化

IndexWriter的optimize方法能夠對當前IndexWriter所指定的索引目錄及其所使用的快取目錄下的所有segment做優化，是所有的segments合併成一個完整的segment，即整個索引目錄內只出現一種檔案字首。

19、從索引中刪除文件

（1）、在Lucene的index包中，有一個很重要的工具IndexReader。它主要負責對索引的各種讀取和維護工作。如開啟一個索引、取得索引中的某個文件、獲取索引中總文件的數量，甚至從索引中刪除某個文件。

（2）、使用文件ID號來刪除特定文件

方法名IndexReader.deleteDocument(intid)。在Lucene的內部使用類似回收站的機制來管理Document的刪除。在每個Document被從索引中刪除時，它只相當於被扔進了回收站，並未實際刪除，如果不使用reader.close()方法將刪除文件的資訊寫入磁碟，一旦程序退出索引會恢復成原來的狀態。

IndexReader的undeleteAll()方法可以實現反刪除（相當於回收站的還原）。

只需要使用IndexWriter對索引optimize一次，Lucene就會重新為每一個文件分配ID值，這樣，那些被標記為已刪除的Document就真正的被物理刪除了。（清空回收站）。

（3）、使用Field資訊來刪除批量文件

IndexReader的deleteDocument（）方法是一個能夠批量刪除索引的方法，它刪除索引是按照詞條來進行的。Term類是用於表示詞條的一個工具，它能夠將詞條表示成<field,value>對。

20、Lucene的同步問題

（1）在Lucene中，對索引發生修改的類主要集中在IndexWriter（主要負責對索引的寫入與索引整體的維護，如合併、優化等操作）和IndexReader（主要負責從索引中刪除文件）。

任一時刻，在系統中只能有一個IndexWriter的例項對索引進行操作，不允許有多個IndexWriter向索引新增Document，或是優化索引、合併segment；

任一時刻，不能有多個IndexReader在執行文件的刪除操作。下一個IndexReader的操作應該在上一個IndexReader的close方法執行未完成後執行；

在使用IndexWriter向索引加入文件前，必須先關閉執行刪除操作的IndexReader例項；

在使用IndexReader刪除前，必須先關閉執行新增Document操作的IndexReader的例項。

（2）Lucene中的鎖

write.lock和commit.lock
21、IndexModifier集成了IndexWriter的大部分功能和IndexReader中的對索引刪除的功能。