（一） 分詞基本概念

 概覽

    當對一個文件（document是一系列field的集合)進行索引時，其中的每個field（document和file都是lucene中的概念）中的資料都會經歷分析，分詞和多步的分詞過濾等操作。這一系列的動作是什麼呢？直觀的理解是，將一句話分成單個的單詞，去掉句子當中的空白符號，去掉多餘的詞，進行同義詞代換等等。

  【例】what a beautiful day? 會進行什麼處理呢？what ,a 以及問號都將被去掉，最後處理結果為beautiful和day（也有可能是beautiful day)。

  不僅僅是在索引的時候進行這些工作，查詢的時候也要做這些工作，而且通常索引和查詢使用同樣的方法來進行處理。這樣做的目的是為了保證索引與查詢的正確匹配。下例說明了採取不同的處理時的不匹配情況。

  【例】ABCD索引分詞為AB  CD,查詢時候分詞為ABC  D，顯然查詢的匹配結果為0。

詞性轉換

  一種是將一個詞擴充套件成它的多種形式，例如將run擴充套件成runs，running。另外一種是詞性規約，例如將runns，running等都“收縮”成run。前者只需要在索引或查詢的任意一端採用即可，後者需要在兩端同時採用。

分析器（Analyzer）

  分析器是包括連個部分：分詞器和過濾器。分詞器顧名思意就是將句子分詞單個的詞，過濾器就是對分詞的結果進行篩選，例如中文中將“的”“呀”這些對句子主體意思影響不大的詞刪除。英語中類似的就是"is"，"a"等等。通常在索引和分詞兩端應該採用同樣的分詞器。solr自帶了一些分詞器，如果你需要使用自己公司的分詞器，那麼就需要修改solr模式（Solr schema）。

    schema.xml 檔案允許兩種方式修改文字被分析的方式，通常只有field型別為 solr.TextField 的field的內容允許定製分析器。

方法一：使用任何 org.apache.lucene.analysis.Analyzer的子類進行設定。

<fieldtype name="nametext" class="solr.TextField">
   <analyzer class="org.apache.lucene.analysis.WhitespaceAnalyzer"/>
 </fieldtype>

 方法二：指定一個TokenizerFactory

 <fieldtype name="text" class="solr.TextField">
   <analyzer>
     <tokenizer class="solr.StandardTokenizerFactory"/>
     <filter class="solr.StandardFilterFactory"/>
     <filter class="solr.LowerCaseFilterFactory"/>
     <filter class="solr.StopFilterFactory"/>
     <filter class="solr.PorterStemFilterFactory"/>
   </analyzer>
 </fieldtype>

     需要說明的一點是，Any Analyzer, TokenizerFactory, or TokenFilterFactory 應該用帶包名的全類名進行指定，請確保它們位於Solr的classpath 路徑下。對於 org.apache.solr.analysis.* 包下的類，僅僅通過solr.*就可以進行指定。

   如果你需要使用自己的分詞器和過濾器，你就需要自己寫一個 factory ，它必須是 BaseTokenizerFactory或BaseTokenFilterFactory的子類。就像下面一樣。

  public class MyCustomFilterFactory extends BaseTokenFilterFactory {
    public TokenStream create(TokenStream input) {
    return new MyCustomFilter(input);
  }
}

   Solr提供了下列TokenizerFactories(Tokenizers and TokenFilters)

1.solr.KeywordTokenizerFactory

    不管什麼內容，整句當成一個關鍵字
    例如: "http://example.com/I-am+example?Text=-Hello" ==> "http://example.com/I-am+example?Text=-Hello"

2.solr.LetterTokenizerFactory 

    根據字母來分詞，拋棄非字母的部分   
    例如："I can't" ==> "I", "can", "t"

3.solr.WhitespaceTokenizerFactory
     根據空格來分詞
     例如："I do" ==> "I", "do"

4.solr.LowerCaseTokenizerFactory
  根據字母分詞，並將所有字母轉換成小寫，拋棄非字母的部分
    例如："I can't" ==> "i", "can", "t"

5.solr.StandardTokenizerFactory

     分詞舉例：  "I.B.M. cat's can't" ==> 
     ACRONYM: "I.B.M.", APOSTROPHE:"cat's", APOSTROPHE:"can't"
      說明：該分詞器，會自動地給每個分詞新增type，以便接下來的對type敏感的過濾器進行處理，目前僅僅只有StandardFilter對Token的型別是敏感的。

TokenFilterFactories

1.solr.LowerCaseFilterFactory