記憶體索引庫

特點

         在記憶體中開闢一塊空間，專門為索引庫存放。這樣有以下幾個特徵：

1)    因為索引庫在記憶體中，所以訪問速度更快。

2)    在程式退出時，索引庫中的檔案也相應的消失了。

3)    如果索引庫比較大，必須得保證足夠多的記憶體空間。

編碼

在cn.hqu.directory 下新建：DirectoryTest

/**

 * 1、能不能設定很多個索引庫

 *    可以設定很多個索引庫

 * 2、索引庫能不能合併起來

 *    如果是記憶體索引庫

 *      Directory ramDirectory = new RamDirectory(Directory d);

 *         這樣就可以把一個索引庫放入到記憶體索引庫中

 *    利用IndexWriter.addIndexesNoOptimize方法可以把很多個索引庫進行合併操作

 * 3、應用程式能不能在記憶體中和索引庫進行互動

 * @author Administrator

 *

 */

public class DirectoryTest {

    /**

     * 記憶體索引庫

     *   *  速度比較快

     *   *  資料是暫時的

     *   *  記憶體索引庫和檔案索引庫的特點正好互補

     */

    @Test

    public void

testRam() throws Exception{

        Directory directory = new RAMDirectory();

        IndexWriter indexWriter = new IndexWriter(directory,LuceneUtils.analyzer,

                MaxFieldLength.LIMITED);

        Article article = new Article();

        article.setId(1L);

        article.setTitle("lucene

可以做搜尋引擎");

        article.setContent("baidu,google都是很好的搜尋引擎");

        indexWriter.addDocument(DocumentUtils.article2Document(article));

        indexWriter.close();

        this.showData(directory);

    }

    private void showData(Directory directory) throws Exception{

        IndexSearcher indexSearcher = new IndexSearcher(directory);

        QueryParser queryParser = new MultiFieldQueryParser(Version.LUCENE_30,

                new String[]{"title","content"},LuceneUtils.analyzer);

        Query query = queryParser.parse("lucene");

        TopDocs topDocs =indexSearcher.search(query, 10);

        ScoreDoc[] scoreDocs = topDocs.scoreDocs;

        List<Article> articleList = new ArrayList<Article>();

        for(ScoreDoc scoreDoc:scoreDocs){

            Document document =indexSearcher.doc(scoreDoc.doc);

            articleList.add(DocumentUtils.document2Article(document));

        }

        for(Article article:articleList){

            System.out.println(article.getId());

            System.out.println(article.getTitle());

            System.out.println(article.getContent());

        }

    }

}

         在執行完這段程式碼以後，並沒有在磁碟上出現索引庫。所以單獨使用記憶體索引庫沒有任何意義。

檔案索引庫與記憶體索引庫的結合

                            當應用程式啟動的時候，從檔案索引庫載入檔案到記憶體索引庫。應用程式直接與記憶體索引庫互動。當應用程式退出的時候，記憶體索引庫把資料再次儲存到檔案索引庫，完成檔案的儲存工作。

    /**

     * 檔案索引庫和記憶體索引庫的結合,提高效率

     */

    @Test

    public void testRamAndFile() throws Exception{

        /**

         *1、當應用程式啟動的時候，把檔案索引庫的內容複製到記憶體庫中

         *2、讓記憶體索引庫和應用程式互動

         *3、把記憶體索引庫的內容同步到檔案索引庫

         */

        Directory fileDirectory =FSDirectory.open(new File("./indexDir"));

        Directory ramDirectory = new RAMDirectory(fileDirectory);

        IndexWriter ramIndexWriter = new IndexWriter(ramDirectory,

                LuceneUtils.analyzer,MaxFieldLength.LIMITED);

        IndexWriter fileIndexWriter = new IndexWriter(fileDirectory,

                LuceneUtils.analyzer,true,MaxFieldLength.LIMITED);

        /**

在記憶體索引庫中根據關鍵詞查詢在

         *啟動的時候，把檔案目錄的索引庫載入到記憶體目錄中，

 * 退出時把記憶體目錄的索引庫儲存到檔案目錄

         */

        this.showData(ramDirectory);

        System.out.println("上面的是從記憶體索引庫中查詢出來的");

        /**

         *把一條資訊插入到記憶體索引庫

         */

        Article article = new Article();

        article.setId(1L);

        article.setTitle("lucene可以做搜尋引擎");

        article.setContent("baidu,google都是很好的搜尋引擎");

        ramIndexWriter.addDocument(DocumentUtils.article2Document(article));

        ramIndexWriter.close();

        /*

         *把記憶體索引庫中的內容同步到檔案索引庫中

         */

        fileIndexWriter.addIndexesNoOptimize(ramDirectory);

        fileIndexWriter.close();

        this.showData(fileDirectory);

        System.out.println("上面的是從檔案索引庫中查詢出來的");

      }

               說明：

1)    Directory ramdirectory = newRAMDirectory(filedirectory);把filedirectory這個索引庫載入到ramdirectory記憶體庫中

2)    IndexWriter的建構函式：

       IndexWriterfileIndexWriter = new IndexWriter(fileDirectory,

              LuceneUtils.analyzer,true,MaxFieldLength.LIMITED);

                         True     重新建立一個或者覆蓋(選擇)

                         False    追加

1.             分詞器

1.1英文分詞器

         步驟：Creates a searcher searching the index in the nameddirectory

1)    切分關鍵詞

Creates  

a  

searcher 

searching 

the 

index 

the 

named 

directory

2)    去除停用詞

停用詞：有些詞在文字中出現的頻率非常高。但對本文的語義產生不了多大的影響。例如英文的a、an、the、of等。或中文的”的、了、呢等”。這樣的詞稱為停用詞。停用詞經常被過濾掉，不會被進行索引。在檢索的過程中，如果使用者的查詢詞中含有停用詞，系統會自動過濾掉。停用詞可以加快索引的速度，減少索引庫檔案的大小。

Creates

searcher

searching

index

named

directory

3)    轉為小寫(搜尋時不區分大小寫，因為分詞器會幫你轉化)

creates

searcher

searching

index

named

directory

1.1.1程式碼：

    @Test

    public voidtestEn() throwsException{

       /**

        * Creates a searcher searching the index inthe named directory

        */

       /**

        * 1、切分關鍵詞

        * 2、去掉停用詞

        * 3、把大寫轉化成小寫

        */

       Stringtext = "Creates a searcher searching the index in the nameddirectory";

       Analyzeranalyzer = new StandardAnalyzer(Version.LUCENE_30);

       this.testAnalyzer(analyzer,text);

    }

    /**

     * 經過該方法可以把分詞後的結果輸出

     * @param analyzer

     * @param text

     * @throws Exception

     */

     private voidtestAnalyzer(Analyzer analyzer,String text)throwsException{

         TokenStream tokenStream = analyzer.tokenStream("content",new StringReader(text));

         tokenStream.addAttribute(TermAttribute.class);

         while(tokenStream.incrementToken()){

              TermAttribute termAttribute =tokenStream.getAttribute(TermAttribute.class);

              System.out.println(termAttribute.term());

         }

     }

1.2中文分詞器

1.2.1單字分詞

       /**

        * 單字分詞

        */

       Analyzeranalyzer = newChineseAnalyzer();

       Stringtext = "新北校區有一個是UFO";

       this.testAnalyzer(analyzer,text);

                   把漢字一個字一個字分解出來。效率比較低。

1.2.2二分法分詞

       Analyzeranalyzer = newCJKAnalyzer(Version.LUCENE_30);

       Stringtext = "新北校區有一個是UFO";

       this.testAnalyzer(analyzer, text);

把相鄰的兩個字組成詞分解出來，效率也比較低。而且很多情況下分的詞不對。

1.2.3詞庫分詞(IKAnalyzer)

       Analyzeranalyzer = newIKAnalyzer();

       Stringtext = "北京美女";

       this.testAnalyzer(analyzer, text);

匯入IKAnalyzer的jar包。

網盤年下載：http://pan.baidu.com/s/1nt9eqVZ

基本上可以把詞分出來(經常用的分詞器)

1.2.4詞庫的擴充

                   “新北小去的阿爾法四了”分此後的結果為：

                   新、北、小、去、阿爾法、四、了

         在src下新建：ext_stopword.dic、IKAnalyzer.cfg.xml、mydict.dic。

ext_stopword.dic為停止詞的詞庫，詞庫裡的詞都被當作為停止詞使用。

IKAnalyzer.cfg.xml為IKAnalyzer的配置檔案。

<?xmlversion="1.0"encoding="UTF-8"?>

<!DOCTYPEpropertiesSYSTEM"http://java.sun.com/dtd/properties.dtd"> 

<properties> 

    <comment>IK Analyzer 擴充套件配置</comment>

    <entrykey="ext_dict">/mydict.dic</entry> 

    <entrykey="ext_stopwords">/ext_stopword.dic</entry>

</properties>

                            Key為ext_stopwords 為停止詞所在的位置。

      Key為ext_dict為配置自己的擴充套件字典所在的位置。如圖所示可以在mydict.dic中新增自己所需要的詞。如：”新北小去”

      新增完以後分詞器分” “新北小去的阿爾法四了”結果為：

                   新北小去、阿爾法、四、了

ext_stopword.dic如下：

也
了
仍
從
以
使
則
卻
又
及
對
就
並
很
或
把
是
的
著
給
而
被
讓
在
還
比
等
當
與
於
但

mydict.dic 內容如下：

新北小去

1.2.5修改LuceneUtils類

                   analyzer = new IKAnalyzer();

                   以後用的分詞庫為IKAnalyzer中文分詞庫。