Solr擴充套件詞與停詞
阿新 • • 發佈:2018-12-21
solr全文搜尋引擎中,對於中文的搜尋一般都使用了ik分詞器。但是一些專有名詞,我們希望它能夠作為獨立的詞條,這叫做擴充套件詞;一些助詞,謂詞我們不希望它被作為詞條,這叫停詞。應該如何去做呢?
擴充套件詞與停詞
在managed-schema中定義text_ik欄位型別
<fieldType name="text_ik" class="solr.TextField"> <analyzer type="index" useSmart="false" > <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory"/> <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> </analyzer> <analyzer type="query" useSmart="true" > <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory"/> <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> </analyzer> </fieldType>
在${solr_home}\server\solr-webapp\webapp\WEB-INF\classes
目錄下有以下幾個檔案。
- IKAnalyzer.cfg.xml
- ext.dic
- stopword.dic
IKAnalyzer.cfg.xml檔案的模板內容如下:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 擴充套件配置</comment> <!--使用者可以在這裡配置自己的擴充套件字典 --> <entry key="ext_dict">ext.dic;</entry> <!--使用者可以在這裡配置自己的擴充套件停止詞字典--> <entry key="ext_stopwords">stopword.dic;</entry> </properties>
示例
ext.dic擴充套件詞檔案中加入“佳都科技”詞條之前,
ik分詞器將“佳都科技”分詞為 “佳”,“都”,“科技”三個詞條,
加入之後,
ik分詞器將“佳都科技”分詞為 “佳都科技”,“科技”兩個詞條,
stopword.dic停詞檔案中加入“善良而且堅強”詞條之前,
ik分詞器將“善良而且堅強”分詞為 “善良”,“而且”,“堅強”三個詞條,
加入之後,
ik分詞器將“善良而且堅強”分詞為 “善良”,“堅強”兩個個詞條,