1. 程式人生 > >Solr擴充套件詞與停詞

Solr擴充套件詞與停詞

solr全文搜尋引擎中,對於中文的搜尋一般都使用了ik分詞器。但是一些專有名詞,我們希望它能夠作為獨立的詞條,這叫做擴充套件詞;一些助詞,謂詞我們不希望它被作為詞條,這叫停詞。應該如何去做呢?

擴充套件詞與停詞

在managed-schema中定義text_ik欄位型別

	<fieldType name="text_ik" class="solr.TextField">  
		<analyzer type="index" useSmart="false" >  
		  <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory"/>  
		  <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>  
		</analyzer>  
		<analyzer type="query" useSmart="true" >  
		   <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory"/>  
		   <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>   
		</analyzer>  
	</fieldType>  

${solr_home}\server\solr-webapp\webapp\WEB-INF\classes目錄下有以下幾個檔案。

  • IKAnalyzer.cfg.xml
  • ext.dic
  • stopword.dic

IKAnalyzer.cfg.xml檔案的模板內容如下:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
	<comment>IK Analyzer 擴充套件配置</comment>
	<!--使用者可以在這裡配置自己的擴充套件字典 -->
	<entry key="ext_dict">ext.dic;</entry> 
	
	<!--使用者可以在這裡配置自己的擴充套件停止詞字典-->
	<entry key="ext_stopwords">stopword.dic;</entry> 
	
</properties>

示例

ext.dic擴充套件詞檔案中加入“佳都科技”詞條之前,
ik分詞器將“佳都科技”分詞為 “佳”,“都”,“科技”三個詞條,
加入之後,
ik分詞器將“佳都科技”分詞為 “佳都科技”,“科技”兩個詞條,

stopword.dic停詞檔案中加入“善良而且堅強”詞條之前,
ik分詞器將“善良而且堅強”分詞為 “善良”,“而且”,“堅強”三個詞條,
加入之後,
ik分詞器將“善良而且堅強”分詞為 “善良”,“堅強”兩個個詞條,