1. 程式人生 > >asp.net core系列 75 Elasticsearch與中文分詞配置

asp.net core系列 75 Elasticsearch與中文分詞配置

一. elasticsearch on windows

  1.下載地址:

    https://www.elastic.co/cn/downloads/elasticsearch

    如果瀏覽器下載檔案慢,建議使用迅雷下載,速度很快。下載版本為7.5.2

  2. 修改配置檔案

    下載後解壓,找到config\jvm.options,分配JVM堆記憶體大小,原則上是分配總記憶體的50%給 elasticsearch,但不要超過30.5GB,原因是64位定址會導致效能下降。將預設1g改成512m,  個人電腦當預設1g時,windows安裝會出現:HeapDumpOnOutOfMemoryError

    

  3. windows安裝

     開啟cmd執行以下命令

     E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat install

 4.啟動服務

    由於elasticsearch比較耗記憶體,預設安裝服務設定啟動方式為手動,除非真的使用windwos作為伺服器, 手動啟動服務後,瀏覽器檢視:http://localhost:9200/,出現以下代表成功

     

    name:為叢集中的節點名稱,預設值為當前機器名稱。

    cluster_name:叢集的名稱,預設為elasticsearch。

      檢視健康狀態:http://localhost:9200/_cat/health?v

    檢視所有索引:http://localhost:9200/_cat/indices?v

  5. 其它配置

    elasticsearch.yml檔案

      transport.port :節點與節點通訊的埠,預設為9300

      http.port:elasticsearch 開放的Rest介面的埠,預設為9200

      network.host 預設為192.168.0.1,要設定為0.0.0.0,繫結所有本地地址,或者直接設定一個可供外網訪問的地址

 

二. Kibana on windows

  1.下載地址

    https://www.elastic.co/cn/downloads/kibana

    如果瀏覽器下載檔案慢,建議使用迅雷下載,速度很快。下載版本為7.5.2 

  2.修改配置檔案

    在config\kibana.yml檔案中,預設連線elasticsearch地址是:elasticsearch.hosts: ["http://localhost:9200"], 如果elasticsearch和kibana都在同一臺機器,則不需要修改。

  3. 啟動

    Kibana不同於Elasticsearch,Kibana官方並沒有提供安裝為系統服務的方法。在bin目錄下雙擊kibana.bat檔案。暫用控制檯作為宿主。在瀏覽器執行http://localhost:5601/

    首頁右下角單擊,左邊的導航欄會展開,如下所示:

    

    可以將sample flight data 飛行記錄資料和sample web logs  web日誌記錄,這二個樣例資料匯入,方便學習。

     在左邊的導航欄Dev Tools 中,可以呼叫 elasticsearch api 來進行操作,如下所示:

  4.kibana其它配置

    4.1 kibana.yml修改為中文

      #i18n.locale: "en"
        i18n.locale: "zh-CN"

 

 三.分析器安裝

  IK 是中文分析器中比較有名的,分詞包括兩種: ik_smart和ik_max_word。二種區別在於提取詞項的粒度,前者提取的粒度最粗,後者最細。elsaticsearch預設並不支援ik,需要安裝。版本與elsaticsearch保持一致,這裡下載v7.5.2。下載 地址:https://github.com/medcl/elasticsearch-analysis-ik/releases    elasticsearch-analysis-ik-7.5.2.zip

  在plugins下,新建一個ik資料夾,解壓放入,重啟ES,如下所示:

 

  (開啟kibana的Dev Tools測試)IK中文分析器測試,ik_max_word測試如下:

   IK中文分析器測試,ik_smart測試如下:

 

四.IK擴充套件詞典

  3.1 本地配置自定義詞典

     如下圖,先建一個txt檔案,文字格式為 UTF8 編碼,重新命名為mydict.dic檔案,新增自定義詞典

    將dic新檔案路徑配置到IKAnalyzer.cfg.xml中,如下所示:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴充套件配置</comment>
    <!--使用者可以在這裡配置自己的擴充套件字典 -->
    <entry key="ext_dict">custom/mydict.dic</entry>
     <!--使用者可以在這裡配置自己的擴充套件停止詞字典-->
    <entry key="ext_stopwords"></entry>
    <!--使用者可以在這裡配置遠端擴充套件字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--使用者可以在這裡配置遠端擴充套件停止詞字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

    置後,重啟es服務,再使用分詞器測試如下所示:

    

 

五.IK熱更新詞庫

    官方給出建議:可以將需自動更新的熱詞放在一個 UTF-8 編碼的 .txt 檔案裡,放在 nginx 或其他簡易 http server 下,當 .txt 檔案修改時,http server 會在客戶端請求該檔案時自動返回相應的 Last-Modified 和 ETag。可以另外做一個工具來從業務系統提取相關詞彙,並更新這個 .txt 檔案。

    下面使用iis作為http伺服器,新建一個站點,站點下有一個hotword.txt 檔案,應用池託管為v 4.0經典模式。去掉壓縮不然lk程式監視器讀取不到。 再就是設定http響應頭,因為該 http 請求需要返回兩個頭部(header),一個是 Last-Modified,一個是 ETag,這兩者都是字串型別,只要有一個發生變化,該外掛就會去抓取新的分詞進而更新詞庫。配圖如下所示:

 

 

   將伺服器txt檔案路徑配置到IKAnalyzer.cfg.xml中,如下所示:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴充套件配置</comment>
    <!--使用者可以在這裡配置自己的擴充套件字典 -->
    <!--<entry key="ext_dict"></entry>-->
     <!--使用者可以在這裡配置自己的擴充套件停止詞字典-->
  <!--<entry key="ext_stopwords"></entry>-->
    <!--使用者可以在這裡配置遠端擴充套件字典 -->
     <entry key="remote_ext_dict">http://localhost:8088/hotword.txt</entry> 
    <!--使用者可以在這裡配置遠端擴充套件停止詞字典-->
  <!--  <entry key="remote_ext_stopwords"></entry>-->
</properties>

  hotword.txt配置如下所示:

 

    重啟es伺服器,在Log/elasticsearch.log中可以看到載入的詞列表,如下所示:

[2020-02-18T10:46:47,129][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] try load config from D:\有啦\elasticsearch-7.5.2\plugins\ik\config\IKAnalyzer.cfg.xml
[2020-02-18T10:46:47,206][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] [Dict Loading] http://localhost:8088/hotword.txt
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠肺炎
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 盛吉芳
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 首提
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 哈哈
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] reload ik dict finished.

   測試分詞,如下所示:

 

 

參考文獻

  analysis-ik