1. 程式人生 > >elasticsearch學習筆記——相關插件

elasticsearch學習筆記——相關插件

成了 內容 數據庫 hub 數據收集 參考 art 完整 con

logstash-input-jdbc學習

  ES(elasticsearch縮寫)的一大優點就是開源,插件眾多。所以擴展起來非常的方便,這也造成了它的生態系統越來越強大。這種開源分享的思想真是與天朝格格不入啊。國內的開源社區做了也很長時間,可是也沒出現什麽拿的出手的東西,可能只還有阿裏比較註重分享一些。

  ES的查詢速度非常快,搜索非常快。但是呢,我們的數據還是主要存在傳統的關系型數據庫中的。有沒有什麽辦法可以將數據庫中的數據實時同步到ES中呢。logstash就是這麽一個東西。

Logstash 是一個開源的數據收集引擎,它具有備實時數據傳輸能力。它可以統一過濾來自不同源的數據,並按照開發者的制定的規範輸出到目的地。

  安裝好Logstash,再安裝好logstash-input-jdbc插件,再安裝好mysql-connector-java-6.0.6.jar插件就可以實時將mysql中的數據同步到ES中。安裝過程參考:ElasticSearch學習筆記(三)logstash安裝和logstash-input-jdbc插件。

  logstash-input-jdbc可以配置實行增量同步還是實行全量同步,增量同步是基於時間還是基於某一個字段的變化值。可以參考:logstash-input-jdbc 同步原理及相關問題解讀。非常方便。

中文分詞插件

  ES上有不少的中文分詞插件,能夠對存儲的數據進行分詞,以應對搜索的請求。使用比較廣泛的是ik。它的github地址。上面有關於安裝,使用的完整介紹。甚至可以使用對於搜索的內容采用不同的分詞器,非常的方便。參考。

參考資料:

ElasticSearch學習筆記(三)logstash安裝和logstash-input-jdbc插件

elasticsearch學習筆記——相關插件