1. 程式人生 > >如何用elasticsearch構架億級資料採集系統(第1集:非生產環境windows安裝篇)

如何用elasticsearch構架億級資料採集系統(第1集:非生產環境windows安裝篇)

(一)做啥的?

基於Elasticsearch,可以為實現,大資料量(億級)的實時統計查詢的方案設計,提供底層資料框架。
本小節jacky會在非生產環境下,在 window 系統下,給大家分享著部分的相關內容。

(二)Elasticsearch的安裝

2.1 版本選擇:elasticsearch-rtf

  • 第1步:安裝java
    @資料分析-jacky
    @資料分析-jacky

  • 驗證java是否安裝成功:

    • 這裡java要相容elasticsearch,必須安裝java8以上的版本
      @資料分析-jacky
  • 第2步:下載elasticsearch-rtf
    @資料分析-jacky
    @資料分析-jacky

  • 第3步:在bin目錄下用命令列安裝elasticsearch
    @資料分析-jacky

  • 第4步:檢視9200訪問介面,如果看到以下介面,說明我們的elasticsearch就安裝成功了
    @資料分析-jacky

(三)head 外掛的安裝

  • 第1步,在github中下載head外掛
    @資料分析-jacky

  • 第二步:下載npm

    • 下載安裝npm的前置環境-nodejs
      @資料分析-jacky
  • 驗證npm是否下載成功
    @資料分析-jacky

  • 第三步:安裝cnpm

npm就相當於python中的pip,中央倉庫在國外,下載速度極慢,所以選擇淘寶映象的cnpm代替npm;

@資料分析-jacky

  • 第4步:安裝head外掛
    @資料分析-jacky

  • 第5步 : 執行head外掛

    • head 檔案下:cnpm run start
      @資料分析-jacky

      @資料分析-jacky

elasticsearch安全策略規定:elasitcsearch預設不允許使用第三方的服務,為了可以滿足head這個代理服務可以訪問elasticsearch,我們要對elasticsearch進行一些配置上的改動;

  • 第6步 : 重新配置elasticsearch
    @資料分析-jacky

  • 我們看到顯示未連線,我們需要配置elasticsearch-rtf(搜尋引擎)連線,在elasticsearch-rtf/config/elasticsearch.yml 這個檔案裡配置,在檔案的最後面寫入:

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
  • 第7步:重啟elasticsearch-rtf(搜尋引擎)後就可以連線了
    @資料分析-jacky

(四)Kibana 外掛的安裝

  • 注意:Kibana的版本要對應elasticsearch-head裡資訊裡的版本
    @資料分析-jacky
    @資料分析-jacky
    @資料分析-jacky
    @資料分析-jacky
    @資料分析-jacky