1. 程式人生 > >ElasticSearch完整環境搭建

ElasticSearch完整環境搭建

一、安裝elastic

第一步、登入:https://www.elastic.co/cn/downloads/elasticsearch,選擇需要的環境和版本下載

第二步、解壓下載的zip包,進入bin目錄,執行elasticsearch.bat,出現如下資訊,則成功。

二、安裝head外掛

第一步、登入:https://github.com/mobz/elasticsearch-head,選擇與elastic對應版本下載

第二步、登入:https://nodejs.org/en/download/,下載NodeJS

第三步、執行 npm install -g grunt  -cli

 ,安裝grunt

第四步、進入head根目錄,執行npm install安裝pathomJS

第五步、在head根目錄,執行grunt server執行head

第六步、進入elasticsearch安裝目錄/config/elasticsearch.yml,開啟檔案後在末端另起一行分別頂格新增如下兩行紅色字型文字,儲存後重啟elasticsearch.bat

            http.cors.enabled: true

            http.cors.allow-origin: "*"

三、安裝IK分詞器

第一步、登入:https://github.com/medcl/elasticsearch-analysis-ik/releases,下載

第二步、在elastic安裝目錄的plugins包下建立IK資料夾,將下載好的zip包解壓在IK資料夾中,重啟elastic

四、安裝logstasha

第一步、登入:https://www.elastic.co/downloads/logstash, 下載

第二步、解壓zip包,進入logstasha/config目錄,開啟logstash-sample.conf檔案

輸入如下內容:

input {

  jdbc {

       #預設在bin目錄

    # mysql相關jdbc配置

    jdbc_connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false"

    jdbc_user => "root"

    jdbc_password => "123456"


    # jdbc連線mysql驅動的檔案目錄,可去官網下載:https://dev.mysql.com/downloads/connector/j/

    jdbc_driver_library => "./lib/mysql-connector-java.jar"

    # the name of the driver class for mysql

    jdbc_driver_class => "com.mysql.jdbc.Driver"

    jdbc_paging_enabled => true

    jdbc_page_size => "50000"

    jdbc_default_timezone =>"Asia/Shanghai"


    # mysql檔案, 也可以直接寫SQL語句在此處,如下:

    # statement => "select * from t_order where update_time >= :sql_last_value;"

    statement_filepath => "jdbc.sql"


    # 這裡類似crontab,可以定製定時操作,比如每分鐘執行一次同步(分 時 天 月 年)

    schedule => "* * * * *"

    #type => "jdbc"


    # 是否記錄上次執行結果, 如果為真,將會把上次執行到的 tracking_column 欄位的值記錄下來,儲存到 last_run_metadata_path 指定的檔案中

    #record_last_run => true

    # 是否需要記錄某個column 的值,如果record_last_run為真,可以自定義我們需要 track 的 column 名稱,此時該引數就要為 true. 否則預設 track 的是 timestamp 的值.

    use_column_value => true

    # 如果 use_column_value 為真,需配置此引數. track 的資料庫 column 名,該 column 必須是遞增的. 一般是mysql主鍵

    tracking_column => "update_time"

    tracking_column_type => "timestamp"

    last_run_metadata_path => "./logstash_capital_bill_last_id"


    # 是否清除 last_run_metadata_path 的記錄,如果為真那麼每次都相當於從頭開始查詢所有的資料庫記錄
    clean_run => false

    #是否將 欄位(column) 名稱轉小寫

    lowercase_column_names => false

  }

}


output {

  elasticsearch {

    hosts => "127.0.0.1:9200"

    index => "mysql_order"

    document_id => "%{id}"

    template_overwrite => true

  }

  # 這裡輸出除錯,正式執行時可以註釋掉

  stdout {

      codec => json_lines

  }

}

  第三步、按照匯入安裝資料庫連線和執行SQL

             第四步、進入bin目錄執行:logstash.bat -f  “你的conf檔名”

五、安裝kibana

第一步、登入:https://www.elastic.co/downloads/kibana,下載

第二部、解壓zip包,進入bin目錄執行:kibana.bat