ElasticSearch完整環境搭建
一、安裝elastic
第一步、登入:https://www.elastic.co/cn/downloads/elasticsearch,選擇需要的環境和版本下載
第二步、解壓下載的zip包,進入bin目錄,執行elasticsearch.bat,出現如下資訊,則成功。
二、安裝head外掛
第一步、登入:https://github.com/mobz/elasticsearch-head,選擇與elastic對應版本下載
第二步、登入:https://nodejs.org/en/download/,下載NodeJS
第三步、執行 npm install -g grunt -cli
第四步、進入head根目錄,執行npm install安裝pathomJS
第五步、在head根目錄,執行grunt server執行head
第六步、進入elasticsearch安裝目錄/config/elasticsearch.yml,開啟檔案後在末端另起一行分別頂格新增如下兩行紅色字型文字,儲存後重啟elasticsearch.bat。
http.cors.enabled: true
http.cors.allow-origin: "*"
三、安裝IK分詞器
第一步、登入:https://github.com/medcl/elasticsearch-analysis-ik/releases,下載
第二步、在elastic安裝目錄的plugins包下建立IK資料夾,將下載好的zip包解壓在IK資料夾中,重啟elastic
四、安裝logstasha
第一步、登入:https://www.elastic.co/downloads/logstash, 下載
第二步、解壓zip包,進入logstasha/config目錄,開啟logstash-sample.conf檔案
輸入如下內容:
input { jdbc { #預設在bin目錄 # mysql相關jdbc配置 jdbc_connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false" jdbc_user => "root" jdbc_password => "123456" # jdbc連線mysql驅動的檔案目錄,可去官網下載:https://dev.mysql.com/downloads/connector/j/ jdbc_driver_library => "./lib/mysql-connector-java.jar" # the name of the driver class for mysql jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_paging_enabled => true jdbc_page_size => "50000" jdbc_default_timezone =>"Asia/Shanghai" # mysql檔案, 也可以直接寫SQL語句在此處,如下: # statement => "select * from t_order where update_time >= :sql_last_value;" statement_filepath => "jdbc.sql" # 這裡類似crontab,可以定製定時操作,比如每分鐘執行一次同步(分 時 天 月 年) schedule => "* * * * *" #type => "jdbc" # 是否記錄上次執行結果, 如果為真,將會把上次執行到的 tracking_column 欄位的值記錄下來,儲存到 last_run_metadata_path 指定的檔案中 #record_last_run => true # 是否需要記錄某個column 的值,如果record_last_run為真,可以自定義我們需要 track 的 column 名稱,此時該引數就要為 true. 否則預設 track 的是 timestamp 的值. use_column_value => true # 如果 use_column_value 為真,需配置此引數. track 的資料庫 column 名,該 column 必須是遞增的. 一般是mysql主鍵 tracking_column => "update_time" tracking_column_type => "timestamp" last_run_metadata_path => "./logstash_capital_bill_last_id" # 是否清除 last_run_metadata_path 的記錄,如果為真那麼每次都相當於從頭開始查詢所有的資料庫記錄 clean_run => false #是否將 欄位(column) 名稱轉小寫 lowercase_column_names => false } } output { elasticsearch { hosts => "127.0.0.1:9200" index => "mysql_order" document_id => "%{id}" template_overwrite => true } # 這裡輸出除錯,正式執行時可以註釋掉 stdout { codec => json_lines } }
第三步、按照匯入安裝資料庫連線和執行SQL
第四步、進入bin目錄執行:logstash.bat -f “你的conf檔名”
五、安裝kibana
第一步、登入:https://www.elastic.co/downloads/kibana,下載
第二部、解壓zip包,進入bin目錄執行:kibana.bat