Elasticsearch之Logstash壓縮包安裝及同步mysql資料
阿新 • • 發佈:2018-12-12
Elasticsearch之Logstash壓縮包安裝及同步mysql資料
一:安裝logstash
1.從官網下載.tar.gz壓縮包
下載地址為:https://www.elastic.co/downloads/logstash
2.將壓縮包解壓到隨意路徑
將壓縮包放在了usr/local路徑下
cd /usr/local
tar -xzf logstash-6.5.1.tar.gz
生成一個logstash-6.5.1資料夾
cd logstash-6.5.1
3.新增配置檔案
在安裝目錄下的config資料夾下,建立一個新的配置檔案,命名為:mysqlindex.conf(名字可以隨意)
內容如下:
input{
stdin{}
jdbc{
jdbc_connection_string=>"jdbc:mysql://localhost:3306/databasename"
jdbc_user=>"root"
jdbc_password=>"password"
jdbc_driver_library=>"/usr/local/mysql/mysql-connector-java-8.0.13.jar"#下載對應jdk版本的java-connector-driver
jdbc_driver_class=>"com.mysql.jdbc.Driver"
jdbc_paging_enabled=> "true"
jdbc_page_size=>"50000"
statement=>"select * from products"
schedule=>"* * * * *"
type=>"productstype"
}
}
output{
elasticsearch{
hosts=>"localhost:9200"
index=>"products"
document_id=>"%{id}"
}
stdout{
codec=>json_lines
}
}
注:此conf檔案編碼最好為utf-8,否則可能在啟動logstash時會出現編碼不對的錯誤資訊
4.開啟logstash
進入logstash的安裝目錄的bin檔案下
輸入:
./logstash -f ../config/mysqlindex.conf
此時會在控制檯上看到列印資訊,如果無錯誤資訊,稍後會開始同步你mysql資料庫中的資料。