1. 程式人生 > >Elasticsearch之Logstash壓縮包安裝及同步mysql資料

Elasticsearch之Logstash壓縮包安裝及同步mysql資料

Elasticsearch之Logstash壓縮包安裝及同步mysql資料

一:安裝logstash

1.從官網下載.tar.gz壓縮包
下載地址為:https://www.elastic.co/downloads/logstash
2.將壓縮包解壓到隨意路徑
將壓縮包放在了usr/local路徑下

cd /usr/local
tar -xzf logstash-6.5.1.tar.gz

生成一個logstash-6.5.1資料夾

cd logstash-6.5.1

3.新增配置檔案
在安裝目錄下的config資料夾下,建立一個新的配置檔案,命名為:mysqlindex.conf(名字可以隨意)
內容如下:

input{
	stdin{}
	jdbc{
		jdbc_connection_string=>"jdbc:mysql://localhost:3306/databasename"
		jdbc_user=>"root"
		jdbc_password=>"password"
		jdbc_driver_library=>"/usr/local/mysql/mysql-connector-java-8.0.13.jar"#下載對應jdk版本的java-connector-driver
		jdbc_driver_class=>"com.mysql.jdbc.Driver"
		jdbc_paging_enabled=>
"true" jdbc_page_size=>"50000" statement=>"select * from products" schedule=>"* * * * *" type=>"productstype" } } output{ elasticsearch{ hosts=>"localhost:9200" index=>"products" document_id=>"%{id}" } stdout{ codec=>json_lines } }

注:此conf檔案編碼最好為utf-8,否則可能在啟動logstash時會出現編碼不對的錯誤資訊
4.開啟logstash
進入logstash的安裝目錄的bin檔案下
輸入:

./logstash -f ../config/mysqlindex.conf

此時會在控制檯上看到列印資訊,如果無錯誤資訊,稍後會開始同步你mysql資料庫中的資料。