## 前言 本文主要介紹的是ELK日誌系統入門和使用教程。 ## ELK介紹 ELK是三個開源軟體的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟體。新增了一個FileBeat，它是一個輕量級的日誌收集處理工具(Agent)，Filebeat佔用資源少，適合於在各個伺服器上搜集日誌後傳輸給Logstash，官方也推薦此工具。 - Elasticsearch是個開源分散式搜尋引擎，提供蒐集、分析、儲存資料三大功能。它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。 - Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支援大量的資料獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。 - Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 介面，可以幫助彙總、分析和搜尋重要資料日誌。 - Filebeat是一個輕量型日誌採集器，可以方便的同kibana整合，啟動filebeat後，可以直接在kibana中觀看對日誌檔案進行detail的過程。 ## ELasticSearch介紹 ### **ElasticSearch是什麼** > Elasticsearch 是一個基於JSON的分散式搜尋和分析引擎。它可以從RESTful Web服務介面訪問，並使用模式少JSON(JavaScript物件符號)文件來儲存資料。它是基於Java程式語言，這使Elasticsearch能夠在不同的平臺上執行。使使用者能夠以非常快的速度來搜尋非常大的資料量。 ### **ElasticSearch可以做什麼** > - 分散式的實時檔案儲存，每個欄位都被索引並可被搜尋 > - 分散式的實時分析搜尋引擎 > - 可以擴充套件到上百臺伺服器，處理PB級結構化或非結構化資料 ### **Lucene是什麼** > ApacheLucene將寫入索引的所有資訊組織成一種倒排索引（Inverted Index）的結構之中，該結構是種將詞項對映到文件的資料結構。其工作方式與傳統的關係資料庫不同，大致來說倒排索引是面向詞項而不是面向文件的。且Lucene索引之中還儲存了很多其他的資訊，如詞向量等等，每個Lucene都是由多個段構成的，每個段只會被建立一次但會被查詢多次，段一旦建立就不會再被修改。多個段會在段合併的階段合併在一起，何時合併由Lucene的內在機制決定，段合併後數量會變少，但是相應的段本身會變大。段合併的過程是非常消耗I/O的，且與之同時會有些不再使用的資訊被清理掉。在Lucene中，將資料轉化為倒排索引，將完整串轉化為可用於搜尋的詞項的過程叫做分析。文字分析由分析器（Analyzer）來執行，分析其由分詞器（Tokenizer），過濾器（Filter）和字元對映器（Character Mapper）組成，其各個功能顯而易見。 更多ElasticSearch的相關介紹可以檢視我的這篇博文:https://www.cnblogs.com/xuwujing/p/12093933.html ## Logstash介紹 Logstash是一個數據流引擎： > 它是用於資料物流的開源流式ETL引擎,在幾分鐘內建立資料流管道,具有水平可擴充套件及韌性且具有自適應緩衝,不可知的資料來源,具有200多個整合和處理器的外掛生態系統,使用Elastic Stack監視和管理部署 Logstash包含3個主要部分： 輸入(inputs)，過濾器(filters)和輸出(outputs)。 inputs主要用來提供接收資料的規則，比如使用採集檔案內容； filters主要是對傳輸的資料進行過濾，比如使用grok規則進行資料過濾； outputs主要是將接收的資料根據定義的輸出模式來進行輸出資料，比如輸出到ElasticSearch中. 示例圖:  ## Kibana介紹 > Kibana 是一款開源的資料分析和視覺化平臺，它是 Elastic Stack 成員之一，設計用於和 Elasticsearch 協作。您可以使用 Kibana 對 Elasticsearch 索引中的資料進行搜尋、檢視、互動操作。您可以很方便的利用圖表、表格及地圖對資料進行多元化的分析和呈現。 Kibana 可以使大資料通俗易懂。它很簡單，基於瀏覽器的介面便於您快速建立和分享動態資料儀表板來追蹤 Elasticsearch 的實時資料變化。 ## Filebeat介紹 Filebeat 是使用 Golang 實現的輕量型日誌採集器，也是 Elasticsearch stack 裡面的一員。本質上是一個 agent ，可以安裝在各個節點上，根據配置讀取對應位置的日誌，並上報到相應的地方去。 Filebeat 的可靠性很強，可以保證日誌 At least once 的上報，同時也考慮了日誌蒐集中的各類問題，例如日誌斷點續讀、檔名更改、日誌 Truncated 等。 Filebeat 並不依賴於 ElasticSearch，可以單獨存在。我們可以單獨使用Filebeat進行日誌的上報和蒐集。filebeat 內建了常用的 Output 元件, 例如 kafka、ElasticSearch、redis 等，出於除錯考慮，也可以輸出到 console 和 file 。我們可以利用現有的 Output 元件，將日誌進行上報。 當然，我們也可以自定義 Output 元件，讓 Filebeat 將日誌轉發到我們想要的地方。 filebeat 其實是 elastic/beats 的一員，除了 filebeat 外，還有 HeartBeat、PacketBeat。這些 beat 的實現都是基於 libbeat 框架。 Filebeat 由兩個主要元件組成：harvester 和 prospector。 採集器 harvester 的主要職責是讀取單個檔案的內容。讀取每個檔案，並將內容傳送到 the output。 每個檔案啟動一個 harvester，harvester 負責開啟和關閉檔案，這意味著在執行時檔案描述符保持開啟狀態。如果檔案在讀取時被刪除或重新命名，Filebeat 將繼續讀取檔案。 查詢器 prospector 的主要職責是管理 harvester 並找到所有要讀取的檔案來源。如果輸入型別為日誌，則查詢器將查詢路徑匹配的所有檔案，併為每個檔案啟動一個 harvester。每個 prospector 都在自己的 Go 協程中執行。 **注：Filebeat prospector只能讀取本地檔案， 沒有功能可以連線到遠端主機來讀取儲存的檔案或日誌。** 示例圖:  ## ELK日誌系統安裝 ### 環境準備 ELK下載地址推薦使用清華大學或華為的開源映象站。 **下載地址:** https://mirrors.huaweicloud.com/logstash https://mirrors.tuna.tsinghua.edu.cn/ELK ELK7.3.2百度網盤地址: 連結：https://pan.baidu.com/s/1tq3Czywjx3GGrreOAgkiGg 提取碼：cxng ### ELasticSearch叢集安裝 ElasticSearch叢集安裝依賴JDK，本文的ElasticSearch版本為7.3.2，對應的JDK的版本為12。 #### 1，檔案準備 將下載好的elasticsearch檔案解壓 輸入: > tar -xvf elasticsearch-7.3.2-linux-x86_64.tar.gz 然後移動到/opt/elk資料夾 裡面，沒有該資料夾則建立,然後將資料夾重新命名為masternode. 在/opt/elk輸入 > mv elasticsearch-7.3.2-linux-x86_64 /opt/elk mv > elasticsearch-7.3.2-linux-x86_64 masternode #### 2，配置修改 因為elasticsearch需要在非root的使用者下面操作，並且elasticsearch的資料夾的許可權也為非root許可權， 因此我們需要建立一個使用者進行操作，我們建立一個elastic使用者，並賦予該目錄的許可權。 命令如下: > [adduser elastic]() > > chown -R elastic:elastic /opt/elk/masternode 這裡我們順便再來指定ElasticSearch資料和日誌存放的路徑地址，我們可以先使用df -h命令檢視當前系統的盤主要的磁碟在哪，然後在確認資料和日誌存放的路徑，如果在/home 目錄下的話，我們就在home目錄下建立ElasticSearch資料和日誌的資料夾，這裡為了區分，我們可以根據不同的節點建立不同的資料夾。這裡的資料夾建立用我們剛剛建立好的使用者去建立，切換到elastic使用者，然後建立資料夾。 > su elastic > > mkdir /home/elk > mkdir /home/elk/masternode > mkdir /home/elk/masternode/data > mkdir /home/elk/masternode/logs > mkdir /home/elk/datanode > mkdir /home/elk/datanode/data > mkdir /home/elk/datanode/logs 建立成功之後，我們先修改masternode節點的配置，修改完成之後在同級目錄進行copy一下，名稱為datanode，然後只需少許更改datanode節點的配置即可。這裡我們要修改elasticsearch.yml和jvm.options檔案即可！ 注意這裡還是elastic使用者！ > > cd /opt/elk/ > > vim masternode/config/elasticsearch.yml > vim masternode/config/jvm.options **masternode配置** 這裡需要注意的是elasticsearch7.x的配置和6.x有一些不同，主要是在master選舉這塊。 masternode的elasticsearch.yml檔案配置如下: > cluster.name: pancm-cluster > node.name: master-1 > network.host: 192.168.0.1 > path.data: /home/elastic/masternode/data > path.logs: /home/elastic/masternode/logs > discovery.seed_hosts: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"] > cluster.initial_master_nodes: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"] > node.master: true > node.data: false > transport.tcp.port: 9301 > http.port: 9201 > network.tcp.keep_alive: true > network.tcp.no_delay: true > transport.tcp.compress: true > cluster.routing.allocation.cluster_concurrent_rebalance: 16 > cluster.routing.allocation.node_concurrent_recoveries: 16 > cluster.routing.allocation.node_initial_primaries_recoveries: 16 **elasticsearch.yml**檔案引數配置說明: - cluster.name: 叢集名稱，同一叢集的節點配置應該一致。es會自動發現在同一網段下的es，如果在同一網段下有多個叢集，就可以用這個屬性來區分不同的叢集。 - node.name: 該節點的名稱。命名格式建議為節點屬性+ip末尾 - path.data: 資料存放的路徑。 - path.logs: 日誌存放的路徑。 - network.host: 設定ip地址，可以是ipv4或ipv6的，預設為0.0.0.0。 - transport.tcp.port:設定節點間互動的tcp埠，預設是9300。 - http.port:設定對外服務的http埠，預設為9200。 - node.master: 指定該節點是否有資格被選舉成為node，預設是true。 - node.data: 指定該節點是否儲存索引資料，預設為true。 - 。。。 將jvm.options配置Xms和Xmx改成4G，配置如下: > -Xms4g > -Xmx4g **datanode配置** 在配置完masternode節點的ElasticSearch之後，我們再來配置datanode節點的，我們將masternode節點copy一份並重命名為datanode，然後根據上述示例圖中紅色框出來簡單更改一下即可。 命令如下: > cd /opt/elk/ > cp -r masternode/ datanode > vim datanode/config/elasticsearch.yml > vim datanode/config/jvm.options datenode的elasticsearch.yml檔案配置如下: > cluster.name: pancm-cluster > node.name: data-1 > network.host: 192.168.0.1 > path.data: /home/elastic/datanode/data > path.logs: /home/elastic/datanode/logs > discovery.seed_hosts: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"] > cluster.initial_master_nodes: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"] > node.master: false > node.data: true > transport.tcp.port: 9300 > http.port: 9200 > network.tcp.keep_alive: true > network.tcp.no_delay: true > transport.tcp.compress: true > cluster.routing.allocation.cluster_concurrent_rebalance: 16 > cluster.routing.allocation.node_concurrent_recoveries: 16 > cluster.routing.allocation.node_initial_primaries_recoveries: 16 datanode的jvm配置請遵循如下規則，如果記憶體小於64G，則取對半，否則取32G。比如記憶體16G，該jvm設定8G，如果是128G，就可以設定32G。 將jvm.options配置Xms和Xmx改成8G，配置如下: > -Xms8g > -Xmx8g **注:配置完成之後需要使用ll命令檢查一下masternode和datanode許可權是否屬於elastic使用者的，若不屬於，可以使用chown -R elastic:elastic +路徑 命令進行賦予許可權。** 上述配置完成之後，可以使用相同的方法在其他的機器在操作一次，或者使用ftp工具進行傳輸，又或者使用scp命令進行遠端傳輸檔案然後根據不同的機器進行不同的修改。 scp命令示例: jdk環境傳輸: > scp -r /opt/java root@slave1:/opt > scp -r /opt/java root@slave2:/opt ElasticSearch環境傳輸: > scp -r /opt/elk root@slave1:/opt > scp -r /home/elk root@slave1:/opt > scp -r /opt/elk root@slave2:/opt > scp -r /home/elk root@slave2:/opt 傳輸完成之後，在其他服務主要修改node.name、network.host這兩個配置即可。 #### 3，elasticsearch啟動 完成elasticsearch叢集安裝配置之後，需要使用elastic使用者來進行啟動，每臺機器的每個節點都需要進行操作！ 在/opt/elk的目錄下輸入: > su elastic > cd /opt/elk > ./masternode/bin/elasticsearch -d > ./datanode/bin/elasticsearch -d 啟動成功之後，可以輸入jps命令進行檢視或者在瀏覽器上輸入 ip+9200或ip+9201進行檢視。 出現以下介面表示成功！  Elasticsearch的6.x版本可以看這篇文章:https://www.cnblogs.com/xuwujing/p/11385255.html ### Kibana安裝 **注：只需要在一臺伺服器上安裝即可！** #### 1，檔案準備 將下載下來的kibana-7.3.2-linux-x86_64.tar.gz的配置檔案進行解壓 在linux上輸入: > tar -xvf kibana-7.3.2-linux-x86_64.tar.gz 然後移動到/opt/elk 裡面，然後將資料夾重新命名為 kibana-7.3.2 輸入: > mv kibana-7.3.2-linux-x86_64 /opt/elk > mv kibana-7.3.2-linux-x86_64 kibana-7.3.2 #### 2，配置修改 進入資料夾並修改kibana.yml配置檔案: > cd /opt/elk/kibana-7.3.2 > vim config/kibana.yml 將配置檔案新增如下配置: > server.port: 5601 > server.host: "192.168.0.1" > elasticsearch.hosts: ["http://192.168.0.1:9200"] > elasticsearch.requestTimeout: 180000 #### 3，Kinaba 啟動 在啟動這塊，和kibana6.x有一些區別。 **root使用者下啟動** 在kibana上一級資料夾輸入: > nohup ./kibana-7.3.2/bin/kibana --allow-root >/dev/null 2>&1 & **非root使用者啟動** 需要將kibana設定的許可權改為對用的使用者許可權 許可權修改命令例項: > chown -R elastic:elastic /opt/elk/kibana-7.3.2 非root使用者啟動命令: > nohup ./kibana-7.3.2/bin/kibana >/dev/null 2>&1 & 啟動成功之後再瀏覽器輸入: http://IP:5601  示例圖:  ### Logstash安裝 **注：只需要在一臺伺服器上安裝即可！** #### 1，檔案準備 將下載下來的logstash-7.3.2.tar.gz的配置檔案進行解壓 在linux上輸入: > tar -xvf logstash-7.3.2.tar.gz 然後移動到/opt/elk 裡面，然後將資料夾重新命名為 logstash-7.3.2 輸入: > mv logstash-7.3.2.tar /opt/elk > mv logstash-7.3.2.tar logstash-7.3.2 #### 2，配置修改 進入資料夾並建立logstash-filebeat.conf配置檔案: > cd /opt/elk/logstash-7.3.2 > touch logstash-filebeat.conf > vim logstash-filebeat.conf 在配置檔案新增如下配置，filter部分請根據對應情況修改 > input { > beats { > type => "java" > port => "5044" > } > } > > > filter { > grok { > match => { "message" =>"\|%{DATA:log_time}\|%{DATA:thread}\|%{DATA:log_level}\|%{DATA:class_name}\|-%{GREEDYDATA:content}" } > } > > ruby { > code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" > } > ruby { > code => "event.set('@timestamp',event.get('timestamp'))" > } > mutate { > remove_field => ["timestamp"] > } > > date { > match => [ "log_timestamp", "yyyy-MM-dd-HH:mm:ss" ] > locale => "cn" > } > > > mutate { > rename => { "host" => "host.name" } > } > > } > > output { > > stdout { > codec => rubydebug > } > elasticsearch { > hosts => ["192.168.0.1:9200"] > index => "mylogs-%{+YYYY.MM.dd}" > } > } - port :是logstash接受filebeat資料的埠，保證filebeat傳輸到logstash的埠是該埠即可。 - hosts: 這個填寫elasticsearch的地址和設定的埠，叢集地址可以用逗號隔開。 - Index : 寫入索引庫的名稱。%{+YYYY.MM.dd} 表示按天建立索引庫。 #### 3，Logstash 啟動 root使用者下啟動 在 Logstash 資料夾輸入: > > nohup ./bin/logstash -f logstash-filebeat.conf >/dev/null 2>&1 & 或對配置檔案進行熱載入啟動: > nohup ./bin/logstash -f logstash-filebeat.conf --config.reload.automatic >/dev/null 2>&1 & 示例圖:  ### Filebeat安裝 #### 1，檔案準備 將下載下來的filebeat-7.3.2-linux-x86_64.gz的配置檔案進行解壓 在linux上輸入: > tar -xvf filebeat-7.3.2-linux-x86_64.tar.gz 然後移動到/opt/elk 裡面，然後將資料夾重新命名為 filebeat-7.3.2 輸入 > mv filebeat-7.3.2-linux-x86_64 /opt/elk > mv filebeat-7.3.2-linux-x86_64 filebeat-7.3.2 配置啟動測試，使用root使用者在filebeat資料夾輸入: > ./filebeat -c filebeat_test.yml test config 啟動命令: > ./filebeat -e -c filebeat_logstash.yml 後臺啟動命令: > nohup ./filebeat -c filebeat_logstash.yml >/dev/null 2>&1 & 若是後臺啟動，可以在filebeat統計目錄的logs目錄檢視日誌資訊。 ## 其它 [ElasticSearch實戰系列](https://www.cnblogs.com/xuwujing/tag/elasticsearch/): - [ElasticSearch實戰系列一: ElasticSearch叢集+Kinaba安裝教程](https://www.cnblogs.com/xuwujing/p/11385255.html) - [ElasticSearch實戰系列二: ElasticSearch的DSL語句使用教程---圖文詳解](https://www.cnblogs.com/xuwujing/p/11567053.html) - [ElasticSearch實戰系列三: ElasticSearch的JAVA API使用教程](https://www.cnblogs.com/xuwujing/p/11645630.html) - [ElasticSearch實戰系列四: ElasticSearch理論知識介紹](https://www.cnblogs.com/xuwujing/p/12093933.html) - [ElasticSearch實戰系列五: ElasticSearch的聚合查詢基礎使用教程之度量(Metric)聚合](https://www.cnblogs.com/xuwujing/p/12385903.html) - [ElasticSearch實戰系列六: Logstash快速入門](https://www.cnblogs.com/xuwujing/p/13412108.html) - [ElasticSearch實戰系列七: Logstash實戰使用-圖文講解](https://www.cnblogs.com/xuwujing/p/13520666.html) - [ElasticSearch實戰系列八: Filebeat快速入門和使用---圖文詳解](https://www.cnblogs.com/xuwujing/p/13532125.html) ### 音樂推薦 原創不易，如果感覺不錯，希望給個推薦！您的支援是我寫作的最大動力！ 版權宣告: 作者：虛無境 部落格園出處：http://www.cnblogs.com/xuwujing CSDN出處：http://blog.csdn.net/qazwsxpcm 掘金出處：https://juejin.im/user/5ae45d5bf265da0b8a6761e4　　　　 個人部落格出處：http://www.panchengm