1. 程式人生 > >讓你見識見識什麼是ELK(E)

讓你見識見識什麼是ELK(E)

昨天部落格沒有寫,原因真得不想提,可能是我下載得ftp客戶端有注入木馬,導致登陸ftp伺服器得賬號和密碼被搞,資料庫惡意被黑,今天伺服器也很慢,可能是被攻擊了,頻寬被佔吧。下次真的注意,不去垃圾網址下載軟體了,言歸正傳,寫寫ELK這三兄弟吧,我準備分開單獨得去寫他們,下面開始。

要認識一個新物種首先得要知道他是什麼?幹什麼?有什麼用?

一、ELK詳解

Elasticsearch是個開源分散式搜尋引擎,它的特點有:分散式,零配置,自動發現,索引自動分片,索引副本機制,restful風格介面,多資料來源,自動搜尋負載等。
Logstash是一個完全開源的工具,他可以對你的日誌進行收集、過濾,並將其儲存供以後使用(如,搜尋)。
Kibana 也是一個開源和免費的工具,它Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 介面,可以幫助您彙總、分析和搜尋重要資料日誌。

其實說大白話就是收集分析處理日誌得一套工具!

二、執行流程

ELk執行流程
流程詳解:
LogStash負責收集Appserver產生的log,並存放在ElasticSearch叢集中,而kibana通過查詢存放在ElasticSearch中的資料產生圖表,再返回給Browser(電腦、手機等)

三、系統環境

System:Centos 6.7 x64
ElasticSearch: 2.4.0
LogStash: 2.4.0
Kibana: 4.2.0
Java: JDK 1.8 x64

其開發工具都依賴於java官網要求最新

四、安裝過程

既然說到分開來講訴,那麼就先來說說Elasticsearch安裝過程:


(要在非root使用者下安裝!切記!切記!切記!)
ElasticSearch是一個基於Lucene的搜尋伺服器。它提供了一個分散式多使用者能力的全文搜尋引擎,基於RESTful web介面。Elasticsearch是用Java開發的,並作為Apache許可條款下的開放原始碼釋出,是當前流行的企業級搜尋引擎

安裝步驟1
執行命令:tar –zxvf elasticsearch-2.4.0.tar.gz 解壓 備註:這裡解壓最好不用root使用者,如果已經用root使用者解壓,請執行命令將解壓後的資料夾 歸為其他非root使用者 eg:chown 使用者名稱:使用者名稱elasticsearch-2.4.0
安裝步驟2
2) 執行命令:修改配置檔案vim elasticsearch.yml 把下面幾項配置項的註釋打掉
cluster.name: my-application 名字可以隨意起
node.name: node-1 節點1 如果要搞叢集 這個地方就不要重複啦
path.data: /usr/local/es2.4.0/elasticsearch-2.4.0/data 改為自己安裝路徑
path.logs: /usr/local/es2.4.0/elasticsearch-2.4.0/logs 改為自己安裝路徑
network.host: 0.0.0.0 區域網連線的話 0.0.0.0就可以滿足了,也可以寫自己的ip
http.port: 9200 埠還是別動的好(叢集不存在)
安裝步驟3
3) 啟動有三種命令可以啟動(以下命令的啟動,除了info出現其他即為啟動失敗)
① 前臺執行:
bin/elasticsearch
② 後臺執行:
bin/elasticsearch –d
這種方式可通過命令:ps -ef
③ 後臺執行:
./bin/elasticsearch & 出現以下命令即為啟動成功,也可以通過上邊的命令進行查詢
SUCCESS
安裝步驟4
4) 安裝其外掛head,在安裝目錄下執行命令:
bin/plugin install mobz/elasticsearch-head
外掛會安裝到如下資料夾中
Success
Debug:elasticsearch_index_search_slowlog.log  此錯誤是因為log檔案沒有許可權,非root使用者無法讀取,執行命令 chmod 777 elasticsearchcd 啟動正常
備註:其他錯誤資訊,大多是與許可權有關,多注意看使用者是否具有讀寫這個檔案的許可權。

這樣我們的elasticsearch就安裝好了,接下來我們用倆種方式訪問虛擬機器訪問與本機訪問
虛擬機器訪問,(馬賽克的地方當然是填自己的ip嘍)
success
本機訪問, (馬賽克的地方當然是填自己的ip嘍)
success

    接下來我們訪問我們的外掛(head) 訪問網址為:http://ip:9200/_plugin/head/

success

接下來我們建立索引:

success

到這裡我們的Elasticsearch就告一段落了,接下來我們繼續安裝旅程。

這一節講訴了所有關於Elasticsearch得任何安裝以及簡單得運轉,吶!其實在一開始我是拒絕這個東西得,你懂的java程式設計師,弄個運維得黑視窗別提多噁心,任何看不懂得命令以及煩惱得依賴,但慢慢下來,其實很好得。我們不是說好要一起到全棧得麼? 233 我是黑貓,我在這裡,等著你!