（1）ElasticSearch搭配Kibana在linux環境的部署
1.簡介
這個章節主要介紹ElasticSearch+Kibana兩個元件在linux環境的部署步驟，以及在部署過程中遇到問題解決，暫就不涉及叢集部署知識點，後面章節再詳細講解這塊。下面讓我們來簡單瞭解下Elasticsearch與Kibana。
1.1Elasticsearch簡介
Elasticsearch是一個基於Lucene的搜尋伺服器，也是一個是一個分散式、高擴充套件、高實時的搜尋與資料分析引擎。它提供了一個分散式多使用者能力的全文搜尋引擎，基於RESTful web介面。Elasticsearch是用Java語言開發的，並作為Apache許可條款下的開放原始碼釋出，是一種流行的企業級搜尋引擎。官方客戶端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和許多其他語言中都是可用的。
Elasticsearch+Logstash（資料收集日誌解析引擎）+Kibana（分析和視覺化平臺）這三個產品被設計成一個整合解決方案，稱為“Elastic Stack”（以前稱為“ELK stack”）。
1.2Kibana簡介
Kibana是一個針對Elasticsearch而設計的開源分析及視覺化平臺，用來搜尋、檢視互動儲存在Elasticsearch索引中的資料。使用Kibana，可以通過各種圖表進行高階資料分析及展示。
2.前期準備
2.1下載elasticsearch元件
到官網下載頁https://www.elastic.co/cn/downloads/elasticsearch下載linux最新版本elasticsearch-7.8.0，如圖所示：
2.2下載kibana元件
到官網下載頁https://www.elastic.co/cn/downloads/kibana下載linux最新版本kibana-7.8.0，如圖所示：
2.3下載並安裝Xshell 6+Xftp 6
Xshell+Xftp下載安裝使用，這裡我就不多說了，度娘大把資料可以供大夥參考。下面簡要解釋下Xshell+Xftp用途：
Xshell是一個功能強大的安全終端模擬軟體，它支援SSH1, SSH2, 以及Microsoft Windows平臺的TELNET協議。Xshell可以在Windows介面下用來訪問遠端不同系統下的伺服器，從而達到遠端控制終端的目的。所以下面我都會使用Xshell在linux上編寫指令碼命令。
Xftp是一個功能強大的sftp、ftp檔案傳輸軟體。使用了Xftp以後，ms windows使用者能安全地在unix/linux和windows pc之間傳輸檔案。所以下面我都用Xftp做在linux和windows pc之間傳輸檔案。
3.Elasticsearch部署
3.1建立安裝包、Elasticsearch、kibana資料夾
在使用者目錄下建立安裝包、Elasticsearch、kibana這三個資料夾的目的是為了方便管理，預設目錄是/home/deng，建立資料夾命令如下：
//安裝包資料夾 mkdir /home/deng/installpackage //elasticsearch資料夾 mkdir /home/deng/elasticsearch //kibana資料夾 mkdir /home/deng/kibana
執行完所有命令後，通過Xftp，我們會看到/home/deng目錄下建立三個對應資料夾：
如果想刪除資料夾，具體命令如下：
//刪除資料夾 rm -rf /home/deng/installpackage
如果建立資料夾沒操作許可權，可以通過如下命令進行授權：
//修改檔案許可權 chmod -R 775 installpackage
再通過Xftp把之前下載好的elasticsearch-7.8.0-linux-x86_64.tar.gz、kibana-7.8.0-linux-x86_64.tar.gz安裝包傳輸到installpackage中：
3.2解壓Elasticsearch安裝包
先切換到elasticsearch資料夾目錄：
//切換elasticsearch資料夾 cd /home/deng/elasticsearch
把elasticsearch安裝包解壓到elasticsearch目錄當中：
//解壓elasticsearch安裝包 tar -zxvf /home/deng/installpackage/elasticsearch-7.8.0-linux-x86_64.tar.gz
3.3修改elasticsearch配置指定ES服務主機
先切換到elasticsearch資料夾config目錄：
//切換elasticsearch/config資料夾 cd /home/deng/elasticsearch/elasticsearch-7.8.0/config
使用vi文字編輯器修改elasticsearch.yml配置檔案：
//vi文字編輯器開啟elasticsearch.yml配置檔案 vi elasticsearch.yml
輸入修改命令：
//i修改 i
找到檔案中這兩項配置，把前面的#符號刪除開放出來並修改為如下內容：
network.host: 192.168.112.xxx http.port: 9200
修改完這兩項配置之後，因為7.0以後版本還需要修改如下兩個配置才能啟動，所以找到這兩項進行修改，如果bootstrap.system_call_filter屬性沒有就新增一行：
bootstrap.memory_lock: false bootstrap.system_call_filter: false
把上面四項配置修改後點選Esc按鈕退出編輯，輸入命令儲存退出：
//儲存退出 :wq
3.4啟動Elasticsearch服務
注意：ES啟動有可能會多次報錯，需要我們根據錯誤資訊重新修改下相關配置檔案。
3.4.1切換到bin目錄啟動Elasticsearch服務
//進入bin目錄 cd /home/deng/elasticsearch/elasticsearch-7.8.0/bin //啟動Elasticsearch服務或者後臺啟動模式 ./elasticsearch or ./elasticsearch -d
當我們啟動Elasticsearch服務時候，可能會遇到如下錯誤提示。
3.4.2root使用者不能啟動Elasticsearch服務
//無法以root使用者身份執行elasticsearch服務。 org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
根據上述錯誤提示，我們要建立一個使用者進行啟動Elasticsearch服務。而因為我安裝linux版本CentOS 7時候已經新建一個使用者deng，所以下面演示我就該使用者進行部署操作，如果你們在安裝過程中沒有新建，就使用以下命令新建一個使用者再啟動Elasticsearch服務：
//useradd 建立使用者賬號（預設在/home目錄下） useradd deng //passwd設定賬號的密碼 passwd 123456
3.4.3虛擬記憶體過低
//最大虛擬記憶體區域vm.max_map_count [65530]太低，至少增加到[262144] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
根據上述錯誤提示，我們需要修改下sysctl.conf系統配置檔案，但是如果當前使用者沒有root修改系統檔案許可權，那麼就得先su root使用者再進行如下操作：
vi /etc/sysctl.conf
輸入修改命令i，在空白處新增一行文字：
vm.max_map_count=262144
輸入:wq儲存退出後，再通過su deng切換回來，然後啟動Elasticsearch服務。
3.4.4elasticsearch程序的最大檔案描述符太低與管理員最大執行緒數太低
//elasticsearch程序的最大檔案描述符[4096]太低，請至少增加到[65535] max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535] //使用者[admin]的最大執行緒數[3818]太低，請至少增加到[4096] max number of threads [3818] for user [admin] is too low, increase to at least [4096]
根據上述錯誤提示，還是跟之前操作一樣，如果當前使用者沒有root修改系統檔案許可權，那麼就得先su root使用者再進行如下操作：
vi /etc/security/limits.conf
輸入修改命令i，在空白處新增四行文字：
* soft nofile 65535 * hard nofile 65535 * soft nproc 4096 * hard nproc 4096
輸入:wq儲存退出後，再通過su deng切換回來，然後啟動Elasticsearch服務。
3.4.5預設discovery設定不適合生產使用
//預設discovery設定不適合生產使用；至少有一個[discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes]必須配置 the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
根據上述錯誤，輸入命令進行如下操作：
vi elasticsearch.yml
輸入修改命令i，找到檔案中這項配置，把前面的#符號刪除開放出來並修改為如下內容：
cluster.initial_master_nodes: ["node-1"]
輸入:wq儲存退出後啟動Elasticsearch服務。
3.4.6無法獲取節點鎖
//無法獲取節點鎖 java.lang.IllegalStateException: failed to obtain node locks
這個錯誤原因是因為系統已經存在elasticsearch程序了，找出這個程序，把它kill掉重新啟動就可以了，具體操作命令如下：
//檢視elasticsearch程序 ps -ef | grep elasticsearch //kill程序ID，格式（kill -9 1111） kill -9 xxxx
然後重新啟動Elasticsearch服務。
3.4.7Elasticsearch服務正常啟動
如果還不能訪問，把linux系統防火牆關閉，操作防火牆命令如下：
//檢視防火狀態 systemctl status firewalld //暫時關閉防火牆 systemctl stop firewalld //永久關閉防火牆 systemctl disable firewalld //重啟防火牆 systemctl enable firewalld
成功訪問介面如下：
4.Kibana部署
因為之前已經建立好kibana資料夾，我們只需要把kibana安裝包解壓到對應資料夾中再啟動服務就好了。
4.1解壓Kibana安裝包
先切換到kibana資料夾目錄：
//切換kibana資料夾 cd /home/deng/kibana
把kibana安裝包解壓到kibana目錄當中：
//解壓kibana安裝包 tar -zxvf /home/deng/installpackage/kibana-7.8.0-linux-x86_64.tar.gz
4.2修改kibana配置指定kibana服務主機
先切換到kibana資料夾config目錄：
//切換kibana/config資料夾 cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/config
使用vi文字編輯器修改kibana.yml配置檔案：
//vi文字編輯器開啟kibana.yml配置檔案 vi kibana.yml
找到檔案中這三項配置輸入i修改，把前面的#符號刪除開放出來並修改為如下內容：
server.port: 5601 server.host: "192.168.112.xxx" elasticsearch.host: "http://192.168.112.xxx:9200"
如果需要修改為中文顯示：
i18n.locale: "zh-CN"
再切換到kibana資料夾bin目錄，啟動kibana服務：
//切換kibana/bin目錄 cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/bin //啟動kibana服務 ./kibana
成功訪問介面如下：
5.Elasticsearch開啟登入驗證功能
先停止Elasticsearch服務，配置X-Pack開啟安全配置功能：
//配置X-Pack開啟安全配置功能 xpack.security.enabled: true xpack.security.transport.ssl.enabled: true
重啟Elasticsearch服務，執行設定使用者名稱和密碼的命令，為elastic、kibana、logstash_system、beats_system四個使用者分別設定密碼：
//切換elasticsearch/bin目錄 cd /home/deng/elasticsearch/elasticsearch-7.8.0/bin //執行設定使用者名稱和密碼的命令，為4個使用者分別設定密碼：elastic、kibana、logstash_system、beats_system ./elasticsearch-setup-passwords interactive
如圖所示：
在瀏覽器上輸入Elasticsearch連結地址會看到如下介面：
輸入帳號elastic跟設定的密碼即可登入成功！
Elasticsearch設定使用者密碼後，還需要在Kibana上設定對應的帳號跟密碼，具體命令如下：
//切換kibana/config目錄 cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/config //設定Kibana登入帳號跟密碼 elasticsearch.username: "elastic" elasticsearch.password: "xxx"
如圖所示：
然後開啟Kibana服務，在瀏覽器上輸入Kibana地址會看到如下介面：
輸入帳號elastic跟設定的密碼即可登入成功！
參考文獻：
Elasticsearch官網