為分散式監控系統Zabbix配置TiDB資料庫
一、認識 TiDB
1. TiDB 簡介
TiDB 是 PingCAP 公司基於 Google Spanner / F1 論文實現的開源分散式 NewSQL 資料庫。
TiDB 具備如下 NewSQL 核心特性:
SQL支援 (TiDB 是 MySQL 相容的)
水平線性彈性擴充套件
分散式事務
跨資料中心資料強一致性保證
故障自恢復的高可用
TiDB 的設計目標是 100% 的 OLTP 場景和 80% 的 OLAP 場景。
TiDB 對業務沒有任何侵入性,能優雅的替換傳統的資料庫中介軟體、資料庫分庫分表等 Sharding 方案。同時它也讓開發運維人員不用關注資料庫 Scale 的細節問題,專注於業務開發,極大的提升研發的生產力。
2. TiDB 整體架構
要深入瞭解 TiDB 的水平擴充套件和高可用特點,首先需要了解 TiDB 的整體架構。
TiDB 叢集主要分為三個元件:
TiDB Server
TiDB Server 負責接收 SQL 請求,處理 SQL 相關的邏輯,並通過 PD 找到儲存計算所需資料的 TiKV 地址,與 TiKV 互動獲取資料,最終返回結果。 TiDB Server 是無狀態的,其本身並不儲存資料,只負責計算,可以無限水平擴充套件,可以通過負載均衡元件(如LVS、HAProxy 或 F5)對外提供統一的接入地址。
PD Server
Placement Driver (簡稱 PD) 是整個叢集的管理模組,其主要工作有三個: 一是儲存叢集的元資訊(某個 Key 儲存在哪個 TiKV 節點);二是對 TiKV 叢集進行排程和負載均衡(如資料的遷移、Raft group leader 的遷移等);三是分配全域性唯一且遞增的事務 ID。
PD 是一個叢集,需要部署奇數個節點,一般線上推薦至少部署 3 個節點。
TiKV Server
TiKV Server 負責儲存資料,從外部看 TiKV 是一個分散式的提供事務的 Key-Value 儲存引擎。儲存資料的基本單位是 Region,每個 Region 負責儲存一個 Key Range (從 StartKey 到 EndKey 的左閉右開區間)的資料,每個 TiKV 節點會負責多個 Region 。TiKV 使用 Raft 協議做複製,保持資料的一致性和容災。副本以 Region 為單位進行管理,不同節點上的多個 Region 構成一個 Raft Group,互為副本。資料在多個 TiKV 之間的負載均衡由 PD 排程,這裡也是以 Region 為單位進行排程。
3. 核心特性
水平擴充套件
無限水平擴充套件是 TiDB 的一大特點,這裡說的水平擴充套件包括兩方面:計算能力和儲存能力。TiDB Server 負責處理 SQL 請求,隨著業務的增長,可以簡單的新增 TiDB Server 節點,提高整體的處理能力,提供更高的吞吐。TiKV 負責儲存資料,隨著資料量的增長,可以部署更多的 TiKV Server 節點解決資料 Scale 的問題。PD 會在 TiKV 節點之間以 Region 為單位做排程,將部分資料遷移到新加的節點上。所以在業務的早期,可以只部署少量的服務例項(推薦至少部署 3 個 TiKV, 3 個 PD,2 個 TiDB),隨著業務量的增長,按照需求新增 TiKV 或者 TiDB 例項。
高可用
高可用是 TiDB 的另一大特點,TiDB/TiKV/PD 這三個元件都能容忍部分例項失效,不影響整個叢集的可用性。下面分別說明這三個元件的可用性、單個例項失效後的後果以及如何恢復。
TiDB
TiDB 是無狀態的,推薦至少部署兩個例項,前端通過負載均衡元件對外提供服務。當單個例項失效時,會影響正在這個例項上進行的 Session,從應用的角度看,會出現單次請求失敗的情況,重新連線後即可繼續獲得服務。單個例項失效後,可以重啟這個例項或者部署一個新的例項。
PD
PD 是一個叢集,通過 Raft 協議保持資料的一致性,單個例項失效時,如果這個例項不是 Raft 的 leader,那麼服務完全不受影響;如果這個例項是 Raft 的 leader,會重新選出新的 Raft leader,自動恢復服務。PD 在選舉的過程中無法對外提供服務,這個時間大約是3秒鐘。推薦至少部署三個 PD 例項,單個例項失效後,重啟這個例項或者新增新的例項。
TiKV
TiKV 是一個叢集,通過 Raft 協議保持資料的一致性(副本數量可配置,預設儲存三副本),並通過 PD 做負載均衡排程。單個節點失效時,會影響這個節點上儲存的所有 Region。對於 Region 中的 Leader 結點,會中斷服務,等待重新選舉;對於 Region 中的 Follower 節點,不會影響服務。當某個 TiKV 節點失效,並且在一段時間內(預設 10 分鐘)無法恢復,PD 會將其上的資料遷移到其他的 TiKV 節點上。
二、為zabbix配置TiDB資料庫
本文配置測試環境為rhel7.2 x86_64bit,且已經安裝zabbix-server並且配置過mariadb資料庫
1. TiDB 安裝前系統配置與檢查
檔案系統 TiDB 部署環境推薦使用 ext4 檔案系統
Swap 空間 TiDB 部署推薦關閉 Swap 空間
Disk Block Size 設定系統磁碟 Block 大小為 4096
selinux處於disabled狀態
防火牆關閉:請檢視 TiDB 所需埠在各個節點之間是否能正常訪問
2. 下載官方 Binary
# 下載壓縮包
wget http://download.pingcap.org/tidb-latest-linux-amd64.tar.gz
wget http://download.pingcap.org/tidb-latest-linux-amd64.sha256
# 檢查檔案完整性,返回 ok 則正確
sha256sum -c tidb-latest-linux-amd64.sha256
# 解開壓縮包(在所有tidb主機中都要有二進位制包)
tar -xzf tidb-latest-linux-amd64.tar.gz
cd tidb-latest-linux-amd64
3. 功能性測試部署
這裡我將使用四個節點,部署一個 PD,三個 TiKV,以及一個 TiDB,各個節點以及所執行服務資訊如下:
hostname | IP | 安裝的系統服務 |
---|---|---|
lockey41 | 192.168.0.41 | PD1, TiDB,zabbix-server,web |
lockey151 | 192.168.0.151 | TiKV1 |
lockey152 | 192.168.0.152 | TiKV2 |
lockey153 | 192.168.0.153 | TiKV3 |
按如下步驟依次啟動 PD 叢集,TiKV 叢集以及 TiDB:
注意:以下啟動各個應用程式元件例項的時候,請選擇後臺啟動,避免前臺失效後程序自動退出。
cd tidb-latest-linux-amd64
步驟一. 在lockey41 啟動 PD:
./bin/pd-server --name=pd1 --data-dir=pd1 --client-urls="http://192.168.0.41:2379" --peer-urls="http://192.168.0.41:2380" --initial-cluster="pd1=http://192.168.0.41:2380" --log-file=pd.log &
步驟二. 在 lockey151,lockey152,lockey153 啟動 TiKV:
lockey151
./bin/tikv-server --pd="192.168.0.41:2379" --addr="192.168.0.151:20160" --data-dir=tikv1 --log-file=tikv.log &
lockey152
./bin/tikv-server --pd="192.168.0.41:2379" --addr="192.168.0.152:20160" --data-dir=tikv1 --log-file=tikv.log &
lockey153
./bin/tikv-server --pd="192.168.0.41:2379" --addr="192.168.0.151:20160" --data-dir=tikv1 --log-file=tikv.log &
步驟三. 在 lockey41 啟動 TiDB:
./bin/tidb-server
對於各服務的啟動狀態和資料庫埠可以使用以下命令檢查:
ps -aux | grep server
netstat -antlp | grep 4000
步驟四. 使用 MySQL 客戶端連線 TiDB:
這一步如果OK的話基本的資料庫配置就成功了,接下來需要往zabbix應用中進行整合;如果這一步出現問題請先檢查防火牆(systemctl status firewalld)是否關閉以及各服務是否正常啟動
[[email protected] zabbix-server-mysql-3.4.2]# mysql -h 127.0.0.1 -P 4000 -ulockey -plockey23
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.7.1-TiDB-0.9.0 MySQL Community Server (Apache License 2.0)
Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MySQL [test]> CREATE DATABASE zabbix CHARSET 'utf8';
Query OK, 0 rows affected (0.07 sec)
MySQL [test]> GRANT ALL ON zabbix.* TO 'lockey'@'192.168.%.%' IDENTIFIED BY 'lockey23';
Query OK, 1 row affected (0.01 sec)
MySQL [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| INFORMATION_SCHEMA |
| zabbix |
+--------------------+
2 rows in set (0.00 sec)
記得往資料庫中匯入資料
[[email protected] ~]# cd /usr/share/doc/zabbix-server-mysql-3.4.2/
[[email protected] zabbix-server-mysql-3.4.2]# tar -zxvf create.sql.gz
[[email protected] zabbix-server-mysql-3.4.2]# mysql -h 192.168.0.41 -P 4000 -ulockey -plockey23 zabbix<create.sql
4. 將TiDB整合到zabbix中去
修改之前的zabbix-server配置檔案
vim /etc/zabbix/zabbix_server.conf
DBPort=4000##特別注意這一行
修改zabbix的web(php)配置
[[email protected] web]# pwd
/etc/zabbix/web
[[email protected] web]# vim zabbix.conf.php
。。。
$DB['TYPE'] = 'MYSQL';
$DB['SERVER'] = '192.168.0.41';####
$DB['PORT'] = '4000';####
$DB['DATABASE'] = 'zabbix';
$DB['USER'] = 'lockey';
$DB['PASSWORD'] = 'lockey23';
。。。
如果上邊的配置沒有修改則會出現以下錯誤:
Database error Error connecting to database: Can't connect to local MySQL server through socket
上邊步驟如果都OK將可以正常登入(初始使用者名稱密碼Admin/zabbix)
登入成功首頁如下展示: