2. 程式人生 > >etcd叢集備份和資料恢復

etcd叢集備份和資料恢復

阿新 • • 發佈：2018-12-11

etcd是一個分散式k-v資料庫，在kubernetes中使用其管理叢集的元資料。這裡介紹etcd叢集資料的備份和資料恢復的方法和步驟。

快照定期備份

crontab定期執行備份指令碼，每半小時備份一次，本地、異地都備份（暫定：本地備份保留最近10個備份，異地保留一個月的備份）

#!/bin/bash
#
ETCDCTL_PATH='/usr/etcd/bin/etcdctl'
ENDPOINTS='1.1.1.1:2379,1.1.1.2:2379,1.1.1.3:2379'
BACKUP_DIR='/home/apps/backup'
DATE=`date +%Y%m%d-%H%M%S`
[ ! -d $BACKUP_DIR ] && mkdir -p $BACKUP_DIR
export ETCDCTL_API=3;$ETCDCTL_PATH --endpoints=$ENDPOINTS snapshot save $BACKUP_DIR/snapshot-$DATE\.db
cd $BACKUP_DIR;ls -lt $BACKUP_DIR|awk '{if(NR>11){print "rm -rf "$9}}'|sh

映象叢集備份

提前準備部署好映象叢集

實時全量資料同步

nohup etcdctl make-mirror <destination>  &> /apps/logs/etcdmirror.log &

/apps/logs/etcdmirror.log會儲存已經同步的key數量，每30s列印一次

定期資料同步

crontab定期資料同步，為避免資料遭到誤刪除清空造成災難性影響，可恢復上一個同步週期之前的資料

#!/bin/bash
#
ETCDCTL_PATH='/apps/svr/etcd/bin/etcdctl'
ENDPOINTS='1.1.1.1:2379,1.1.1.2:2379,1.1.1.3:2379'
DEST_ENDPOINT='1.1.1.1:2389'
CMD="$ETCDCTL_PATH make-mirror --endpoints=$ENDPOINTS $DEST_ENDPOINT"
BaseName=$(basename $BASH_SOURCE)
export ETCDCTL_API=3
$CMD & echo $! > /tmp/$BaseName\.pid
sleep 90
kill `cat /tmp/$BaseName\.pid`

etcd叢集恢復

etcd叢集與zk叢集相似，建議採用基數裝置來搭建叢集，可用性為(N-1)/2，假設叢集數量N是3臺裝置，可最多可故障1臺裝置，而不影響叢集使用。

leader故障

當leader故障時，etcd叢集會自動選擇一個新leader，由於失敗檢測模型是基於超時的（heartbeat-interval），因此選舉新leader需要大約選舉超時。
在leader選舉期間，叢集不能處理任何寫入操作。在選舉期間傳送的寫入請求排隊等待處理，直到選出新的leader。
已經發送給old leader但尚未提交的文字可能會丟失。新leader有權重寫old leader的任何未提交的條目。從使用者的角度來看，一些寫入請求可能會超時，但是，沒有提交的寫入會丟失。

  • 檢視現時叢集情況
[root@ETCD-CLUSTER-001 bin]# export ETCDCTL_API=3;./etcdctl --write-out="table" --endpoints='10.201.46.112:2379,10.201.46.113:2379,10.201.46.114:2379' endpoint status 
+--------------------+------------------+---------+---------+-----------+-----------+------------+
|      ENDPOINT      |        ID        | VERSION | DB SIZE | IS LEADER | RAFT TERM | RAFT INDEX |
+--------------------+------------------+---------+---------+-----------+-----------+------------+
| 10.201.46.112:2379 | fd86741fb271523a | 3.1.10  | 25 kB   | false     |         2 |         10 |
| 10.201.46.113:2379 | fe2dd3624258de7  | 3.1.10  | 25 kB   | false     |         2 |         10 |
| 10.201.46.114:2379 | c649fd5192da5ca1 | 3.1.10  | 25 kB   | true      |         2 |         10 |
+--------------------+------------------+---------+---------+-----------+-----------+------------+
[root@ETCD-CLUSTER-001 bin]# export ETCDCTL_API=3;./etcdctl put hello nihao    
OK
  • 停止leader
  • 檢視日誌，在第3個選舉週期的時候已經選舉了新的leader

  • 叢集可以正常工作
[root@ETCD-CLUSTER-001 bin]# export ETCDCTL_API=3;./etcdctl get hello nihao   
hello
nihao

follower故障

  • 檢視現時叢集情況
  • 停掉一臺followe
[root@ETCD-CLUSTER-003 ~]# sh /apps/sh/etcd.sh stop
Stopping etcd:                                             [  OK  ]

  • 叢集正常工作
[root@ETCD-CLUSTER-001 bin]# export ETCDCTL_API=3;./etcdctl get hello nihao
hello
nihao

叢集故障恢復

為了從災難性故障中恢復，etcd v3提供了快照和恢復功能，以便在沒有v3金鑰資料丟失的情況下重新建立群集.
要恢復叢集，只需要一個快照“db”檔案。叢集恢復將etcdctl snapshot restore建立新的etcd資料目錄; 所有成員應該使用相同的快照進行恢復。恢復會覆蓋某些快照元資料（特別是成員ID和群集ID）; 該成員失去了其以前的身份。此元資料覆蓋可防止新成員無意中加入現有群集。因此，為了從快照啟動叢集，還原必須啟動新的邏輯叢集。

在還原時可以選擇驗證快照完整性。如果使用快照etcdctl snapshot save，它將具有通過檢查的完整性雜湊etcdctl snapshot restore。如果快照是從資料目錄複製的(配置檔案中的data-dir)，則不存在完整性雜湊，並且只能使用恢復--skip-hash-check。

儲存快照鍵空間

[root@ETCD-CLUSTER-001 bin]# export ETCDCTL_API=3;./etcdctl  --endpoints='10.201.46.112:2379,10.201.46.113:2379,10.201.46.114:2379' snapshot save ~/.snapshot.db
Snapshot saved at /root/.snapshot.db

恢復快照資訊

每臺機器上執行,

$ etcdctl snapshot restore snapshot.db \
  --name ETCD-CLUSTER-001 \
  --initial-cluster ETCD-CLUSTER-001=http://10.201.46.112:2380,ETCD-CLUSTER-002=http://10.201.46.113:2380,ETCD-CLUSTER-003=http://10.201.46.114:2380 \
  --initial-advertise-peer-urls http://10.201.46.112:2380
$ etcdctl snapshot restore snapshot.db \
  --name ETCD-CLUSTER-002 \
  --initial-cluster ETCD-CLUSTER-001=http://10.201.46.112:2380,ETCD-CLUSTER-002=http://10.201.46.113:2380,ETCD-CLUSTER-003=http://10.201.46.114:2380 \
  --initial-advertise-peer-urls http://10.201.46.113:2380
$ etcdctl snapshot restore snapshot.db \
  --name ETCD-CLUSTER-003 \
  --initial-cluster ETCD-CLUSTER-001=http://10.201.46.112:2380,ETCD-CLUSTER-002=http://10.201.46.113:2380,ETCD-CLUSTER-003=http://10.201.46.114:2380 \
  --initial-advertise-peer-urls http://10.201.46.114:2380

啟動etcd機器

sudo sh /apps/sh/etcd.sh start

叢集維護

剔除、新增成員

  • 檢視現有成員
[root@ETCD-CLUSTER-001 etcd-v3.2.17-linux-amd64]# export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl --write-out="table" --endpoints='1.1.1.1:2379,1.1.1.2:2379,1.1.1.3:2379' member list
+------------------+---------+------------------+---------------------------+-----------------------+
|        ID        | STATUS  |       NAME       |        PEER ADDRS         |     CLIENT ADDRS      |
+------------------+---------+------------------+---------------------------+-----------------------+
| 28c987fd1ef634f8 | started | ETCD-CLUSTER-003 | http://1.1.1.3:2380 | http://localhost:2379 |
| 635b8eabdf3280ef | started | ETCD-CLUSTER-002 | http://1.1.1.2:2380 | http://localhost:2379 |
| e9a434659e36d3bc | started | ETCD-CLUSTER-001 | http://1.1.1.1:2380 | http://localhost:2379 |
+------------------+---------+------------------+---------------------------+-----------------------+
  • 剔除成員
[root@ETCD-CLUSTER-001 etcd-v3.2.17-linux-amd64]# export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl  --endpoints='1.1.1.1:2379,1.1.1.2:2379,1.1.1.3:2379' member remove e9a434659e36d3bc
Member e9a434659e36d3bc removed from cluster 7055108fef63cdab
[root@ETCD-CLUSTER-001 etcd-v3.2.17-linux-amd64]# export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl --write-out="table" --endpoints='1.1.1.1:2379,1.1.1.2:2379,1.1.1.3:2379' member list
+------------------+---------+------------------+---------------------------+-----------------------+
|        ID        | STATUS  |       NAME       |        PEER ADDRS         |     CLIENT ADDRS      |
+------------------+---------+------------------+---------------------------+-----------------------+
| 28c987fd1ef634f8 | started | ETCD-CLUSTER-003 | http://1.1.1.3:2380 | http://localhost:2379 |
| 635b8eabdf3280ef | started | ETCD-CLUSTER-002 | http://1.1.1.2:2380 | http://localhost:2379 |
+------------------+---------+------------------+---------------------------+-----------------------+

新增成員至叢集

注意步驟順序

[root@ETCD-CLUSTER-001 ]# export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl  --endpoints='1.1.1.2:2379,1.1.1.3:2379' member add ETCD-CLUSTER-001  --peer-urls=http://1.1.1.1:2380
Member 433fd69a958b8432 added to cluster 7055108fef63cdab
ETCD_NAME="ETCD-CLUSTER-001"
ETCD_INITIAL_CLUSTER="ETCD-CLUSTER-003=http://1.1.1.3:2380,ETCD-CLUSTER-001=http://1.1.1.1:2380,ETCD-CLUSTER-002=http://1.1.1.2:2380"
ETCD_INITIAL_CLUSTER_STATE="existing"
[root@ETCD-CLUSTER-001 ]# export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl --write-out="table" --endpoints='1.1.1.2:2379,1.1.1.3:2379' member list            
+------------------+-----------+------------------+---------------------------+-----------------------+
|        ID        |  STATUS   |       NAME       |        PEER ADDRS         |     CLIENT ADDRS      |
+------------------+-----------+------------------+---------------------------+-----------------------+
| 28c987fd1ef634f8 | started   | ETCD-CLUSTER-003 | http://1.1.1.3:2380 | http://localhost:2379 |
| 433fd69a958b8432 | unstarted |                  | http://1.1.1.1:2380 |                       |
| 635b8eabdf3280ef | started   | ETCD-CLUSTER-002 | http://1.1.1.2:2380 | http://localhost:2379 |
+------------------+-----------+------------------+---------------------------+-----------------------+

刪除新增成員舊資料目錄，並且啟動新增成員etcd服務，加入叢集時要改下配置檔案，把初始化叢集狀態由new改成existing

[root@ETCD-CLUSTER-001 ~]# vim /apps/conf/etcd/etcd.conf 
initial-cluster-state: "existing"


[root@ETCD-CLUSTER-001 ~]# export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl --write-out="table" --endpoints='1.1.1.2:2379,1.1.1.3:2379' member list
+------------------+---------+------------------+---------------------------+-----------------------+
|        ID        | STATUS  |       NAME       |        PEER ADDRS         |     CLIENT ADDRS      |
+------------------+---------+------------------+---------------------------+-----------------------+
| 28c987fd1ef634f8 | started | ETCD-CLUSTER-003 | http://1.1.1.3:2380 | http://localhost:2379 |
| 433fd69a958b8432 | started | ETCD-CLUSTER-001 | http://1.1.1.1:2380 | http://localhost:2379 |
| 635b8eabdf3280ef | started | ETCD-CLUSTER-002 | http://1.1.1.2:2380 | http://localhost:2379 |
+------------------+---------+------------------+---------------------------+-----------------------+
 
[root@ETCD-CLUSTER-001 ~]# export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl --write-out="table" --endpoints='1.1.1.1:2379,1.1.1.2:2379,1.1.1.3:2379' endpoint status
+--------------------+------------------+---------+---------+-----------+-----------+------------+
|      ENDPOINT      |        ID        | VERSION | DB SIZE | IS LEADER | RAFT TERM | RAFT INDEX |
+--------------------+------------------+---------+---------+-----------+-----------+------------+
| 1.1.1.1:2379 | 433fd69a958b8432 | 3.1.10  | 98 kB   | false     |         3 |         13 |
| 1.1.1.2:2379 | 635b8eabdf3280ef | 3.1.10  | 98 kB   | false     |         3 |         13 |
| 1.1.1.3:2379 | 28c987fd1ef634f8 | 3.1.10  | 98 kB   | true      |         3 |         13 |
+--------------------+------------------+---------+---------+-----------+-----------+------------+

etcd v2資料遷移到v3版本

# 遷移前，需要逐臺服務停止
sh /apps/sh/etcd.sh stop
# 遷移資料,資料目錄根據實際填寫
export ETCDCTL_API=3
etcdctl --endpoints=$ENDPOINT migrate --data-dir="default.etcd" --wal-dir="default.etcd/member/wal"

# 逐臺服務啟動
sh /apps/sh/etcd.sh start
# 檢查確認資料已經遷移
export ETCDCTL_API=3;etcdctl --endpoints=$ENDPOINTS get /foo

快照條目數量調整

--snapshot-count：指定有多少事務（transaction）被提交時，觸發擷取快照儲存到磁碟，在v3.2之前的版本，預設的引數是10000條，3.2之後調整為100000條

這個條目數量不能配置過高或者過低，過低會導致頻繁的io壓力，過高會導致佔用高記憶體以及會導致etcd GC過慢。建議設定為10W-20W條。

歷史資料壓縮

key空間長期的時候，如果沒有做壓縮清理，到達上限的閾值時，叢集會處於一個只能刪除和讀的狀態，無法進行寫操作。因此對叢集的歷史日誌做一個壓縮清理是很有必要。

資料壓縮並不是清理現有資料，只是對資料的歷史版本進行清理，清理後資料的歷史版本將不能訪問，但不會影響現有最新資料的訪問。

手動壓縮

使用客戶端工具進行清理

#壓縮清理revision為10之前的歷史資料
[apps@test ~]$ export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl compaction 10
compacted revision 10
 
#訪問revision10之前的資料會提示已經不存在
[apps@test ~]$ export ETCDCTL_API=3;/apps/svr/etcd/bin/etcdctl get aa --rev=9
Error:  etcdserver: mvcc: required revision has been compacted

自動壓縮

使用--auto-compaction-retention=1，表示每小時進行一次資料壓縮。

碎片清理

進行compaction操作之後，舊的revision被壓縮，會產生內部的碎片，內部碎片是指空閒狀態的，能被後端使用但是仍然消耗儲存空間的磁碟空間。去碎片化實際上是將儲存空間還給檔案系統。

[apps@test ~]$ etcdctl defrag

相關推薦

etcd叢集備份和資料恢復

etcd是一個分散式k-v資料庫，在kubernetes中使用其管理叢集的元資料。這裡介紹etcd叢集資料的備份和資料恢復的方法和步驟。 本文來自於：https://www.maideliang.com/index.php/archives/25/ 快照定期備份 crontab定期執行備份指

MySQL的資料備份和資料恢復

1.資料備份(mysqldump,在Linux終端操作) 1.命令格式: mysqldump -u使用者名稱 -p 源庫名 > ****.sql 2.源庫名的表示方式 --all-databases 備份所有的庫 庫名

SQL Server 資料庫備份還原和資料恢復

認識資料庫備份和事務日誌備份 資料庫備份與日誌備份是資料庫維護的日常工作，備份的目的是在於當資料庫出現故障或者遭到破壞時可以根據備份的資料庫及事務日誌檔案還原到最近的時間點將損失降到最低點。 資料庫備份 資料庫備份可以手動備份和語句備份 一.手動備份資料庫 1.滑鼠右鍵選擇你要進行備份的資料

MongoDB 資料備份 mongodump 和資料恢復mongorestore

1、mongodump概述 MongoDB的所有資料都在/data/db/目錄下，備份資料庫就是建立資料目錄下所有檔案的副本。mongodump可以做資料庫級別和表級別的備份。 2、mongodump示例 此時會在當前資料夾下生產一個名為“dump”的資料夾。 如果直接使

Mysql 通過全量備份和binlog恢復整體數據

mysql 通過全量備份和binlog恢復整體數據 某天工作時間，一個二貨犯暈登錯生產當測試環境了，直接drop了一個數據庫,需要緊急恢復!可利用備份的數據文件以及增量的 binlog 文件進行數據恢復。具體思路歸納幾點：1、恢復條件為 MySQL 要開啟 binlog 日誌功能，並且要全備和增量的所有

MySQL第四天（用戶授權與撤銷，完全備份和完全恢復）

運維day04一、用戶授權與撤銷數據庫管理員密碼設置？1.1修改數據庫管理員本機登錄密碼[root@db2 ~]# mysqladmin -hlocalhost -uroot -p password "123456"Enter password: mysqladmin: [Warning]

MySQL第五天（增量備份和增量恢復）

sfdsday05一、數據備份與恢復-增量備份和增量恢復a.binlog日誌介紹（二進制文件）：使用Mysql數據庫服務日誌文件類型的一種。記錄除查詢之外的sql命令。默認沒啟用 查詢的sql包括：select desc show 不是查詢的命令：insert update delete create dr

MongoDB的mongodump備份和mongorestore恢復

MongoDB的mongodump備份和mongorestore恢復 一、前提：找到MongoDB的安裝路徑 二、mongodump：備份 1.功能：備份資料庫 2.語法 3.示例 三、mongorestore：恢復

mysql儲存過程以及日誌和資料恢復

MySQL儲存過程 Mysql儲存過程是一組為了完成特定功能的SQL語句集，經過編譯之後儲存在資料庫中， 當需要使用該組SQL語句時使用者只需要通過指定儲存過程的名字並給定引數就可以呼叫執行它了 簡而言之就是一組已經寫好的命令，需要使用的時候拿出來用就可以了。 \d //(修改語句結

Mysql----資料備份與資料恢復

資料備份（mysqldump，在linux終端操作） 1）命令格式：               mysqldump  -u使用者名稱  -p  源庫名  > 路徑[

使用O2OA二次開發搭建企業辦公平臺（七）平臺部署篇：伺服器備份和資料匯入匯出

  本部落格為O2OA系列教程、O2OA使用手冊，教程目錄和各章節天梯將在連載完後更新。 使用O2OA二次開發搭建企業辦公平臺（一）平臺部署篇：平臺下載和部署 使用O2OA二次開發搭建企業辦公平臺（二）平臺部署篇：埠衝突和伺服器埠配置 使用O2OA二次開發搭建企業辦公平

遷移 Linux 系統，第 1 部分 如何遷移備份和裸機恢復 Linux 系統

當硬體升級，更換儲存裝置或是遇到硬體故障時，需要遷移原來的作業系統及應用軟體到新的硬體裝置上。這個過程包含系統的遷移備份和裸機恢復，本文詳細描述了整個過程的細節。 災 難恢復 , 指自然或人為災害後，重新啟用資訊系統的資料、硬體及軟體裝置，恢復正常商業運作的過程。災難恢復是

雲端儲存合作伙伴解決方案_雲備份和雲恢復服務

儲存 COE (卓越中心) HCL 擁有一些執行儲存遷移（其中包括備份至 AWS S3 Glacier DR）的客戶參考案例。它還提供獲得專利的 HCL DryIce 框架，該框架構成了 BackupNXT、RecoverNXT ROBOace 等產品。

系統崩潰！win10系統修復和資料恢復方法總結

如今網際網路時代，使用Windows10系統的人越來越多了，但隨之而來的是更多人在面對Windows10系統崩潰後的不知所措。 那遇到系統崩潰該怎麼解決呢？今天小編就來分享win 10系統崩潰後的解決方法。 一、win 10系統崩潰解決方法 1、Shift鍵+重啟

利用xtrabackup進行增量備份和增量恢復的實驗

一.xtrabackup下載安裝 下載:http://www.percona.com/redir/downloads/XtraBackup 並解壓到/usr/local下: tar -xvf percona-xtrabackup-2.0.7-552.tar.gz -C /u

oracle資料庫表備份和表恢復 怎樣將Oracle一張表的多個欄位更新到另一張表中去

對於比較簡單的表，資料量不是特別多的表，可以使用簡單的sql語句來進行備份create table T_FA_Cat_20121207 as select * from T_FA_Cat 建立一個新表，把資料儲存起來 insert into  T_FA_Cat  sele

MySQL自動備份和手工恢復（可實現定時備份、保留最近7天、異地備份）

以下是windows下的批處理： 1set hour_str=%time:~0,2%2if"%hour_str:~0,1%"==""set"hour_str=0%hour_str:~1%"3set fileName=%date:~0,4%-%date:~5,2%-%dat

oracle的表和資料恢復

轉自：https://www.cnblogs.com/java-class/p/5817217.html閱讀目錄1. 表恢復   對誤刪的表，只要沒有使用 purge 永久刪除選項，那麼基本上是能從 flashback table 區恢復回來的。   資料表和其中的資料都是可

ip變更造成的redis叢集不可用的解決及資料備份和恢復

今天開啟電腦，連線redis，發現連線不上了... 原因是找不到主機...檢視虛擬機器ip，發現ip變了... 於是想到之前配置redis叢集的時候，在redis.conf中配置了bind為虛擬機

MySQL安裝及資料備份和恢復

MySQL二進位制格式安裝 首先下載mysql二進位制安裝包 //下載地址 [[email protected] src]# wget https://downloads.mysql.com/archives/get/file/mysql-5.7.22-lin