2. 程式人生 > >MongoDB副本集配置和資料遷移實戰

MongoDB副本集配置和資料遷移實戰

阿新 • • 發佈：2018-11-25

MongoDB副本集配置和資料遷移實戰

https://gitee.com/et/ops/blob/master/MongoDB副本集配置和資料遷移實戰.md

環境：Ubuntu 16.04, MongoDB 3.6

基本概念

MongoDB 的副本集就是有自動故障恢復功能的 MongoDB 主從叢集。由於 MongoDB 的主從複製功能不支援高可用，所以從 3.2 版本開始已經被廢棄了，轉而用副本集來代替。一個副本集總會有一個活躍節點（Primary）和若干個備份節點（Secondary），還有一個可選的一個仲裁者(Arbiter)節點來實現HA中的故障切換。

準備工作

配置副本集 Primary 和 Secondary 節點

  • 建立資料目錄
$ mkdir -p /mnt/mongodb/replset
  • 啟動名為“my-repl”的副本集，埠為27017，繫結到任意IP（也可以指定IP）
$ mongod --dbpath /mnt/mongodb/replset --port 27017 --replSet "my-repl" --bind_ip_all
  • 初始化副本集
    • 用mongo客戶端連線 Primary 節點：
    $ mongo
    • 執行初始化指令碼來建立副本集：
    > rs.initiate({
 _id:"my-repl",
  members:[
    {_id:0, host:"192.168.10.58:27017"},
    {_id:1, host:"192.168.10.59:27017"}
  ]
});
    輸出結果: 
    {
	"ok" : 1,
	"operationTime" : Timestamp(1523237919, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1523237919, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}
    • 檢視配置結果
    > rs.conf();
{
	"_id" : "my-repl",
	"version" : 1,
	"protocolVersion" : NumberLong(1),
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.10.58:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,
			"tags" : {

			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 1,
			"host" : "192.168.10.59:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,
			"tags" : {

			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		}
	],
	"settings" : {
		"chainingAllowed" : true,
		"heartbeatIntervalMillis" : 2000,
		"heartbeatTimeoutSecs" : 10,
		"electionTimeoutMillis" : 10000,
		"catchUpTimeoutMillis" : -1,
		"catchUpTakeoverDelayMillis" : 30000,
		"getLastErrorModes" : {

		},
		"getLastErrorDefaults" : {
			"w" : 1,
			"wtimeout" : 0
		},
		"replicaSetId" : ObjectId("5acac41fded47067da446ddd")
	}
}
    配置過程非常簡單，可以看到在副本整合員中有0和1兩個節點，此時主從兩個伺服器已經可以工作了，伺服器0（Primary）有任何資料的變化都會同步到伺服器1（Secondary）上。但是，此時的副本集只是提供了資料備份的功能，並不能達到高可用。如果要達到這一點，那麼需要配置一個仲裁者節點（Arbiter）

配置仲裁者（Arbiter）

仲裁者在 Primary 節點發生故障時，參與副本集的選舉投票決定哪個副本成為 Primary 節點。仲裁節點不儲存資料也不會成為 Primary 節點。

  • 仲裁者通常不部署在大磁碟空間的伺服器上，因此為了最小化預設建立資料，修改配置：

    $ vim /etc/mongod.conf

    storage.journal.enabled=false
storage.mmapv1.smallFiles = true.

  • 建立仲裁者目錄並啟動服務

    $ mkdir /mnt/mongodb/arbiter
$ mongod --port 27017 --dbpath /mnt/mongodb/arbiter --replSet 'my-repl' --bind_ip_all

  • 把仲裁者新增到副本集中

    • 連線至 Primary 伺服器

      $mongo --host 192.168.10.58

      my-repl:PRIMARY> rs.addArb("192.168.10.57:27017")
{
	"ok" : 1,
	"operationTime" : Timestamp(1523326877, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1523326877, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

  • 檢視副本集的效果：

    >rs.status();
my-repl:PRIMARY> rs.status();
{
	"set" : "my-repl",
	"date" : ISODate("2018-04-10T02:21:44.826Z"),
	"myState" : 1,
	"term" : NumberLong(2),
	"heartbeatIntervalMillis" : NumberLong(2000),
	"optimes" : {
		"lastCommittedOpTime" : {
			"ts" : Timestamp(1523326895, 1),
			"t" : NumberLong(2)
		},
		"readConcernMajorityOpTime" : {
			"ts" : Timestamp(1523326895, 1),
			"t" : NumberLong(2)
		},
		"appliedOpTime" : {
			"ts" : Timestamp(1523326895, 1),
			"t" : NumberLong(2)
		},
		"durableOpTime" : {
			"ts" : Timestamp(1523326895, 1),
			"t" : NumberLong(2)
		}
	},
	"members" : [
		{
			"_id" : 0,
			"name" : "192.168.10.58:27017",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 2891,
			"optime" : {
				"ts" : Timestamp(1523326895, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2018-04-10T02:21:35Z"),
			"electionTime" : Timestamp(1523324284, 1),
			"electionDate" : ISODate("2018-04-10T01:38:04Z"),
			"configVersion" : 2,
			"self" : true
		},
		{
			"_id" : 1,
			"name" : "192.168.10.59:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 2624,
			"optime" : {
				"ts" : Timestamp(1523326895, 1),
				"t" : NumberLong(2)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1523326895, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2018-04-10T02:21:35Z"),
			"optimeDurableDate" : ISODate("2018-04-10T02:21:35Z"),
			"lastHeartbeat" : ISODate("2018-04-10T02:21:43.080Z"),
			"lastHeartbeatRecv" : ISODate("2018-04-10T02:21:43.083Z"),
			"pingMs" : NumberLong(0),
			"syncingTo" : "192.168.10.58:27017",
			"configVersion" : 2
		},
		{
			"_id" : 2,
			"name" : "192.168.10.57:27017",
			"health" : 1,
			"state" : 7,
			"stateStr" : "ARBITER",
			"uptime" : 27,
			"lastHeartbeat" : ISODate("2018-04-10T02:21:43.079Z"),
			"lastHeartbeatRecv" : ISODate("2018-04-10T02:21:42.088Z"),
			"pingMs" : NumberLong(0),
			"configVersion" : 2
		}
	],
	"ok" : 1,
	"operationTime" : Timestamp(1523326895, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1523326895, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

    可以看到狀態顯示：伺服器0為 Primary， 伺服器1為 Secondary, 伺服器2為 Arbiter。
    此時帶有高可用的副本集已經配置完成，Arbiter 會監控 Primary 節點的執行情況，如果伺服器0發生了宕機，那麼仲裁者 Arbiter 節點會發起選舉，最終選取多個 Secondary 中的某一個來作為 Primary 節點。我們測試的架構中只有一個 Secondary 節點，那麼此伺服器1就會成為 Primary。而當伺服器0恢復工作時，它會被當成 Secondary 來執行。

  • 副本優先順序
    副本集會在 Primary 節點出現故障時把 Secondary 提升為 Primary，但是很多情況下 Secondary 只是作為備用節點，我們不希望它長期作為 Primary 節點執行。那麼為了達到這個目的，我們修改副本的優先順序。

    • 連線 Primary 節點，執行以下指令碼：
    cfg = rs.conf()
cfg.members[0].priority = 10
cfg.members[1].priority = 5
rs.reconfig(cfg)
{
	"ok" : 1,
	"operationTime" : Timestamp(1523411797, 2),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1523411797, 2),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}
    • 如果在非 Prmiary 上比如Arbiter上執行，會報下面的錯誤：
    {
  "ok" : 0,
  "errmsg" : "replSetReconfig should only be run on PRIMARY, but my state is ARBITER; use the \"force\" argument to override",
  "code" : 10107,
  "codeName" : "NotMaster"
}
    • 以上操作讓伺服器0的優先順序高於伺服器1，那麼當伺服器0從故障中恢復時，它會重新成為 Primary 節點來提供服務。

資料遷移

在配置副本集之前，你可能已經存在了一個單獨的 MongoDB 例項儲存了一些資料，你需要把原來例項中的資料遷移到新的副本集中。（你也可以一開始就把原來的單個例項配置成副本集的 Primary 節點，然後新增副本來同步資料，此方法不在本文討論範圍之內）

  • 登入原例項所在的伺服器，匯出資料：

    $ mongoexport -h localhost -p 27017 -u xxx -p xxx -d MY_DB_NAME -c MY_COLLECTION_NAME -o MY_COLLECTION_NAME.dmp

    在阿里雲上測試了一個匯出資料大約為1.2G大小的集合，匯出效能如下：

    • 時間：3分11秒
    • 匯出1728423條記錄，每秒讀取記錄數=1728423/191=9050條/秒
    • 匯出1264441038位元組，每秒處理位元組數=1264441038/191=6.6M/秒

  • 將匯出的資料檔案 MY_COLLECTION_NAME.dmp 已任何方式（比如scp）同步到 Primary 節點所在的伺服器0上

  • 匯入資料至副本集 Primay 節點

    mongoimport -h my-repl/192.168.10.58:27017 -d MY_DB_NAME -c MY_COLLECTION_NAME --file MY_COLLECTION_NAME.dmp

    測試匯入效能

    • 時間：82秒
    • 匯入1728423條記錄，每秒寫入記錄數=1728423/82=21078條/秒
    • 匯入1264441038位元組，每秒處理位元組數=1264441038/82=14.7M/秒

    注意：由於不是相同的伺服器，所以不能通過這個來比較匯入和匯出的效能差別，只能所謂一個參考：

  • 總結：

    • 在 Primary 節點匯入資料後，登入 Secondary 節點檢視，可以看到一百七十多萬條資料全部複製過去了，主從複製成功。
    • 從效能分析結果來看，MongoDB的讀取和寫入效能是比較好的，特別是匯入的同時還要和副本之間同步資料。

相關推薦

MongoDB副本集配置和資料遷移實戰

MongoDB副本集配置和資料遷移實戰 https://gitee.com/et/ops/blob/master/MongoDB副本集配置和資料遷移實戰.md 環境：Ubuntu 16.04, MongoDB 3.6 基本概念 MongoDB 的副本集就是

[Database] MongoDB 副本集配置

存儲 8.0 toc utm all 多個服務器 and ecs 數據 MongoDB 副本集配置 MongoDB復制是將數據同步在多個服務器的過程。 復制提供了數據的冗余備份，並在多個服務器上存儲數據副本，提高了數據的可用性， 並可以保證數據的安全性。 復制還允許您從硬件

MongoDB副本集配置

參數 寫入 介紹 auto ODB 17. tps mongod 創建 三臺機器配置 要求：一主兩從一仲裁、異地機房節點不具備選舉為Primary資格。 1、MongoDB安裝 在官網或者GitHub上下載壓縮包，上傳到服務器，並解壓到/usr/local/下，命名為mon

docker入門實戰（理論+實踐）系列---docker網路配置和資料卷管理

docker可以存在自身的網路配置和資料卷管理方式，首先docker容器作為一個獨立的執行單元，可以有獨立的IP地址、埠等資訊。同時，nginx是無狀態的，當docker重啟之後，容器會恢復到初始化映象狀態（即docker是無狀態的），資料卷的存在實現了宿主機和docker容器之間的資料共享，本篇文章以n

mongodb副本集簡單介紹和建立

mongodb副本集介紹 MongoDB副本集早期是沒有這個概念的，早期MongoDB是使用master-slave模式，一主一從和MySQL功能類似，當主庫宕機後，從庫不能自動切換成主 目前版本已經不再使用master-slave模式了，改為使用副本集，這種模式下有一個主(primary)，多個從角

MongoDB之副本集配置

MongoDB主從複製 主從複製是 MongoDB 最早使用的複製方式， 該複製方式易於配置，並且可以支援任意數量的從節點伺服器，與使用單節點模式相比有如下優點： 在從伺服器上儲存資料副本，提高了資料的可用性， 並可以保證資料的安全性。 可配置讀寫分離,主節點負責寫操作,從節點負責讀

MongoDB副本集及C#程式的連線配置

1．副本集 高可用是絕大多數資料庫管理系統的核心目標之一。如果要想生產資料在發生故障後依然可用，就需要確保為生產資料庫多部署一臺伺服器。MongoDB副本集提供了資料的保護、高可用和災難恢復的機制。 在MongoDB中，有兩種資料冗餘方式,一種是 Master-Slave 模式（主從複製），一種是 Repli

MongoDB 匯入匯出和資料遷移

遷移需求 現有測試伺服器A 和 測試伺服器 B，需要實現從測試伺服器A向測試伺服器B進行mongoDB 資料庫的遷移。 可以使用 mongoDB 的匯出工具 mongoexport 和匯入工具 mongoimport 實現。 官方英文文件連結 mongoDB mongoexport

MongoDB實戰系列之四：mongodb副本集部署

簡述：副本集合（Replica Sets)，是一個基於主/從複製機制的複製功能，但增加了自動故障轉移和恢復特性。一個叢集最多可以支援7個伺服器，並且任意節點都可以是主節點。所有的寫操作都被分發到主節點，而讀操作可以在任何節點上進行。 環境：CentOS 5.5 x64

mongodb專案實戰與高階應用（MongoDB 高可用方案-MongoDB 副本集搭建）

MongoDB 副本集 中文翻譯叫做副本集，不過我並不喜歡把英文翻譯成中文，總是感覺怪怪的。其實簡單來說就是集 群當中包含了多份資料，保證主節點掛掉了，備節點能繼續提供資料服務，提供的前提就是資料需要和 主節點一致。 Mongodb(M)表示主節點，Mongodb(S)表示備節點，Mon

MongoDB副本集學習(三)：效能和優化相關

Read Preferences/讀寫分離 有時候為了考慮應用程式的效能或響應性，為了提高讀取操作的吞吐率，一個常見的措施就是進行讀寫分離，MongoDB副本集對讀寫分離的支援是通過Read Preferences特性進行支援的，這個特性非常複雜和靈活。以下幾種應用場景可能會考慮對副本集進行讀寫分離： 1

docker配置mongodb副本集

1. 啟動三個mongodb程序 docker run -d -p 27017:27017 --name mongo mongo --replSet repset docker run -d -p 2

Mongodb3.0.5副本集搭建及spring和java連線副本集配置

這是去年寫的一篇文件，最近突然發現並沒有發不出來，因此現在補上，希望能對某些朋友有所幫助。因為當時記錄時沒有截圖，因此這裡看起來可能就比較單調。一、基本環境：mongdb3.0.5資料庫spring-data-mongodb-1.7.2.jarmongo-java-drive

mongodb副本集修改配置問題

因虛擬機器地址被佔用，需要重新設定ip地址，這時需要修改副本集中的IP地址配置：1： 檢視配置rs.config()；需要找到primary主機，在該主節點伺服器上才有許可權修改配置2：rs.remove("ip:port") 移除原配置檔案中的已經變更地址的主機3：rs.a

MongoDB 副本集丟失資料的測試

在MongoDB副本集的測試中發現了一個丟資料的案例。 1. 概要描述 測試場景為：一主一從一驗證 測試案例   step1 ：關閉從副本； step 2 ；向主副本中插入那條資料； step 3 ：關閉主副本； step 4 ：開啟輔助副本,此副本升級為主副本，這是後會

快速掌握mongoDB(五)——讀寫分離的副本集實現和Sharing介紹

 1 mongoDB副本集 1 副本集簡介 　　前邊我們介紹都是單機MongoDB的使用，在實際開發中很少會用單機MongoDB，因為使用單機會有資料丟失的風險，同時單臺伺服器無法做到高可用性(即當伺服器宕機時，沒有替代的伺服器頂上來，我們的業務也就掛了)，MongoDB中的副本集可以完美地解決

zabbix使用Python實現監控MongoDB副本集狀態

python zabbix mongodb pymongo 公司有 Windows 和 Linux 服務器，都搭建了 MongoDB 副本集，並且都要在 zabbix 平臺中實現監控。Linux 系統直接使用 shell 腳本即可實現，但是 Windows 系統的不太好實現，我這裏使用

mongodb 副本集搭建

mongodb 搭建 副本集 排錯 mongodb的副本集模式較早前的master-slave模式有了很大的改進，由於之前的master-slave模式不支持主機宕機之後切換到從機，已經逐漸被淘汰。而現在官方推薦的副本集模式，支持多個節點並存，當主節點宕機後從權重最高的副節點開始，依次切換為主

mongodb副本集的內部機制（借鑒lanceyan.com）

proc 導致 功能 來看 href 開始 既然 不想 for 針對mongodb的內部機制提出以下幾個引導性的問題： 副本集故障轉移，主節點是如何選舉的？能否手動幹涉下架某一臺主節點。 官方說副本集數量最好是奇數，為什麽？ mongodb副本集是如何同步的？如果同步不及

mongodb副本集搭建

god 不可 status cin prim conf 負載 mongo 角色 筆記內容：mongodb副本集搭建筆記日期：2018-01-09 21.33 mongodb副本集介紹 21.34 mongodb副本集搭建 21.35 mongodb副本集測試 2