1. 程式人生 > >MongoDB(8)叢集技術:副本集 & 分片

MongoDB(8)叢集技術:副本集 & 分片

MongoDB 入門專欄

MongoDB 副本集

MongoDB 副本集是將資料同步在多個伺服器的過程,複製提供了資料的冗餘備份,並在多個伺服器上儲存資料副本,提高了資料的可用性, 並可以保證資料的安全性,同時還允許從硬體故障和服務中斷中恢復資料。mongodb 的複製至少需要兩個節點。其中一個是主節點,負責處理客戶端請求,其餘的都是從節點,負責複製主節點上的資料,主節點記錄在其上的所有操作oplog,從節點定期輪詢主節點獲取這些操作,然後對自己的資料副本執行這些操作,從而保證從節點的資料與主節點一致。
這樣一個數據冗餘系統中,主節點和所有從節點組成一個副本集,mongodb 的副本集擁有以下特點:
  • N 個節點的叢集

  • 任何節點可作為主節點
  • 所有寫入操作都在主節點上
  • 自動故障轉移
  • 自動恢復

mongodb 副本集的設定

副本集的啟動,和從節點加入到副本集的操作,只能在主節點上完成,但是主節點隨時否可以轉移到其他從節點;啟動一個副本集系統的基本步驟如下:
  • 在主節點啟動 mongod 服務時,可以使用 --replSet 啟動副本集,同時指定副本集名稱;
  • 連線主節點,初始化新的副本集;
  • 啟動各個從節點 mongod 服務,同時這些從從節點也建立和必須初始化副本集,使用同一個副本集 id;
  • 在主節點將這些從節點加入主節點副本集;
以下演示 3 個 mongodb 建立一個副本集系統1)主節點啟動 mongod 服務:
# 啟動 mongodb 服務,設定副本集 rs0
$ mongod --port 27017 --dbpath "/var/run/mongodb/data" --replSet rs0 
2) 2 個從節點分別啟動 mongod 服務
$ mongod --port 27017 --dbpath "/var/run/mongodb/data" --replSet rs0 
3)連線到主節點 mongodb,進行副本集的初始化和配置
$ mongo
> rs.initiate()      # 啟動一個新的副本集
> rs.add("233.76.45.12:27107")   # 加入從節點,該節點為 233.76.45.12 主機 27107 埠上的 mongod 服務
> rs.add("45.76.45.18:27107")    # 加入從節點,該節點為 45.76.45.18 主機 27107 埠上的 mongod 服務

此時一個副本系統已經完成,所有操作直接面向主節點,實際操作由整個副本集叢集提供,預設是從主節點讀取;從副本集中刪除節點如下:
> rs.remove("45.76.45.18:27107")  # 刪除 45.76.45.18:27107 上的從節點

檢視副本集資訊

可以使用以下命令參看整個副本集的資訊:
> rs.conf()      # 檢視副本集的配置
> rs.status()    # 檢視副本集狀態
> rs.isMaster()  # 檢視該主機節點是否為副本集主節點

設定從節點讀寫策略

在從節點可以設定該從節點的讀寫測策略:
> rs.getMongo().setReadPref(STRATEGY)
其中策略引數如下:
  • Primary                      - 從主節點讀取;
  • secondary                 - 從從節點讀取;
  • nearest                      - 從網路延遲最小的節點讀取;
  • primaryPreferred       - 基本上從主節點讀取,主節點不可用時,從從節點的讀取;
  • secondaryPreferred  - 基本上從從節點讀取,從節點不可用時,從主節點讀取;

MongoDB 分片

在Mongodb裡面存在另一種叢集,就是分片技術,可以滿足MongoDB資料量大量增長的需求,當MongoDB儲存海量的資料時,一臺機器可能不足以儲存資料,也可能不足以提供可接受的讀寫吞吐量,此時就可以通過在多臺機器上分割資料,使得資料庫系統能儲存和處理更多的資料;

在以上這個典型的分片模型中,存在以下 3 種角色:
  • Shard:用於儲存實際的資料塊,實際生產環境中一個shard server角色可由幾臺機器組個一個replica set承擔,防止主機單點故障;
  • Config Server:mongod例項,儲存了整個 ClusterMetadata,其中包括 chunk資訊;
  • Routers:前端路由,客戶端由此接入,且讓整個叢集看上去像單一資料庫,前端應用可以透明使用;

mongodb 分片系統建立示例

以下建立一個 mongodb 分片系統,使用 1 個 Router,1 個 Config Server,2 個 Shard,它們的埠情況如下:
Reouter: 23.23.23.23:27017
Config Server: 23.23.23.24:27017
Shard 1:23.23.23.25:27017
Shard 2:23.23.23.26:27017
1) 啟動 Shard Server 
分別啟動 shard server 1,shard server 2;
$ mongod --port 27017 --dbpath /var/run/mongodb/shard/ --fork
2)啟動 Config Sevrer
$ mongod --port 27017  --dbpath /var/run/mongodb/shard/ --fork
3)啟動 Router Server,並繫結 Config Server 和 Shard Server
$ mongod --port 27017 --fork --logpath=/var/run/mongo/route.log --configdb 23.23.23.24:27017 --chunkSize 500
※此處需要設定 configdb 引數,用於設定指想的 config server,chunkSize 用於設定 chunk 大小,單位為 MB,預設 200MB;登陸到 Router mongodb,進行進一步設定
# 登陸到 router mongodb
$ mongo
> use admin
# 新增 shard 分片
> db.runCommand( {addShard("23.23.23.25:27017")} )
> db.runCommand( {addShard("23.23.23.26:27017")} )
# 開啟分片,設定分片儲存的資料庫名稱,以下為 testdb
> db.runCommand( {enablesharding:"testdb"} )
# 設定集合的分片形式,以下對 testdb.students 集合使用 hash 模式分片,對 testdb.address 使用 range 模式分片
> db.runCommand( {shardCollection:"testdb.students",key:{_id:"hashed"}} )
> db.runCommand( {shardCollection:"testdb.address",key:{name:1}} )
之後程式在連線這個分片系統時候,只需要連線 Router Server (23.23.23.23:27017) 即可,分片過程對應用程式時透明的;