MongoDB(8)叢集技術:副本集 & 分片
阿新 • • 發佈:2019-01-04
MongoDB 入門專欄
MongoDB 副本集
MongoDB 副本集是將資料同步在多個伺服器的過程,複製提供了資料的冗餘備份,並在多個伺服器上儲存資料副本,提高了資料的可用性, 並可以保證資料的安全性,同時還允許從硬體故障和服務中斷中恢復資料。mongodb 的複製至少需要兩個節點。其中一個是主節點,負責處理客戶端請求,其餘的都是從節點,負責複製主節點上的資料,主節點記錄在其上的所有操作oplog,從節點定期輪詢主節點獲取這些操作,然後對自己的資料副本執行這些操作,從而保證從節點的資料與主節點一致。這樣一個數據冗餘系統中,主節點和所有從節點組成一個副本集,mongodb 的副本集擁有以下特點:
- N 個節點的叢集
- 任何節點可作為主節點
- 所有寫入操作都在主節點上
- 自動故障轉移
- 自動恢復
mongodb 副本集的設定
副本集的啟動,和從節點加入到副本集的操作,只能在主節點上完成,但是主節點隨時否可以轉移到其他從節點;啟動一個副本集系統的基本步驟如下:- 在主節點啟動 mongod 服務時,可以使用 --replSet 啟動副本集,同時指定副本集名稱;
- 連線主節點,初始化新的副本集;
- 啟動各個從節點 mongod 服務,同時這些從從節點也建立和必須初始化副本集,使用同一個副本集 id;
- 在主節點將這些從節點加入主節點副本集;
# 啟動 mongodb 服務,設定副本集 rs0
$ mongod --port 27017 --dbpath "/var/run/mongodb/data" --replSet rs0
2) 2 個從節點分別啟動 mongod 服務$ mongod --port 27017 --dbpath "/var/run/mongodb/data" --replSet rs0
3)連線到主節點 mongodb,進行副本集的初始化和配置$ mongo
> rs.initiate() # 啟動一個新的副本集
> rs.add("233.76.45.12:27107") # 加入從節點,該節點為 233.76.45.12 主機 27107 埠上的 mongod 服務
> rs.add("45.76.45.18:27107") # 加入從節點,該節點為 45.76.45.18 主機 27107 埠上的 mongod 服務
此時一個副本系統已經完成,所有操作直接面向主節點,實際操作由整個副本集叢集提供,預設是從主節點讀取;從副本集中刪除節點如下:
> rs.remove("45.76.45.18:27107") # 刪除 45.76.45.18:27107 上的從節點
檢視副本集資訊
可以使用以下命令參看整個副本集的資訊:> rs.conf() # 檢視副本集的配置
> rs.status() # 檢視副本集狀態
> rs.isMaster() # 檢視該主機節點是否為副本集主節點
設定從節點讀寫策略
在從節點可以設定該從節點的讀寫測策略:> rs.getMongo().setReadPref(STRATEGY)
其中策略引數如下:- Primary - 從主節點讀取;
- secondary - 從從節點讀取;
- nearest - 從網路延遲最小的節點讀取;
- primaryPreferred - 基本上從主節點讀取,主節點不可用時,從從節點的讀取;
- secondaryPreferred - 基本上從從節點讀取,從節點不可用時,從主節點讀取;
MongoDB 分片
在Mongodb裡面存在另一種叢集,就是分片技術,可以滿足MongoDB資料量大量增長的需求,當MongoDB儲存海量的資料時,一臺機器可能不足以儲存資料,也可能不足以提供可接受的讀寫吞吐量,此時就可以通過在多臺機器上分割資料,使得資料庫系統能儲存和處理更多的資料;在以上這個典型的分片模型中,存在以下 3 種角色:
- Shard:用於儲存實際的資料塊,實際生產環境中一個shard server角色可由幾臺機器組個一個replica set承擔,防止主機單點故障;
- Config Server:mongod例項,儲存了整個 ClusterMetadata,其中包括 chunk資訊;
- Routers:前端路由,客戶端由此接入,且讓整個叢集看上去像單一資料庫,前端應用可以透明使用;
mongodb 分片系統建立示例
以下建立一個 mongodb 分片系統,使用 1 個 Router,1 個 Config Server,2 個 Shard,它們的埠情況如下:Reouter: 23.23.23.23:27017
Config Server: 23.23.23.24:27017
Shard 1:23.23.23.25:27017
Shard 2:23.23.23.26:27017
1) 啟動 Shard Server 分別啟動 shard server 1,shard server 2;
$ mongod --port 27017 --dbpath /var/run/mongodb/shard/ --fork
2)啟動 Config Sevrer$ mongod --port 27017 --dbpath /var/run/mongodb/shard/ --fork
3)啟動 Router Server,並繫結 Config Server 和 Shard Server$ mongod --port 27017 --fork --logpath=/var/run/mongo/route.log --configdb 23.23.23.24:27017 --chunkSize 500
※此處需要設定 configdb 引數,用於設定指想的 config server,chunkSize 用於設定 chunk 大小,單位為 MB,預設 200MB;登陸到 Router mongodb,進行進一步設定# 登陸到 router mongodb
$ mongo
> use admin
# 新增 shard 分片
> db.runCommand( {addShard("23.23.23.25:27017")} )
> db.runCommand( {addShard("23.23.23.26:27017")} )
# 開啟分片,設定分片儲存的資料庫名稱,以下為 testdb
> db.runCommand( {enablesharding:"testdb"} )
# 設定集合的分片形式,以下對 testdb.students 集合使用 hash 模式分片,對 testdb.address 使用 range 模式分片
> db.runCommand( {shardCollection:"testdb.students",key:{_id:"hashed"}} )
> db.runCommand( {shardCollection:"testdb.address",key:{name:1}} )
之後程式在連線這個分片系統時候,只需要連線 Router Server (23.23.23.23:27017) 即可,分片過程對應用程式時透明的;