2. 程式人生 > >【實戰】MongoDB 分片原理概述 + 部署 MongoDB 分片群集 +【源碼包】

【實戰】MongoDB 分片原理概述 + 部署 MongoDB 分片群集 +【源碼包】

阿新 • • 發佈：2018-09-18
balancer test 概述 b- 使用 說明 中一 瓶頸 標記

目錄：

1· MongoDB 分片概述
2· 部署 MongoDB 分片群集
3· MongoDB 分片管理
4· 推薦 MongoDB 、MySQL 基礎文章
5· 文章總結

MongoDB 分片概述

1）什麽是分片：

1·不用專業的術語說，從字面的意思講解，就是把一塊東西分成很多很多塊。

2·稍微專業術語：分片是一種技術，它是使用多個服務器來存放數據，不再是只用一臺服務器。這樣就可以滿足大量的數據寫入，如果沒有分片技術，使用其他方法那麽隨著數據量的增加，磁盤空間、服務器壓力總會產生問題

3·分片技術是一種將海量數據水平擴展的數據庫群集系統，數據分布存儲在分片（sharding）的各個節點上，管理者通過簡單的配置就可以方便的構建一個分布式 MongoDB 分片群集

2）.分片的條件

1：服務器磁盤不夠的時候

2：服務器出現寫瓶頸的時候

3：想將大量數據放在內存中提高性能

3）MongoDB 分片群集的組成

1· Shard: 分片服務器，用於存儲實際的數據，在生產環境中一個 shard server 角色可以由幾臺服務器組成一個 Replica Set 承擔，防止單點故障

2· Config Server ：配置服務器，存儲了整個分片群集的配置信息，其中包括chunk信息

3· Routers ：前端路由，客戶端是由它來接入，且讓整個群集看上去像單一數據庫，前端應用可以透明使用

MongoDB 分片群集的組成如下圖

技術分享圖片

部署 MongoDB 分片群集

部署前說明：

1· 部署環境： CenOS 7.4

2· MongoDB 的安裝這裏不再演示，需要的朋友請點擊：MongoDB 安裝詳解

3· 需要源碼包的請點擊：MongoDB 源碼包點擊下載密碼：tpkt

1）部署開始
1·解壓源碼包、優化

[root@localhost ~]# tar xvf mongodb-linux-x86_64-3.2.1.tgz -C /opt/
[root@localhost ~]# cd /opt/
[root@localhost opt]# mv mongodb-linux-x86_64-3.2.1 /usr/local/mongodb

[root@localhost opt]# ln -s /usr/local/mongodb/bin/mongo /usr/bin/mongo
[root@localhost opt]# ln -s /usr/local/mongodb/bin/mongod /usr/bin/mongod

2·創建日誌文件和存儲文件的路徑

[root@localhost opt]# mkdir -p /data/mongodb/mongodb{1,2,3,4} ----（可以連續創建4個數據儲存目錄）

[root@localhost opt]# cd /data/mongodb/
[root@localhost mongodb]# mkdir logs

[root@localhost mongodb]# touch mongodb{1,2,3,4}.log ----（創建日誌文件）
[root@localhost mongodb]# chmod 777 .log ---（賦予權限）

[root@localhost mongodb]# ulimit -n 25000 ----（調高shell系統所暫用的資源比例）
[root@localhost mongodb]# ulimit -u 25000 ----（放大文件數量）

3·添加配置文件

[root@localhost mongodb]# vim /usr/local/mongodb/bin/mongodb1.conf ---（添加配置文件）

添加內容如下：

  1. > port=37017 ----（配置服務器端口）
  2. > dbpath=/data/mongodb/mongodb1 ----（數據存儲目錄）
  3. > logpath=/data/mongodb/logs/mongodb1.log ----（指定日誌文件存儲目錄）
  4. > logappend=true -----（使用追加方式寫日誌）
  5. > maxConns=5000 -----（最大鏈接數）
  6. > fork=true -----（後臺運行）
  7. > storageEngine=mmapv1 -----（指定存儲引擎為內存映射文件）
  8. > configsvr=true -----（模式為配置服務器模式）

當一個節點可用內存不足時，系統會從其他幾點分配內存

[root@localhost mongodb]# sysctl -w vm.zone_reclaim_mode=0

[root@localhost mongodb]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@localhost mongodb]# echo never > /sys/kernel/mm/transparent_hugepage/defrag

到這裏配置服務器已經配置完畢，接下來會配置第一個分片服務器：

[root@localhost mongodb]# cd /usr/local/mongodb/bin/
[root@localhost bin]# cp -p mongodb1.conf mongodb2.conf ---（把配置文件復制一份出來，稍作修改）
[root@localhost bin]# vim mongodb2.conf ---（修改內容如下）

加粗內容需要註意與修改：

  1. > port=47017 ---（這裏的端口號需要修改）
  2. > dbpath=/data/mongodb/mongodb2 ---（數據存儲路徑修改）
  3. > logpath=/data/mongodb/logs/mongodb2.log ----（日誌存儲路徑修改）
  4. > logappend=true
  5. > maxConns=5000
  6. > fork=true
  7. > storageEngine=mmapv1
  8. > shardsvr=true ----（這裏是最重要的，這裏的模式就是代表分片模式）

配置第二個分片服務器，方法如下：

[root@localhost bin]# cp -p mongodb2.conf mongodb3.conf ---（在復制一份配置文件）

[root@localhost bin]# vim mongodb3.conf ---（修改內容如下）

修改內容如下：

  1. > port=47018 ----（端口號需要修改）
  2. > dbpath=/data/mongodb/mongodb3 ----（數據存儲路徑）
  3. > logpath=/data/mongodb/logs/mongodb3.log ---（日誌文件）
  4. > logappend=true
  5. > maxConns=5000
  6. > fork=true
  7. > storageEngine=mmapv1
  8. > shardsvr=true

開啟3臺實例服務：

  • > [root@localhost bin]# mongod -f mongodb1.conf -----（啟動3臺實例）
  • > [root@localhost bin]# mongod -f mongodb2.conf
  • > [root@localhost bin]# mongod -f mongodb3.conf

開啟前端路由模式，這裏不明白的可以看看上面的組成圖：

  1. > [root@localhost ~]# cd /usr/local/mongodb/bin/
  2. > [root@localhost bin]# ./mongos --port 27017 --fork --logpath=/usr/local/mongodb/bin/route.log --configdb 192.168.106.154:37017 --chunkSize 1

顯示如下字符，開啟成功
2018-09-18T16:03:49.695+0800 W SHARDING [main] Running a sharded cluster with fewer than 3 config servers should only be done for testing purposes and is not recommended for production.
about to fork child process, waiting until server is ready for connections.
forked process: 41001
child process started successfully, parent exiting

現在可以進入 MongoDB 服務器

[root@localhost bin]# mongo

添加兩臺分片服務器：

mongos> sh.addShard("192.168.106.154:47017") ---（這裏註意把端口號寫正確）
{ "shardAdded" : "shard0000", "ok" : 1 }

mongos> sh.addShard("192.168.106.154:47018")
{ "shardAdded" : "shard0001", "ok" : 1 }

查看分片服務器狀態信息：

mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5ba0b1655ba2e21d63505818")
}
shards:
> { "_id" : "shard0000", "host" : "192.168.106.154:47017" }
> { "_id" : "shard0001", "host" : "192.168.106.154:47018" }
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
No recent migrations
databases:

寫入五萬條數據，等待測驗

mongos> for(var i=1;i<=50000;i++)db.school.insert({"id":i,"name":"tpm"+i})
WriteResult({ "nInserted" : 1 }) ----（利用 for 循環添加，只是為了驗證後面分片存儲）

查看信息是否寫入，就看前五條即可，因為數據太多。

mongos> db.school.find().limit(5)
{ "_id" : ObjectId("5ba0b3c6dcdebde5a87ce165"), "id" : 1, "name" : "tpm1" }
{ "_id" : ObjectId("5ba0b3c6dcdebde5a87ce166"), "id" : 2, "name" : "tpm2" }
{ "_id" : ObjectId("5ba0b3c6dcdebde5a87ce167"), "id" : 3, "name" : "tpm3" }
{ "_id" : ObjectId("5ba0b3c6dcdebde5a87ce168"), "id" : 4, "name" : "tpm4" }
{ "_id" : ObjectId("5ba0b3c6dcdebde5a87ce169"), "id" : 5, "name" : "tpm5" }

對 test 這個庫進行分片處理，默認寫入數據就是寫入 test

mongos> sh.enableSharding("test")
{ "ok" : 1 }

對集合建立索引

mongos> db.school.createIndex({"id":1}) ----（建立索引以 id 為列）
{
"raw" : {
"192.168.106.154:47017" : {
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}
},
"ok" : 1
}

對test.shcool這個數據庫中的這個school集合進行分片，指定索引為 id：1

mongos> sh.shardCollection("test.school",{"id":1}) ----（開始分片）
{ "collectionsharded" : "test.school", "ok" : 1 }

查看分片狀態：

mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5ba0b1655ba2e21d63505818")
}
shards:
{ "_id" : "shard0000", "host" : "192.168.106.154:47017" }
{ "_id" : "shard0001", "host" : "192.168.106.154:47018" }
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
5 : Success
databases:
{ "_id" : "test", "primary" : "shard0000", "partitioned" : true }
test.school
shard key: { "id" : 1 }
unique: false
balancing: true
chunks:
shard0000 6
shard0001 5 -----（兩個分片）
以下是把五萬條數據分片存儲

      { "id" : { "$minKey" : 1 } } --&gt;&gt; { "id" : 4682 } on : shard0001 Timestamp(2, 0) 
      { "id" : 4682 } --&gt;&gt; { "id" : 9364 } on : shard0001 Timestamp(3, 0) 
      { "id" : 9364 } --&gt;&gt; { "id" : 14046 } on : shard0001 Timestamp(4, 0) 
      { "id" : 14046 } --&gt;&gt; { "id" : 18728 } on : shard0001 Timestamp(5, 0) 
      { "id" : 18728 } --&gt;&gt; { "id" : 23410 } on : shard0001 Timestamp(6, 0) 
      { "id" : 23410 } --&gt;&gt; { "id" : 28092 } on : shard0000 Timestamp(6, 1) 
      { "id" : 28092 } --&gt;&gt; { "id" : 32774 } on : shard0000 Timestamp(1, 6) 
      { "id" : 32774 } --&gt;&gt; { "id" : 37456 } on : shard0000 Timestamp(1, 7) 
      { "id" : 37456 } --&gt;&gt; { "id" : 42138 } on : shard0000 Timestamp(1, 8) 
      { "id" : 42138 } --&gt;&gt; { "id" : 46820 } on : shard0000 Timestamp(1, 9) 
      { "id" : 46820 } --&gt;&gt; { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 10

現在來模擬，由於大量的數據，導致空間不足，這時我們需要添加分片服務器：

[root@localhost bin]# cp mongodb3.conf mongodb4.conf --（復制配置文件）
[root@localhost bin]# vim mongodb4.conf ---（做如下修改）

修改內容如下：
port=47019
dbpath=/data/mongodb/mongodb4
logpath=/data/mongodb/logs/mongodb4.log
logappend=true
maxConns=5000
fork=true
storageEngine=mmapv1
shardsvr=true

[root@localhost bin]# mongod -f mongodb4.conf ---（啟動第4個實例）

[root@localhost bin]# mongo ----（進入mongo）

mongos> sh.addShard("192.168.106.154:47019")
{ "shardAdded" : "shard0002", "ok" : 1 } ---（再次添加一臺分片服務器）

再次查看狀態， 我們會發現會自動重新分片到新的服務器中
mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id" : 1,
"minCompatibleVersion" : 5,
"currentVersion" : 6,
"clusterId" : ObjectId("5ba0b1655ba2e21d63505818")
}
shards:
{ "_id" : "shard0000", "host" : "192.168.106.154:47017" }
{ "_id" : "shard0001", "host" : "192.168.106.154:47018" }
{ "_id" : "shard0002", "host" : "192.168.106.154:47019" }
active mongoses:
"3.2.1" : 1
balancer:
Currently enabled: yes
Currently running: no
Failed balancer rounds in last 5 attempts: 0
Migration Results for the last 24 hours:
8 : Success
databases:
{ "_id" : "test", "primary" : "shard0000", "partitioned" : true }
test.school
shard key: { "id" : 1 }
unique: false
balancing: true
chunks:
shard0000 4 ------（又加入一個分片服務器）
shard0001 4
shard0002 3
{ "id" : { "$minKey" : 1 } } -->> { "id" : 4682 } on : shard0002 Timestamp(9, 0)
{ "id" : 4682 } -->> { "id" : 9364 } on : shard0001 Timestamp(9, 1)
{ "id" : 9364 } -->> { "id" : 14046 } on : shard0001 Timestamp(4, 0)
{ "id" : 14046 } -->> { "id" : 18728 } on : shard0001 Timestamp(5, 0)
{ "id" : 18728 } -->> { "id" : 23410 } on : shard0001 Timestamp(6, 0)
{ "id" : 23410 } -->> { "id" : 28092 } on : shard0002 Timestamp(7, 0)
{ "id" : 28092 } -->> { "id" : 32774 } on : shard0002 Timestamp(8, 0)
{ "id" : 32774 } -->> { "id" : 37456 } on : shard0000 Timestamp(8, 1)
{ "id" : 37456 } -->> { "id" : 42138 } on : shard0000 Timestamp(1, 8)
{ "id" : 42138 } -->> { "id" : 46820 } on : shard0000 Timestamp(1, 9)
{ "id" : 46820 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 10)

結論：我們可以知道，重新添加分片服務器會讓數據進行重新分片，並不會影響什麽，同理，刪除一臺分片服務器，那麽數據一樣會重新重整數據，進行分片。這樣的話，我們幾乎就不需要在做分片服務器的集群，因為分片服務器本來就可以添加多臺，無論是否掛掉都不會影響什麽。

還可以給分片服務器貼上自己容易記住的標簽：

mongos> sh.addShardTag("shard0000","abc00")
mongos> sh.addShardTag("shard0001","abc01")
mongos> sh.addShardTag("shard0002","abc02")

可以再次查看分片服務器：

shards:
{ "_id" : "shard0000", "host" : "192.168.106.154:47017", "tags" : [ "abc00" ] }
{ "_id" : "shard0001", "host" : "192.168.106.154:47018", "tags" : [ "abc01" ] }
{ "_id" : "shard0002", "host" : "192.168.106.154:47019", "tags" : [ "abc02" ] }

下圖是數據分片的截圖，讓效果更加直觀，重點會又標記：
技術分享圖片

關聯知識點文章推薦：

MongoDB 數據庫安裝：http://blog.51cto.com/13746824/2174874

MongoDB 復制集 + 選舉原理：http://blog.51cto.com/13746824/2175720

詳解 MySQL 高可用群集，MMM搭建高可用：http://blog.51cto.com/13746824/2173073

Amoeba 代理 MySQL 主從復制 + 讀寫分離：http://blog.51cto.com/13746824/2172139

總結：

MongoDB 分片通過在多臺服務器上分割數據，使得數據庫系統能存儲和處理更多的數據

MongoDB 分片群集主要如下三個組件：可以參考文章第一張圖：Shard 分片服務器、Config Server 配置服務器、Routers 前端路由

重新添加分片服務器會讓數據進行重新分片，並不會影響什麽，同理，刪除一臺分片服務器，那麽數據一樣會重新重整數據，進行分片！

【實戰】MongoDB 分片原理概述 + 部署 MongoDB 分片群集 +【源碼包】

相關推薦

【實戰】MongoDB 分片原理概述 + 部署 MongoDB 分片群集 +【源碼包】

balancer test 概述 b- 使用 說明 中一 瓶頸 標記 目錄： 1· MongoDB 分片概述2· 部署 MongoDB 分片群集3· MongoDB 分片管理4· 推薦 MongoDB 、MySQL 基礎文章5· 文章總結 MongoDB 分片概述 1）什

【實戰】Amoeba 代理 MySQL 主從復制 + 讀寫分離 【提供源碼包】

system 導數據 ant 代理服 數據庫實例 切分 creat 生效 啟動服務 目錄簡介： 1· Amoeba 的介紹2· MySQL 主從復制原理3· MySQL 讀寫分離原理4· 實戰案例5· 總結歸納 Amoeba 的介紹 1）Amoeba 是什麽： 1

輕松部署MFS分布式文件系統 【內附源碼包】

make ins 編號 net 支持 var 復制 取數 特殊文件 MFS概述 MFS是一種分布式文件系統，它把數據分散存放在多個物理服務器上，前面只放置一臺負責“調度”元數據服務器，最終呈現給用戶的則是一個統一的資源。優點：相對於集中式文件系統來說，分布式系統擁有更好的

Cobbler 全自動化安裝、簡介、Web界面管理【附送源碼包】

防火 target mach sam eas shadow 特點 owin epel Cobbler簡介Cobbler這個英文翻譯過來的意思是補鞋匠，為什麽會是補鞋匠的意思，很簡單，因為它簡單得連補鞋匠都能學會安裝系統。Cobbler通過將部署系統所涉及的所有服務集中在一起

rsync + inotify 實時同步【附送源碼包】

服務器 路徑和 sync 執行權 chm 發生 都是 blog src 項目：配置Rsync+inotify 實時備份 簡介：·Rsync:是一個開源的快速備份工具，它可以在不同的主機之間同步整個目錄樹，並且可以保持連接和權限在傳輸前執行壓縮，因此很適用於異地備份、鏡像服務

Nginx + Tomcat 負載均衡群集 【內附源碼包】

live linu ron appbase ets 動態 方案 openssl stub 前言： 1·在之前都學習 Linux 的一些服務和搭建，都很熟悉 ！這篇文章主要講Nginx、Tomcat與 Nginx + Tomcat 負載均衡群集。2·在各種網站服務器軟件中，

Memcached 安裝詳解【送源碼包】

ESS directory var code sco dex fire ref .html Memcached簡介 Memcached 是一個高性能的分布式內存對象緩存系統，用於動態Web應用以減輕數據庫負載。它通過在內存中緩存數據和對象來減少讀取數據庫的次數，從而提高動

【提供源碼包】高性能存儲對象緩存 之【Memcached】

軟連接 丟失 參數 tst RoCE 內存 顯示 phpize 以及 目錄簡介： 1· Memcached 功能2· Memcached 特征3· Memcached 儲存方式4· 實戰部署 與 Memcached 連接5· 文章總結 Memcached 介紹 1）

【MyBatis源碼分析】insert方法、update方法、delete方法處理流程（上篇）

times database connect 環境 enable clas 它的 java對象 ace 打開一個會話Session 前文分析了MyBatis將配置文件轉換為Java對象的流程，本文開始分析一下insert方法、update方法、delete方法處理的流程，至

【源碼學習】之requirejs

export ext 引入 with define rim prop ace ram 對於現在的前端生態來說，requirejs是有點過時了，webpack幫我們包幹了一切。但是對於學習源碼這件事情來說，永遠是不過時的! 最近稍微閑下來了一點，就著以前做過的項目，我也來看看

【Spark2.0源碼學習】-6.Client啟動

rms permsize wrapper 2.0 proxy waiting 默認 說明 加載器 Client作為Endpoint的具體實例，下面我們介紹一下Client啟動以及OnStart指令後的額外工作 一、腳本概覽 下面是一個舉例： /opt

轉：【Java集合源碼剖析】LinkedList源碼剖析

exception 循環鏈表 位置 src zab ear 方法 劃分 head 轉載請註明出處：http://blog.csdn.net/ns_code/article/details/35787253 您好，我正在參加CSDN博文大賽，如果您喜歡我的文章，希望您

轉：【Java集合源碼剖析】Vector源碼剖析

pro try detail java 否則 super() empty init word 轉載請註明出處：http://blog.csdn.net/ns_code/article/details/35793865 Vector簡介 Vector也是基於數

轉：【Java集合源碼剖析】LinkedHashmap源碼剖析

知識庫 csdn val ride 初始 views 特性 read details 轉載請註明出處：http://blog.csdn.net/ns_code/article/details/37867985 前言：有網友建議分析下LinkedHashMap的源

【Spark2.0源碼學習】-10.Task執行與回饋

maps 關系 pro private reason ges 寫入 tor sub 通過上一節內容，DriverEndpoint最終生成多個可執行的TaskDescription對象，並向各個ExecutorEndpoint發送LaunchTask指令，本節內容將

【spring源碼學習】spring的IOC容器之BeanFactoryPostProcessor接口學習

時機 process roc sta 自動 註解 lis nbsp factor 【一】org.springframework.beans.factory.config.BeanFactoryPostProcessor接口==>該接口實現方法的執行時機：該接口void

【spring源碼學習】spring的AOP面向切面編程的實現解析

內部 遠程調用 關註 add aps 文件 uem 連接 row 一：Advice(通知)（1）定義在連接點做什麽，為切面增強提供織入接口。在spring aop中主要描述圍繞方法調用而註入的切面行為。（2）spring定義了幾個時刻織入增強行為的接口??=>org.

【spring源碼學習】spring的遠程調用實現源碼分析

數據 編碼方式 ria date 技術 color nbsp mvc err 【一】spring的遠程調用提供的基礎類 （1）org.springframework.remoting.support.RemotingSupport ===>spring提供實現的遠程調

【spring源碼學習】spring配置的事務方式是REQUIRED,但業務層拋出TransactionRequiredException異常問題

uncaught easy lap api tee class odi lose gre (1)spring拋出異常的點:org.springframework.orm.jpa.EntityManagerFactoryUtils public static DataAc

【 js 基礎 】【 源碼學習 】柯裏化和箭頭函數

新的 執行 pos inner 自己的 文件中 柯裏化 clas 而已 最近在看 redux 的源碼，代碼結構很簡單，主要就是6個文件，其中 index.js 負責將剩余5個文件中定義的方法 export 出來，其他5個文件各自負責一個方法的實現。 大部分代碼比較簡單，很