2. 程式人生 > >mogodb集群配置筆記

mogodb集群配置筆記

阿新 • • 發佈：2017-09-21
發現 配置環境 4.6 data 分區 com sha example ##

參考http://www.cnblogs.com/ityouknow/p/7566682.html

github一份:mongodb-five-cluster-conf

mongodb 3.4 集群搭建升級版 五臺集群

最新版mongodb推薦使用yaml語法來做配置，另外一些舊的配置在最新版本中已經不在生效，所以我們在生產實際搭建mongodb集群的時候做了一些改進。如果大家不熟悉什麽是分片、副本集、仲裁者的話請先移步查看上一篇文章：mongodb 3.4 集群搭建：分片+副本集

和前一個版本相比，改動點有：

  • 配置文件采用yaml方式來配置
  • 生產中取消了仲裁者的角色，因為仲裁者也不會存儲數據，只是起到選舉的作用，線上為了保證數據安全，每份數據都會配置兩個副本集，也就是每份數據存儲了三份。
  • 優化配置，采用五臺集群
  • 使用非root賬戶搭建mongodb集群。

環境準備

系統系統 centos6.9
五臺服務器：192.168.0.31/32/33/34/35
安裝包： mongodb-linux-x86_64-3.4.6.tgz

服務器規劃

服務器31服務器32服務器33服務器34服務器35
mongos server mongos server config server config server config server
shard1 server shard2 server shard3 server shard4 server shard5 server
shard5 server shard1 server shard2 server shard3 server shard4 server
shard4 server shard5 server shard1 server shard2 server shard3 server

端口分配：

mongos：20000
config：21000
shard1：27001
shard2：27002
shard3：27003
shard4：27004
shard5：27005

權限分配：

登錄root賬戶，將安裝目錄和數據目錄權限分配給日常操作（youknow）賬戶

chown -R youknow:youknow /usr/local/
chown -R youknow:youknow /data

mongodb安裝

1、下載

下載 mongodb 3.4.6 安裝包

curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.6.tgz
#解壓
tar -xzvf mongodb-linux-x86_64-3.4.6.tgz -C /usr/local/
#改名
mv mongodb-linux-x86_64-3.4.6 mongodb

2、創建相關目錄

根據服務器的規範，分別在對應的服務器上建立conf、mongos、config、shard1、shard2、shard3、shard4、shard5等目錄，因為mongos不存儲數據，只需要建立日誌文件目錄即可。

mkdir -p /usr/local/mongodb/conf
mkdir -p /data/mongos/log
mkdir -p /data/config/data
mkdir -p /data/config/log
mkdir -p /data/shard1/data
mkdir -p /data/shard1/log
mkdir -p /data/shard2/data
mkdir -p /data/shard2/log
mkdir -p /data/shard3/data
mkdir -p /data/shard3/log
mkdir -p /data/shard4/data
mkdir -p /data/shard4/log
mkdir -p /data/shard5/data
mkdir -p /data/shard5/log

3、環境變量

為了後續方便操作，配置mongodb的環境變量，需要切到root用戶下面

vim /etc/profile
# 內容
export MONGODB_HOME=/usr/local/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
# 使立即生效，在安裝用戶下（youknow）執行
source /etc/profile

查看mongodb版本信息mongod -v 輸出版本信息表明配置環境變量成功

集群配置

1、config server配置服務器

在服務器33、34、35上配置以下內容：

添加配置文件：

添加配置文件

vi /usr/local/mongodb/conf/config.conf

## content
systemLog:
  destination: file
  logAppend: true
  path: /data/config/log/config.log
 
# Where and how to store data.
storage:
  dbPath: /data/config/data
  journal:
    enabled: true
# how the process runs
processManagement:
  fork: true
  pidFilePath: /data/config/log/configsrv.pid
 
# network interfaces
net:
  port: 21000
  bindIp: 192.168.0.33
 
#operationProfiling:
replication:
    replSetName: config        

sharding:
    clusterRole: configsvr

啟動三臺服務器的config server

numactl --interleave=all mongod --config /usr/local/mongodb/conf/config.conf

登錄任意一臺配置服務器，初始化配置副本集

#連接
mongo 192.168.0.33:21000
#config變量
config = {
...    _id : "config",
...     members : [
...         {_id : 0, host : "192.168.0.33:21000" },
...         {_id : 1, host : "192.168.0.34:21000" },
...         {_id : 2, host : "192.168.0.35:21000" }
...     ]
... }

#初始化副本集
rs.initiate(config)

#查看分區狀態
rs.status();

其中，"_id" : "configs"應與配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 為三個節點的ip和port

這樣配置服務器就配置好了

2、配置分片、副本集

配置第一個分片副本集

在服務器 31、32、33上面做以下配置

配置文件

vi /usr/local/mongodb/conf/shard1.conf

#配置文件內容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard1/log/shard1.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard1/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20

# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard1/log/shard1.pid
 
# network interfaces
net:
  port: 27001
  bindIp: 192.168.0.33

#operationProfiling:
replication:
    replSetName: shard1
sharding:
    clusterRole: shardsvr

啟動三臺服務器的shard1 server

numactl --interleave=all mongod  --config  /usr/local/mongodb/conf/shard1.conf

登陸任意一臺服務器，初始化副本集

mongo 192.168.0.31:27001
#使用admin數據庫
use admin
#定義副本集配置
config = {
...    _id : "shard1",
...     members : [
...         {_id : 0, host : "192.168.0.31:27001" },
...         {_id : 1, host : "192.168.0.32:27001" },
...         {_id : 2, host : "192.168.0.33:27001" }
...     ]
... }


#初始化副本集配置
rs.initiate(config);


#查看分區狀態
rs.status();

配置第二個分片副本集

在服務器32、33、34上面做以下配置

配置文件

vi /usr/local/mongodb/conf/shard2.conf

#配置文件內容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard2/log/shard2.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard2/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20
 
# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard2/log/shard2.pid
 
# network interfaces
net:
  port: 27002
  bindIp: 192.168.0.33

 
#operationProfiling:
replication:
    replSetName: shard2
sharding:
    clusterRole: shardsvr

啟動三臺服務器的shard2 server

numactl --interleave=all mongod  --config /usr/local/mongodb/conf/shard2.conf

登陸任意一臺服務器，初始化副本集

mongo 192.168.0.32:27002
#使用admin數據庫
use admin
#定義副本集配置
config = {
...    _id : "shard2",
...     members : [
...         {_id : 0, host : "192.168.0.32:27002" },
...         {_id : 1, host : "192.168.0.33:27002" },
...         {_id : 2, host : "192.168.0.34:27002" }
...     ]
... }


#初始化副本集配置
rs.initiate(config);

#查看分區狀態
rs.status();

配置第三個分片副本集

在服務器33、34、35上面做以下配置

配置文件

vi /usr/local/mongodb/conf/shard3.conf

#配置文件內容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard3/log/shard3.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard3/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20
# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard3/log/shard3.pid
 
# network interfaces
net:
  port: 27003
  bindIp: 192.168.0.33

 
#operationProfiling:
replication:
    replSetName: shard3
sharding:
    clusterRole: shardsvr

啟動三臺服務器的shard3 server

numactl --interleave=all mongod  --config  /usr/local/mongodb/conf/shard3.conf

登陸任意一臺服務器，初始化副本集

mongo 192.168.0.33:27003
#使用admin數據庫
use admin
#定義副本集配置
config = {
...    _id : "shard3",
...     members : [
...         {_id : 0, host : "192.168.0.33:27003" },
...         {_id : 1, host : "192.168.0.34:27003" },
...         {_id : 2, host : "192.168.0.35:27003" }
...     ]
... }


#初始化副本集配置
rs.initiate(config);

#查看分區狀態
rs.status();

配置第四個分片副本集

在服務器34、35、31上面做以下配置

配置文件

vi /usr/local/mongodb/conf/shard4.conf

#配置文件內容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard4/log/shard4.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard4/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20

# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard4/log/shard4.pid
 
# network interfaces
net:
  port: 27004
  bindIp: 192.168.0.35

 
#operationProfiling:
replication:
    replSetName: shard4
sharding:
    clusterRole: shardsvr

啟動三臺服務器的shard4 server

numactl --interleave=all mongod  --config /usr/local/mongodb/conf/shard4.conf

登陸任意一臺服務器，初始化副本集

mongo 192.168.0.34:27004
#使用admin數據庫
use admin
#定義副本集配置
config = {
...    _id : "shard4",
...     members : [
...         {_id : 0, host : "192.168.0.34:27004" },
...         {_id : 1, host : "192.168.0.35:27004" },
...         {_id : 2, host : "192.168.0.31:27004" }
...     ]
... }


#初始化副本集配置
rs.initiate(config);

#查看分區狀態
rs.status();

配置第五個分片副本集

在服務器35、31、32上面做以下配置

配置文件

vi /usr/local/mongodb/conf/shard5.conf

#配置文件內容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard5/log/shard5.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard5/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20

# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard5/log/shard5.pid
 
# network interfaces
net:
  port: 27005
  bindIp: 192.168.0.35

 
#operationProfiling:
replication:
    replSetName: shard5
sharding:
    clusterRole: shardsvr

啟動三臺服務器的shard5 server

numactl --interleave=all mongod  --config  /usr/local/mongodb/conf/shard5.conf

登陸任意一臺服務器，初始化副本集

mongo 192.168.0.35:27005
#使用admin數據庫
use admin
#定義副本集配置
config = {
...    _id : "shard5",
...     members : [
...         {_id : 0, host : "192.168.0.35:27005" },
...         {_id : 1, host : "192.168.0.31:27005" },
...         {_id : 2, host : "192.168.0.32:27005" }
...     ]
... }


#初始化副本集配置
rs.initiate(config);

#查看分區狀態
rs.status();

至此，五個分片和副本集搭建完畢

3、配置路由服務器 mongos

以下配置在服務器31、32上執行

註意：先啟動配置服務器和分片服務器,後啟動路由實例

vi /usr/local/mongodb/conf/mongos.conf

systemLog:
  destination: file
  logAppend: true
  path: /data/mongos/log/mongos.log
processManagement:
  fork: true
#  pidFilePath: /usr/local/mongodb/mongos.pid
 
# network interfaces
net:
  port: 20000
  bindIp: 192.168.0.31
#監聽的配置服務器,只能有1個或者3個 configs為配置服務器的副本集名字
sharding:
   configDB: configs/192.168.0.33:21000,192.168.0.34:21000,192.168.0.35:21000

啟動二臺服務器的mongos server

mongos  --config  /usr/local/mongodb/conf/mongos.conf

4、啟用分片

目前搭建了mongodb配置服務器、路由服務器，各個分片服務器，不過應用程序連接到mongos路由服務器並不能使用分片機制，還需要在程序裏設置分片配置，讓分片生效。

登陸任意一臺mongos

mongo 192.168.0.31:20000
#使用admin數據庫
use  admin
#串聯路由服務器與分配副本集
sh.addShard("shard1/192.168.0.31:27001,192.168.0.32:27001,192.168.0.33:27001")
sh.addShard("shard2/192.168.0.32:27002,192.168.0.33:27002,192.168.0.34:27002")
sh.addShard("shard3/192.168.0.33:27003,192.168.0.34:27003,192.168.0.35:27003")
sh.addShard("shard4/192.168.0.34:27004,192.168.0.35:27004,192.168.0.31:27004")
sh.addShard("shard5/192.168.0.35:27005,192.168.0.31:27005,192.168.0.32:27005")
#查看集群狀態
sh.status()

這樣mongodb的五臺集群搭建就已經完成了，後期如何優化和運營請查看下一篇文章。

錯誤

rs.initiate報錯

執行 rs.initiate(config); 報錯：

rs.initiate(config);
{
        "ok" : 0,
        "errmsg" : "No host described in new configuration 1 for replica set shard1 maps to this node",
        "code" : 93,
        "codeName" : "InvalidReplicaSetConfig"
}

最後發現是自己的一個端口號寫錯了。

啟動mongos報錯

啟動mongos的時候報錯：

about to fork child process, waiting until server is ready for connections.
forked process: 1436
ERROR: child process failed, exited with error number 1

這個問題卡了我們半天，找了很多的資料，不是說清理lock文件，就是說清理log文件總無解，最後看到這個網站的提示

ERROR: child process failed, exited with error number 1

去掉了配置文件中 --fork，才將真正的錯誤日誌打印了出來，是我們的配置文件中的路徑寫錯了，本來是log寫成了logs

原來：path: /data/logs/mongos.log

改為：path: /data/log/mongos.log

成功

mogodb集群配置筆記

相關推薦

mogodb集群配置筆記

發現 配置環境 4.6 data 分區 com sha example ## 參考http://www.cnblogs.com/ityouknow/p/7566682.html github一份:mongodb-five-cluster-conf mongodb 3

MongoDB集群配置筆記

replica 配置筆記 iat 特殊 數據 ble width ... mon 單臺mongodb配置文件: dbpath=/opt/mongodb/data logpath=/opt/mongodb/logs/mongodb.log logappend=true fo

曙光集群 配置和檢查內容

eboot power tar poweroff gre sta 普通用戶 name 服務狀態 第一步：檢查node39 ypserv服務狀態[[email protected]/* */ ~]# /etc/init.d/ypserv statusypserv

debian下 Hadoop 1.0.4 集群配置及運行WordCount

速度 虛擬 裏的 否則 ado 修改 安裝包 name 節點 說明：我用的是壓縮包安裝，不是安裝包 官網安裝說明：http://hadoop.apache.org/docs/r1.1.2/cluster_setup.html，繁冗，看的眼花...大部分人應該都不是按照這個來

redis之 集群配置（主從復制）

端口 cnblogs pid 分享 必須 服務器配置 主服務器 一個 cat 集群的作用： 　　 集群的方式有二種： 　　第二種的好處是：master宕機以後可以直接切換到slave1 主從通信的過程 　　先通過dump導出大塊的rdb 然後把aof緩沖過來，然後通過

Jboss7集群配置說明

請求 doc tar.gz dex 檢驗 soc stand keep 2-0 Jboss7集群配置說明 第一節 前言 JBOSS7具有獨立模式(standalone)和域模式(domain)兩種運行方式。獨立模式(standalone)是單機器單進程方式，配置布

Zookeeper 安裝及集群配置註意點

打印 文件 https .com ubun blog 如果 啟動失敗 ron Zookeeper在ubuntu下安裝及集群搭建，關於集群搭建，網上很多文章 可以參考：https://www.ibm.com/developerworks/cn/opensource/os-cn

java：redis（redis的集群配置）

升級 hosts keys tor and 建立 pen daemon bsp 服務器集群作用： 　　服務器集群就是指將很多服務器集中起來一起進行同一種服務，在客戶端看來就象是只有一個服務器 集群可以利用多個計算機進行並行計算從而獲得很高的計算速度，也可以用多個計算機做備份

Rabbitmq 相關介紹之單機集群配置

rabbitmq 默認 集群模式 一、說明：說到集群，大家應該都不陌生，為了提高性能需要配置集群，而在有的時候，我們需要在測試環境先測試然後灰度上線，所以這裏介紹在一臺服務器上配置rabbitmq集群二、rabbitmq集群模式1、普通模式：rabbitmq默認的集群模式RabbitMQ集群中節點

Redis主從復制和集群配置

get 行數據 pattern 額外 監控 redis-cli 客戶端 輸入a stat redis主從復制 概述 1、redis的復制功能是支持多個數據庫之間的數據同步。一類是主數據庫（master）一類是從數據庫（slave），主數據庫可以進行讀寫操作，當發生寫操作的時

Rabbitmq 相關介紹之雙機鏡像模式集群配置

rabbitmq雙機多機 鏡像隊列集群配置一、環境介紹系統： Centos 6.7 2.6.32-573.el6.x86_64 node1 172.16.60.187 node2 172.16.60.188 軟件包 erlang-19.0.4-1.el6.x86_64.rpm rabbitmq-se

Hadoop集群搭建筆記

reduce ati prompt ucc xshell 格式化 load obj apache 1、安裝虛擬機 VMware workstation CentOS 鏡像 安裝Linux虛擬機：（在Win7上） 1）安裝VMwareWorkstations（可

Solr6.2.0 + zookeeper 集群配置

num reat classpath eric 目錄 art vid ets lsp zookeeper1 : 192.168.1.103zookeeper2 : 192.168.1.104zookeeper3 : 192.168.1.105solr1 : 192.168.

consul 1.0 server cluster集群配置全解密

安裝 consul consul 一、背景故事：上周四聽了美的MySQL數據庫利用consul實現高可用，還有redis 集群模式，讓我對consul產生了濃厚的興趣，特花了三四天的時間研究consul集群，consul的特點是什麽呢？ 1、 使用 Raft 算法來保證一致性, 比復雜的 Paxo

Kafka 集群配置SASL+ACL

ima ted 認證 管理 ces 外部網絡 apache 其他 true ** Kafka 集群配置SASL+ACL 測試環境：** 系統: CentOS 6.5

kubernetes集群配置dns服務

bin 留言 guarantee quest sch aaa .cn eve 介紹 本文將在前文的基礎上介紹在kubernetes集群環境中配置dns服務，在k8s集群中，pod的生命周期是短暫的，pod重啟後ip地址會產生變化，對於應用程序來說這是不可接受的，為解決這個問

Orleans學習總結(四)--集群配置篇

pan aging 方式 ddr sts system slist globals ica 上篇我們講了Orleans學習總結(三)--持久化篇，這一篇我們來說說集群配置，畢竟這個才是Orleans的看家本領 Orleans支持熱起動，支持自動節點發現，能夠斷線重發等一系列

kylin跨集群配置實現讀寫分離

KYLIN HBASE HIVE 讀寫分離 跨集群 社區提供的讀寫分離架構圖如下：通過架構圖可以看到Kylin會訪問兩個集群的HDFS，建議兩個集群的NameService務必不能相同，尤其是集群啟用NameNode HA時，相同的NameService會導致組件在跨集群訪問HDFS時因無

【kafka】集群配置

kafka cluster 1.先配置好zookeeper集群（可以看zookeeper集群搭建）2.三個kafka機器10.1.44.186 kafka(9092) zookeeper(2181)10.1.44.187 kafka(9092) zookeeper(2181)10.1.44.188 k

Flume數據采集之常見集群配置案例

大數據 Flume [TOC] 非集群配置 這種情況非集群配置方式，比較簡單，可以直接參考我整理的《Flume筆記整理》，其基本結構圖如下： Flume集群之多個Agent一個source 結構說明 結構圖如下： 說明如下： 即可以把我們的Agent部署在不同的節點上，上面是兩個Agent的情況。