1. 程式人生 > >一、mongodb之單個例項、主從配置、多個節點

一、mongodb之單個例項、主從配置、多個節點

在大資料的時代,傳統的關係型資料庫要能更高的服務必須要解決高併發讀寫、海量資料高效儲存、高可擴充套件性和高可用性這些難題。不過就是因為這些問題Nosql誕生了。

NOSQL有這些優勢: 

· 大資料量,可以通過廉價伺服器儲存大量的資料,輕鬆擺脫傳統mysql單表儲存量級限制。

· 高擴充套件性Nosql去掉了關係資料庫的關係型特性,很容易橫向擴充套件,擺脫了以往老是縱向擴充套件的詬病。

· 高效能Nosql通過簡單的key-value方式獲取資料,非常快速。還有NoSQLCache是記錄級的,是一種細粒度的Cache,所以NoSQL在這個層面上來說就要效能高很多。

· 靈活的資料模型NoSQL

無需事先為要儲存的資料建立欄位,隨時可以儲存自定義的資料格式。而在關係資料庫裡,增刪欄位是一件非常麻煩的事情。如果是非常大資料量的表,增加欄位簡直就是一個噩夢。

· 高可用NoSQL在不太影響效能的情況,就可以方便的實現高可用的架構。比如mongodb通過mongosmongo分片就可以快速配置出高可用配置。

nosql資料庫裡,大部分的查詢都是鍵值對(keyvalue)的方式。MongoDB是一個介於關係資料庫和非關係資料庫之間的產 品,是非關係資料庫當中最像關係資料庫的。支援類似於面向物件的查詢語言,幾乎可以實現類似關係資料庫單表查詢的絕大部分功能,而且還支援對資料建立索 引。所以這個非常方便,我們可以用

sql操作MongoDB,從關係型資料庫遷移過來,開發人員學習成本會大大減少。如果再對底層的sql API做一層封裝,開發基本可以感覺不到mongodb和關係型資料庫的區別。同樣MongoDB也是號稱自己能夠快速搭建一個高可用可擴充套件的的分散式集 群,網上有很多搭建的文章,在我們搭建的時候還需要查詢修改很多東西,所以把自己實戰的步驟記錄下來以備忘。我們看看如何一步一步搭建這個東東。

11  mongodb單例項。

這種配置只適合簡易開發時使用,生產使用不行,因為單節點掛掉整個資料業務全掛,如下圖。

雖然不能生產使用,但這個模式可以快速搭建啟動,並且能夠用mongodb的命令操作資料庫。下面列出在

linux下安裝單節點mongodb的步驟

1. 建立mongodb測試資料夾 

1. #存放整個mongodb檔案

2. mkdir -p /data/mongodb/single  

3.  

4. #存放mongodb資料檔案

5. mkdir -p /data/mongodb/single/data  

6.  

7. #進入mongodb資料夾

8. cd  /data/mongodb/single  

2. 下載mongodb的安裝程式包 

1. wget  http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.6.tgz

2.  (不行的話,可以手動下載,使用ftp上傳

3. #解壓下載的壓縮包

4. tar xvzf mongodb-linux-x86_64-2.4.6.tgz  

5.  

6. #進入mongodb程式執行資料夾

7. cd mongodb-linux-x86_64-2.4.6/bin/  

3. 啟動單例項mongodb 

1. ./mongod  --dbpath /data/mongodb/single/data  

輸出日誌如下,成功! 

[[email protected] bin]# ./mongod --dbpath /data/mongodb/single/data

Fri Nov 28 01:44:51.391 [initandlisten] MongoDB starting : pid=12238 port=27017 dbpath=/data/mongodb/single/data 64-bit host=localhost.localdomain

Fri Nov 28 01:44:51.395 [initandlisten] db version v2.4.6

Fri Nov 28 01:44:51.395 [initandlisten] git version: b9925db5eac369d77a3a5f5d98a145eaaacd9673

mongodb預設自帶提供了web訪問介面,通過 IP + 埠的形式可以訪問。 

http://10.5.227.209:28017/

1主從模式。

使用mysql資料庫時大家廣泛用到,採用雙機備份後主節點掛掉了後從節點可以接替主機繼續服務。所以這種模式比單節點的高可用性要好很多。

下面看一下怎麼一步步搭建一個mongodb的主從複製節點:

1. 準備兩臺機器 10.5.227.209 和 10.5.227.205。 10.5.227.209 當作主節點, 10.5.227.205作為從節點。

2. 分別下載mongodb安裝程式包。在10.5.227.209上建立資料夾 /data/mongodb/master10.5.227.205建立資料夾/data/mongodb/slave

3. 在10.5.227.209啟動mongodb主節點程式。注意後面的這個 “ –master ”引數,標示主節點。

./mongod -dbpath/data/mongodb/data/master-master

輸出日誌如下,成功!

[initandlisten] MongoDB starting : pid=18285 port=27017 dbpath=/data/mongodb/master master=1

#日誌顯示主節點引數

[initandlisten] options: { dbpath: “/data/mongodb/master”, master: true } 
…….. 
[initandlisten] waiting for connections on port 27017

4. 在10.5.227.205啟動mongodb從節點程式。關鍵配置,指定主節點ip地址和埠 –source 10.5.227.209:27017 和 標示從節點 –source 引數。

./mongod -dbpath /data/mongodb/data/slave -slave -source 10.5.227.209:27017

輸出日誌如下,成功!

[initandlisten] MongoDB starting : pid=17888 port=27017 dbpath=/data/mongodb/slave slave=1 
…….. 
#日誌顯示從節點引數 
[initandlisten] options: { dbpath: “/data/mongodb/slave”, slave: true, source: “10.5.227.209:27017″ } 
…….. 
[initandlisten] waiting for connections on port 27017 
#日誌顯示從節點 從主節點同步複製資料 
[replslave] repl: from host:10.5.227.209:27017

5. 測試主從複製。

在主節點上連線到終端:

1. mongo 127.0.0.1  

2.  

3. #建立test 資料庫。

4. use test;  

5.   

6. 往testdb表插入資料。

7. > db.testdb.insert({"test1":"testval1"})  

8.   

9. 查詢testdb資料看看是否成功。

10. > db.testdb.find();  

11. { "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }  

可以看到主機的同步日誌 

[initandlisten] connection accepted from 10.5.227.205:37285 #3 (2 connections now open) 
[slaveTracking] update local.slaves query: { _id: ObjectId(’5284e6268ed115d6238bdb39′), config: { host: “10.5.227.205:35271″, upgradeNeeded: true }, ns: “local.oplog.$main” } update: { $set: { syncedTo: Timestamp 2094441570000|1 } } nscanned:1 nupdated:1 fastmod:1 keyUpdates:0 locks(micros) w:132015 132ms

檢查從主機的資料。

mongo 127.0.0.1

檢視當前資料庫。 

1. > show dbs;  

2.   local   0.203125GB  

3.   test    0.203125GB  

4.   

5. use test;  

6. db.testdb.find();  

7. { "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }  

查詢後資料已經同步過來了。再看看日誌,發現從主機確實從主機同步了資料。 

1. Thu Nov 14 23:05:13 [replslave] repl:   checkpoint applied 15 operations  

2. Thu Nov 14 23:05:13 [replslave] repl:   syncedTo: Nov 14 23:08:10 5284e75a:1  

檢視服務狀態 

1. > db.printReplicationInfo();  

2.           this is a slave, printing slave replication info.  

3.           source:   10.5.227.209:27017  

4.               syncedTo: Sun Nov 17 2013 16:04:02 GMT+0800 (CST)  

5.                       = -54 secs ago (-0.01hrs)  

到此主從結構的mongodb搭建好了。 

故障轉移測試,現在兩臺伺服器如果主伺服器掛掉了,從伺服器可以正常運轉嗎? 

a. 先測試下從伺服器可以當成主伺服器嗎,也就是往從伺服器裡寫能夠同步主伺服器嗎?在10.5.227.205上連線mongodb

1. mongo 127.0.0.1:27017  

2. > db.testdb.insert({"test3":"testval3"});  

3. not master  

可以看到 mongodb的從節點是不能提供寫操作的,只能提供讀操作。 

b. 如果從伺服器掛掉,主伺服器還可以提供服務。如果主伺服器掛掉了從伺服器能否自動變為可寫。 
測試一下!

先殺掉原來的mongodb主伺服器。

1. kill -3 `ps -ef|grep mongod|grep -v grep|awk '{print $2}'`  

測試從伺服器能否可寫。在10.5.227.205上連線mongodb測試。 

1. > db.testdb.insert({"test3":"testval3"});  

2. not master  

看起來從伺服器沒有自動接替主伺服器的功能,只有手工處理了!

停止從伺服器,在原資料檔案啟動並新增主伺服器標示。

1. mongod  --dbpath /data/mongodb/slave --master  

等到啟動成功(時間有點長)。在10.5.227.205 上 連線 

1. mongo 10.5.227.205:27017  

1. > db.testdb.find();  

2. { "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }  

3. { "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }  

成功! 

1多個從節點。

現在只是一個數據庫伺服器又提供寫又提供讀,機器承載會出現瓶頸。大家還記得mysql裡的讀寫分離嗎?20%的寫 放到主節點,80%的讀放到從節點分攤了減少了伺服器的負載。但是大部分應用都是讀操作帶來的壓力,一個從節點壓力負載不了,可以把一個從節點變成多個節 點。那mongodb的一主多從可以支援嗎?答案是肯定的。 

為了方便測試,在10.5.227.205上再建立一個資料夾 /data/mongodb/slave1 作為另一個slave伺服器。啟動slave2服務,

1. mongod  --dbpath /data/mongodb/slave1 --slave  --port 27017 --source 10.5.227.209:27017 

成功啟動後通過mongodb連線測試: 

1. > db.testdb.find();  

2. { "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }  

3. { "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }  

搭建了這套主從複製系統是不是就很穩健了,其實不然。。。看看這幾個問題? 

· 主節點掛了能否自動切換連線?目前需要手工切換。

· 主節點的寫壓力過大如何解決?

· 從節點每個上面的資料都是對資料庫全量拷貝,從節點壓力會不會過大?

· 就算對從節點路由實施路由訪問策略能否做到自動擴充套件?

相關推薦

mongodb單個例項主從配置節點

在大資料的時代,傳統的關係型資料庫要能更高的服務必須要解決高併發讀寫、海量資料高效儲存、高可擴充套件性和高可用性這些難題。不過就是因為這些問題Nosql誕生了。 NOSQL有這些優勢:  · 大資料量,可以通過廉價伺服器儲存大量的資料,輕鬆擺脫傳統mysql單表儲存量級限制

十三mongodbinsert操作

                           mongodb之insert操作 插入操作運算子: 運算子 含義 db.collection.insertOne()

Vue學習vue例項中的資料事件和方法

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initia

Mongodb的安裝主從配置replicaSet配置

     前段時間一直在研究mongodb,看了一些書,網上也看了很多資料,其實都是抄來抄去,很多根本都沒有經過自己驗證,隨便往部落格上一貼,然後坑死人,這樣真的要不得,本人在開始就深受其害,所以這裡未免後來人也跟我一樣走這些彎路,自己就花點時間把自己的一些實踐操作整理了下,寫了這篇文章。 文章很簡單,主要

使用C++11變長引數模板 處理任意長度型別引數例項

變長模板、變長引數是依靠C++11新引入的引數包的機制實現的。 一個簡單的例子是std::tuple的宣告: template <typename... Elements> class tuple; 這裡的三個點“...”表示這個模板引數是變長的。 有了這個

Spark2.0 特征提取轉換選擇二:特征選擇文本處理,以中文自然語言處理(情感分類)為例

true 方便 linear value taf 文檔 ota ati inter 特征選擇 RFormula RFormula是一個很方便,也很強大的Feature選擇(自由組合的)工具。 輸入string 進行獨熱編碼(見下面例子country) 輸入數值型轉換為dou

8.31 MySQL主從配置準備工作配置配置測試主從同步

stop 恢復備份 rep nor my.cnf 用戶 兩個 前綴 host 1、MySQL主從配置    MySQL主從又叫做Replication、AB復制。簡單講就是A和B兩臺機器做主從後,在A上寫數據,另外一臺B也會跟著寫數據,兩者數據是實時同步的   MySQL主

mllib實踐(LinearRegressionWithSGD實踐(整合網際網路上例項

package mllib; import org.apache.spark.{ SparkConf, SparkContext } import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regr

Redis學習筆記(4)-持久化主從配置哨兵叢集配置

HDIS-Framework是一個基於SpringBoot、Kubernetes、阿里雲服務,編寫的一個用於支撐微服務的極速開發框架。 其文件詳盡,Demo全面,設計合理,開箱即用,節省開發時間,提升開發效率。 配套的docker、Kubernete

JMeterPostmanRequests介面測試經驗分享-一個引數傳值()(舉例)

在介面測試中,實際【很少】會碰到一種情況:某一個引數需要傳遞多個值;第一次碰到時,手足無措,最近略有體會,就整理、分享下。 因為是真實介面,所以圖片多處有馬賽克,請多理解。 (一)Requests文件的小意外 公司專案有個介面是可以傳多個值,我就想用Requests來試試,在複習

我們一起學docker二:安裝及配置檔案講解

文章目錄 1.安裝docker環境 2.docker狀態查詢 3.服務啟動停止命令 4.docker虛擬網絡卡 5.docker配置檔案講解 6.docker 日誌檢視(基於docker服務)

springbootspringcloud靜態資源路徑的配置

在Springboot中預設的靜態資源路徑有:classpath:/METAINF/resources/,classpath:/resources/,classpath:/static/, classpath:/public/,從這裡可以看出這裡的靜態資源路徑都是在classpath中(也就是在專案路徑

csredis-in-asp.net core理論實戰-主從配置哨兵模式

csredis GitHub https://github.com/2881099/csredis 看了github上的開源專案,上面真的只是單純的使用文件,可能對於我這種人(菜鳥)就不太友好, 我知道他對標的是ServiceStack.Redis, 一開始csredis只支援. net 版本,但原作者沒

JMeterPostmanRequests介面測試經驗分享-一個引數傳值(三)

原本以為是a piece of cake,深挖下,結果自己越跑越遠; 所幸有些收穫,但不見得準確,希望大家多多指正。 JSON格式的POST請求在利用Requests庫在用三種方法傳遞引數時出現了新問題,有2種是400 Bad Request,即我傳的(Requests轉化完的)JSON

JMeterPostmanRequests介面測試經驗分享-一個引數傳值(二)

上一篇分享真實介面,好多馬賽克;這一篇就分享沒有馬賽克的; 與此同時,因為那個post請求的Content-Type是application/x-www-form-urlencoded,沒有寫JSON的機會;我一直以為我會遇到的JSON問題是工具JMeter、Postman的,但沒想到是

XStream轉換list節點

XML檔案如下: <MbfBody> <price> <cmmdtyCode>1</cmmdtyCode> <cityCode>1</cityCode> <sto

poi批量匯入匯出Excel(三通過模板匯出Excel並能實現匯入sheet表)

本專案基於SSM框架,簡單封裝了Excel批量匯入匯出功能,不用建資料庫表一鍵匯入匯出Excel,不過這樣只適用於對匯入的Excel表進行轉換,通過模板匯出Excel並且能實現匯入多個sheet表。上一篇介紹了建表匯入匯出Excel(點選跳轉)一、下載poi jar包:點這裡

記錄自己的redis路-03-redis主從配置

應用場景 一般來說,要將Redis運用於工程專案中,只使用一臺Redis是萬萬不能的,原因如下: a) 從結構上,單個Redis伺服器會發生單點故障,並且一臺伺服器需要處理所有的請求負載,壓力較大; b) 從容量上,單個Redis伺服器記憶體容量有限,就算一臺Redis

輸入一行字元,以回車符作為輸入結束的標誌。統計其中英文字母數字字元和其他字元的個數。字元,以回車符結束,回車符不作為有效字元。有效字元個數不超過100。

#include<stdio.h>#include<string.h>int main(){ char str[1000],ch; gets(str); int letter=0,digit=0,other=0;          //分別是英文,數字