MongoDB資料庫的使用
阿新 • • 發佈：2021-03-31
MongoDB是一個基於分散式 檔案儲存的NoSQL資料庫，適合儲存JSON風格檔案的形式。
-
三元素：資料庫、集合和文件。
- 文件：對應著關係資料庫中的行，就是一個物件，由鍵值對構成，是json的擴充套件Bson形式，示例
{'name':'guojing','gender':'男'} - 集合：類似於關係資料庫中的表，儲存多個文件，結構不固定，示例
{'name':'guojing','gender':'男'} {'name':'huangrong','age':18} {'book':'shuihuzhuan','heros':'108'}
- 文件：對應著關係資料庫中的行，就是一個物件，由鍵值對構成，是json的擴充套件Bson形式，示例
一、環境安裝與執行
-
安裝
sudo apt-get install mongodb
配置檔案為 /etc/mongodb.conf，預設埠號:27017
-
啟動伺服器
sudo service mongodb start #相當於執行命令 sudo mongod --config /etc/mongod.conf
-
關閉伺服器
sudo service mongodb stop
-
重啟伺服器
sudo service mongodb restart #修改了配置檔案/etc/mongodb.conf後,需要重啟mongodb伺服器讓配置生效
-
啟動客戶端
sudo mongo
二、資料庫操作
-
檢視當前資料庫
db
-
檢視所有資料庫
show dbs
-
切換(或建立)資料庫
use 資料庫名
切換資料庫，如果資料庫不存在，當插入資料或建立集合時，會自動建立這個資料庫
-
刪除資料庫
db.dropDatabase()
刪除當前指向的資料庫，如果不存在，則什麼也不做
三、集合操作
-
建立
db.createCollection(name[,options]) #name集合名稱 #options可選，是一個用於指定集合配置的文件，其中capped引數預設不設定上限(false)，若設定上限（true）則需要指定引數size,單位位元組
#不設定集合大小 db.createCollection("stu") #設定集合大小 db.createCollection("sub", { capped : true, size : 10 } ) -
檢視當前資料庫集合
show collections
-
刪除集合
db.集合名.drop()
四、資料操作
-
插入
db.集合名.insert(文件) 或 db.集合名.insert([文件...])
#如果不指定_id欄位，則分配一個唯一的ObjectId；如果指定_id欄位，且_id已經存在時，不做任何操作；如果一次性插入多條資料，以陣列的方式傳入文件# 不指定_id db.stu.insert({name:'gj',gender:1}) #指定_id s1={_id:'20160101',name:'hr'} s1.gender=0 db.stu.insert(s1) -
刪除--(注意justOne引數)
db.集合名.remove(條件，{justone:<boolean>}) #引數justOne預設false，刪除多條# 只刪除匹配到的一條資料 db.stu.remove({gender:0},{justOne:true}) #刪除所有 db.stu.remove({}) -
修改--(注意$set以及multi引數)
db.集合名.update({條件}，$操作符，{multi: <boolean>}]) #引數multi只和$操作符一起使用，預設false，只修改一條資料，true表示修改多條資料# 不使用操作符$set，修改整條文件 db.stu.update({name:'hr'},{name:'mnc'}) #使用操作符$set指定屬性修改 db.stu.update({name:'hr'},{$set:{name:'hys'}}) #multi引數和$set一起使用，修改多條文件 db.stu.update({},{$set:{gender:0}},{multi:true}) -
儲存
db.集合名.save(document)
#在手動插入_id欄位時，如果_id已經存在，做全文件更新操作，其餘均表示插入資料。db.stu.save({_id:'20160102','name':'yk',gender:1}) db.stu.save({_id:'20160102','name':'wyk'}) #對上述文件做修改 -
查詢
-
基本查詢
db.集合名.find({條件文件}) #查詢所有 db.集合名.findOne({條件文件}) #只查詢第一條 db.集合名.find({條件文件}).pretty() #結果格式化輸出 -
比較運算子
- 等於：預設，沒有運算子
- 小於： $lt
- 小於等於： $lte
- 大於：$gt
- 大於等於：$gte
- 不等於：$ne
#查詢年齡大於等於18的學生 db.stu.find({"age":{$gte:18}})
-
邏輯運算子
- 邏輯與：預設
- 邏輯或：$or
# 查詢年齡大於或等於18，並且性別為1的學生 db.stu.find({"age":{$gte:18},"gender":1}) #查詢年齡大於18，或性別為0的學生 db.stu.find({$or:[{"age":{$gt:18}},{"gender":1}]}) #查詢年齡小於18或者大於20，性別為1的學生 db.stu.find({$or:[{"age":{$lt:18}},{"age":{$gt:20}}],"gender":1})
-
範圍運算子
- 在某個範圍$in,後面接陣列
- 不在某個範圍$nin，後面接陣列
#查詢年齡18、20以及22歲的學生 db.stu.find({"age":{$in:[18,20,22]}}) #查詢年齡不等於18或20的學生 db.stu.find({"age":{$nin:[18,20]}})
-
正則表示式
- 使用/表示式/或者$regex
#查詢姓黃的學生 db.stu.find({"name":/^黃/}) db.stu.find({"name":{$regex:"^黃"}})
- 使用/表示式/或者$regex
-
自定義查詢
- 使用$where:function(){return 滿足條件的資料表示式}------運算子使用js語法,比如邏輯與(&&)，邏輯或(||)
#查詢年齡18-22的學生 db.stu.find({$where:function(){return this.age>18 && this.age<22}}) #查詢年齡小於18或者大於22的學生 db.stu.find({$where:function(){return this.age<18 || this.age>22}})
- 使用$where:function(){return 滿足條件的資料表示式}------運算子使用js語法,比如邏輯與(&&)，邏輯或(||)
-
投影
- 只顯示部分欄位
db.集合名.find({條件},{欄位名:1,...}) #1表示該欄位顯示，0不顯示；_id列預設顯示，不顯示需要明確設定為0#查詢姓名和年齡(顯示_id) db.stu.find({},{name:1,gender:1}) #查詢姓名和年齡(不顯示_id) db.stu.find({},{_id:0,name:1,gender:1})
- 只顯示部分欄位
-
skip
- 跳過指定數量的文件
db.集合名.find({條件}).skip(number) #number預設為0#查詢從第3條開始的學生資訊 db.stu.find().skip(2)
- 跳過指定數量的文件
-
limit
- 讀取指定數量的文件
db.集合名.find({條件}).limit(number) #不寫number引數，預設讀取所有文件#讀取3條學生資訊 db.stu.find().limit(3)
- 讀取指定數量的文件
-
skip和limit合用
- 不區分先後順序
#查詢第5-9條學生資訊 db.stu.find().skip(4).limit(5) #相當於跳過4條資料，選5條
- 不區分先後順序
-
sort
- 對結果集進行排序
db.集合名稱.find({條件}).sort({欄位:1,...}) #1表示升序，-1表示降序#根據性別降序，再根據年齡升序 db.stu.find().sort({"gender":-1,"age":1})
- 對結果集進行排序
-
count
- 對結果集中文件數目進行統計，返回整數
db.集合名.find({條件}).count() 或者 db.集合名.count({條件})#統計年齡大於20的男生人數 db.stu.count({"age":{$gt:20},"gender":1})
- 對結果集中文件數目進行統計，返回整數
-
distinct
- 對資料去重，返回的是一個列表
db.集合名.distinct("欄位名",{條件})
- 對資料去重，返回的是一個列表
-
五、聚合（aggregate）
-
聚合主要用於計算資料，類似sql中的sum()、avg()
db.集合名.aggregate([{管道:{表示式}}...]) -
管道
-
文件處理完畢後，通過管道進行下一次處理
-
常用管道：
- $group：將集合中的文件分組，可用於統計結果
- $match：過濾資料，只輸出符合條件的文件
- $project：修改輸入文件的結構，如重新命名、增加、刪除欄位、建立計算結果
- $sort：將輸入文件排序後輸出
- $limit：限制聚合管道返回的文件數
- $skip：跳過指定數量的文件，並返回餘下的文件
- $unwind：將陣列型別的欄位進行拆分
-
-
表示式
-
處理輸入文件並輸出
-
語法：表示式:‘$欄位名’
-
常用表示式：
- $sum：計算總和，$sum:'$欄位'表示求和，注意$sum:1表示計數，
- $avg：計算平均值
- $min：獲取最小值
- $max：獲取最大值
- $push：在結果文件中插入值到一個數組中（以列表的方式顯示欄位值）
- $first：根據資源文件的排序獲取第一個文件資料
- $last：根據資源文件的排序獲取最後一個文件資料
-
-
$group
- 文件分組，用於統計結果
- _id表示分組的依據，使用某個欄位的格式為'$欄位'
# 統計男、女生人數 db.stu.aggregate([{$group:{"_id":'gender',"couter":{$sum:1}}}]) #結果文件中顯示_id和counter的值 - _id按照null分組，會將集合中所有文件分為一組
# 求學生總人數和平均年齡 db.stu.aggregate([{$group:{_id:null,counter:{$sum:1},average_age:{$avg:"$age"}}}]) - 使用$$ROOT可以將文件內容加入到結果集的陣列中
#統計男、女生資訊 db.stu.aggregate([{$group:{_id:"$gender",objects:{$push:"$$ROOT"}}}])
-
$match
- 過濾資料，輸出符合條件文件
#查詢年齡大於20的學生 db.stu.aggregate([{$match:{age:{$gt:20}}}]) #查詢年齡大於20的男、女生人數 db.stu.aggregate([{$match:{age:{$gt:20}}},{$group:{_id:"$gender",counter:{$sum:1}}}])
- 過濾資料，輸出符合條件文件
-
$project
- 修改輸出文件的結構
#查詢學生姓名、年齡 db.stu.aggregate([{$project:{"_id":0,"name":1,"age":1}}]) #查詢男生、女生人數，但僅輸出人數 db.stu.aggregate([{$group:{_id:'$gender',counter:{$sum:1}}},{$project:{_id:0,counter:1}}])
- 修改輸出文件的結構
-
$sort
- 將輸入文件排序後輸出
#查詢學生資訊，按年齡升序 db.stu.aggregate([{$sort:{age:1}}]) #查詢男生、女生人數，按人數降序 db.stu.aggregate([{$group:{_id:'$gender',counter:{$sum:1}},{$sort:{counter:-1}}])
- 將輸入文件排序後輸出
-
$limit
- 限制聚合管道返回的文件數
#查詢2條學生資訊 db.stu.aggregate([{$limit:2}])
- 限制聚合管道返回的文件數
-
$skip
- 跳過指定數量的文件，並返回餘下的文件，$skip和$limi合用時，注意先寫skip，再寫limit
#查詢從第3條開始的學生資訊 db.stu.aggregate([{$skip:2}]) #統計男生、女生人數，按人數升序，取第二條資料 db.stu.aggregate([{$group:{_id:"$gender",counter:{$sum:1}}},{$sort:{"counter":1}},{$skip:1},{$limit:1}])
- 跳過指定數量的文件，並返回餘下的文件，$skip和$limi合用時，注意先寫skip，再寫limit
-
$unwind
- 將文件中的某一個數組型別欄位拆分成多條，每條包含陣列中的一個值
db.集合名稱.aggregate([{$unwind:'$欄位名稱'}])
- 將文件中的某一個數組型別欄位拆分成多條，每條包含陣列中的一個值
六、索引
-
提升查詢速度
-
建立大量資料
for(var i=0;i<1000000;i++){db.stu.insert({name:'test'+i,num:i})} -
效能分析工具：explain("executionStats")
查詢語句.explain("executionStats")'millis'後面顯示的是查詢時間，單位ms
-
建立索引
db.集合.ensureIndex({屬性:1或-1}) #1表示升序，-1表示降序，建立後的索引名稱為"屬性_1"或者"屬性_-1"例如：db.stu.ensureIndex({name:1})，建立後的索引名稱為"name_1"
-
建立唯一索引
db.集合.ensureIndex({屬性:1},{"unique":true}) -
建立聯合索引
db.集合名.ensureIndex({屬性1:1，屬性2:1...}) -
檢視索引
db.集合名.getIndexes()
-
刪除索引
db.集合名.dropIndex("索引名稱")
七、資料庫安全
為了更安全的訪問mongodb，需要訪問者提供使用者名稱和密碼，於是需要在mongodb中建立使用者。mongodb資料庫採用了角色-使用者-資料庫的安全管理方式。
-
常用系統角色如下：
- root：只在admin資料庫中可用，超級賬號，超級許可權
- Read：允許使用者讀取指定資料庫
- readWrite：允許使用者讀寫指定資料庫
-
建立超級管理使用者：
use admin #首先切換到admin資料庫 db.createUser({ user:'使用者名稱', pwd:'密碼', roles:[{role:'root',db:'admin'}] }) -
啟用安全驗證
-
修改配置檔案( /etc/mongodb.conf)
#noauth = true auth = true #開啟安全驗證
-
重啟服務
sudo service mongodb restart
-
終端連線
# sudo mongo -u '使用者名稱' -p '密碼' --authenticationDatabase '資料庫名' sudo mongo -u 'admin' -p '密碼' --authenticationDatabase 'admin'
-
-
普通使用者管理
-
首先使用超級管理員登陸，然後再進行使用者管理操作
-
建立普通使用者
db.createUser({ user:'使用者名稱', pwd:'密碼', roles:[{role:'readWrite',db:'資料庫名'}...] #數組裡可以有多個角色文件，比如使用者在不同的資料庫裡都有讀寫許可權 }) -
檢視當前資料庫的使用者
show users
-
修改使用者：可以修改pwd、roles屬性
db.updateUser('使用者名稱',{pwd:'新密碼',roles:[{'新角色'}...]}) -
刪除使用者
use admin #切換到admin資料庫 db.system.users.remove(條件)
-
終端連線
sudo mongo -u '使用者名稱' -p '密碼' --authenticationDatabase '資料庫名'
-
八、複製
複製提供了資料的冗餘備份，並在多個伺服器上儲存資料的副本，允許從硬體故障和服務中斷中恢復資料，能夠實現無宕機維護(自動故障轉移與自動恢復)。
複製至少需要2個節點，其中1個為主節點，其它均為從節點。任何節點均可以成為主節點。
主節點負責所有寫入操作，從節點定期輪詢主節點獲取這些操作並執行這些操作，從而保證從節點的資料與主節點一致。
-
設定複製節點
-
建立資料庫檔案存放目錄（自定義）
mkdir ~/Desktop/t1 mkdir ~/Desktop/t2
-
使用如下格式啟動mongod，如果在同一臺主機上，注意port不能相同，replSet的名稱必須是一致的(名稱可以自定義)
sudo mongod --bind_ip 192.168.196.128 --port 27017 --dbpath ~/Desktop/t1 --replSet rs0 sudo mongod --bind_ip 192.168.196.128 --port 27018 --dbpath ~/Desktop/t2 --replSet rs0
-
連線主伺服器（自定義一個）
sudo mongo --host 192.168.196.128 --port 27017
-
初始化
rs.initiate()
哪個伺服器執行初始化，哪個伺服器就作為主節點，rs是mongo伺服器中專門用於複本集操作的內建物件
-
檢視當前狀態
rs.status()
-
新增副本集
rs.add("192.168.127.128:8899") -
連線從伺服器
sudo mongo --host 192.168.196.128 --port 27018
-
從伺服器設定
rs.slaveOk()
主伺服器插入資料，從伺服器就可以讀取資料了
-
刪除從節點
rs.remove('192.168.196.128:27018') #需要在主伺服器操作關閉主伺服器後再重新啟動，會發現原來的從伺服器變為了主伺服器，新啟動的伺服器（原來的主伺服器）變為了從伺服器，但是注意重新設定rs.slaveOk()
-
九、備份與恢復
-
備份
-
語法
sudo mongodump -h 伺服器地址 -d 需要備份的資料庫 -o 備份資料存放目錄
mkdir ~/Desktop/test1_bak #建立存放備份資料的目錄 sudo mongodump -h 192.168.196.128:27017 -d test1 -o ~/Desktop/test1_bak
-
-
恢復
-
語法
sudo mongorestore -h 伺服器地址 -d 恢復後資料庫名 --dir 備份資料所在位置
sudo mongorestore -h 192.168.196.128:27017 -d test2 --dir ~/Desktop/test1_bak/test1
-
十、python互動
-
安裝pymongo包
sudo pip3 install pymongo
-
引入包
import pymongo
-
建立連線並建立客戶端
有安全認證：client=MongoClient("mongodb://使用者名稱：密碼@host:27017/資料庫名稱") 無安全認證：client=MongoClient("mongodb://localhost: 27017") -
獲得資料庫(以test資料庫為例)
db = client.資料庫名 例如：db = client.test
-
獲得集合stu
stu = db.stu
-
資料操作
-
查詢
- find_one 查詢單個文件
stu1 = stu.find_one({條件}) #返回一條文件，字典型別 - find 查詢多個文件
cursor = stu.find({條件}) #返回迭代器物件cursor #方式1：用for迴圈迭代取值 for s in cursor: print(s) #字典型別 #方式2：用next取值 s1 = next(cursor) s2 = next(cursor) ...
- find_one 查詢單個文件
-
插入
- insert_one 插入一條文件
stu.insert_one(文件)
- insert_many 插入多條文件
stu.insert_many([文件1，文件2...])
- insert_one 插入一條文件
-
更新
- update 更新匹配到的第一條整條文件
stu.update({條件}，文件) #注意條件中的數字一定要寫成字串型別 - update_one 與$set一起使用，指定屬性修改匹配到的第一條文件
stu.update_one({條件},{$set:{文件}}) - update_many 與$set一起使用，指定屬性修改多條文件
stu.update_many({條件},{$set:{文件}})
- update 更新匹配到的第一條整條文件
-
刪除
- delete_one 刪除單條文件
stu.delete_one({條件}) - delete_many 刪除多條文件
stu.delete_many({條件})
- delete_one 刪除單條文件
-