MongoDB通過Shell 實現集合的日常歸檔

1.MongoDB資料歸檔的意義

和其他型別的資料庫一樣，歸檔對MongoDB同樣重要。通過歸檔，可以保持集合中合適的資料量，對資料庫的效能是一種保障，也就是大家常說的資料冷熱分離。

同時，歸檔對資料庫的管理也帶來了很大方便性，例如日常的備份、災難恢復等。

在此，不再展開敘述了。

2.集合資料歸檔流程圖

3.歸檔實現程式碼

#
# The file is used by cron to Archive the data of NeedArchiveColName_Archive collection,the collection is part of NeedArchiveDBColName DB.
# The file is writed by DBA Carson Xu.If you find any error, please connect with me,thanks.
# The version is defined V.001
# VersionModifyTimeModifyByDesc
# Ver0012019-02-22 14:20Carson XuCreate the Scripts File
#
#
#!/bin/bash
######mongodb可執行檔案所在文件路徑，此例為4.04 ，同時支援3.4.4

command_linebin="/QQMSG/mongo_db/mongobin404/bin/mongo"
command_linebinT="/QQMSG/mongo_db/mongobin404/bin/mongo"

######存放匯出過渡檔案的文件路徑和檔名字，ColA可用你的集合名字替代
targetpath='/data/mongodb_back/ArchiveDB_埠號'
bakcollectionname=NeedArchiveColName_$(date "+%Y%m%d%H%M")

###### 登入賬號資訊
username="賬號"
password="賬號密碼"


#######start 設定備份集合的開始日期和結束日期 #####

ParamBakStartDate=$(date -d '-46 days' "+%Y-%m-%d")
echo "備份NeedArchiveColName時間引數中的開始時間為：" $ParamBakStartDate 

ParamBakEndDate=$(date -d '-45 days' "+%Y-%m-%d")
echo "備份NeedArchiveColName時間引數中的結束時間為：" $ParamBakEndDate 

ParamBakStartTimeS="$(date -d $ParamBakStartDate +%s)"

ParamBakEndTimeS="$(date -d $ParamBakEndDate+%s)"

echo "備份集合的時間轉換為UTC時間秒數為：" $ParamBakStartTimeS和 $ParamBakEndTimeS

ParamBakStartTimeMS=$[$ParamBakStartTimeS * 1000+8*60*60*1000]
ParamBakEndTimeMS=$[$ParamBakEndTimeS * 1000+8*60*60*1000]

echo "備份集合的時間轉換為UTC時間毫秒數為：" $ParamBakStartTimeMS和 $ParamBakEndTimeMS

#######end ######

######## start 連線源Server DB ，檢查此次集合備份的文件數
command_line="${command_linebin} localhost:埠號/NeedArchiveDBColName -u$username -p$password"
export docQty=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_line --quiet)
echo "備份前集合NeedArchiveColName的文件資料為：" $docQty
###### End #####

###### Start 定義每次備份歸檔的最大閾值，防止意外情況的發生，例如：引數輸入錯誤###
if [ $docQty -gt 2000000 ];then
echo "MongoDB-Archive-Exception:NeedArchiveDBColName庫NeedArchiveColName集合指定時間段內的文件數過大，超過定義的安全閾值 2000000，歸檔終止，請檢查！"
exit
fi

####### end######

######## start 連線目標Server DB ，檢查target DB 上是否已經存在此時間內的文件
command_lineT="${command_linebinT} 歸檔例項IP:歸檔例項埠/歸檔資料庫Name -u$username -p$password"
export docQtyT=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_lineT --quiet)
echo "備份目標BKDB集合NeedArchiveColName備份歸檔前的文件資料為：" $docQtyT
if [ $docQtyT -gt 0 ];then
echo "MongoDB-Archive-Exception:NeedArchiveDBColName庫NeedArchiveColName集合檢查發現指定時間段內目標資料庫目標集合存在異常文件數，歸檔終止，請檢查！"
exit
fi

####### end######

####### start mongoexport指定集合指定時間段內的文件，輸出到指定路徑下;並執行檢查命令是否正常執行####
start()
{
echo "NeedArchiveDBColName庫NeedArchiveColName集合備份輸出開始"
/QQMSG/mongo_db/mongobin404/bin/mongoexport --port 埠號 -u $username -p $password -d NeedArchiveDBColName --authenticationDatabase NeedArchiveDBColName -c NeedArchiveColName -q ' { NeedArchiveByField: { $gte:new Date('$ParamBakStartTimeMS'),$lt:new Date('$ParamBakEndTimeMS') } } ' -o ${targetpath}/${bakcollectionname}
echo "NeedArchiveDBColName庫NeedArchiveColName集合備份輸出完畢"
}
start
execute()
{
if [ $? -eq 0 ]
then
echo "The MongoDB 集合 NeedArchiveColName 文件mongoexport完成!"
else
echo "The MongoDB 集合 NeedArchiveColName 文件mongoexport失敗"
exit
fi
}
###### end######

###### Start mongomongoimport 將匯出的備份集合匯入到指定的BKDB 指定的集合中#####
echo "備份輸入開始"
/QQMSG/mongo_db/mongobin404/bin/mongoimport -h 歸檔例項IP --port 歸檔例項埠 -u $username -p $password -d 歸檔資料庫Name --authenticationDatabase 歸檔資料庫Name -c NeedArchiveColName--file ${targetpath}/${bakcollectionname}
echo "備份輸入完畢"

##### End #######

######## start 連線目標Server DB ，檢查target DB 上是否已經存在此時間內的文件
export docQtyT2=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_lineT --quiet)
echo "備份目標BKDB集合NeedArchiveColName備份歸檔後的文件資料為：" $docQtyT2

echo "比較docQty 和 docQtyT2 的大小"
if [ $docQty == $docQtyT2 ]; then
echo "正常:時間段內源資料庫集合中的文件數和 目標資料庫集合中還原後的文件資料 相等";
elif [ $docQty -gt $docQtyT2 ]; then
echo "MongoDB-Archive-Exception:時間段內源資料庫集合中的文件數大於目標資料庫集合中還原後的文件資料";
exit
else
echo "MongoDB-Archive-Exception:時間段內源資料庫集合中的文件數小於目標資料庫集合中還原後的文件資料";
exit
fi
########### End ##### 

########### Start Remove 源資料庫源集合指定時間內的記錄 ########

docQtyR=$(/bin/echo 'db.NeedArchiveColName.remove({NeedArchiveByField:{$gte:new Date('$ParamBakStartTimeMS'),$lt:new Date('$ParamBakEndTimeMS')}}).nRemoved' | $command_line --quiet)
echo "本次操作Remove集合NeedArchiveColName的文件資料為：" $docQtyR
########## End#########
###### 檢查 Remove 後集合的文件數 ### 
docQty=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_line --quiet)
echo "NeedArchiveDBColName庫NeedArchiveColName集合 此次 Remove 後指定時間剩餘的文件資料為：" $docQty
###### End ###

#########刪除匯出的檔案#######
rm -rf ${targetpath}/${bakcollectionname}
if [ $? -eq 0 ]
then
echo "正常：NeedArchiveDBColName庫NeedArchiveColName集合匯出的檔案被刪除:" ${targetpath}/${bakcollectionname}
else
echo "MongoDB-Archive-Exception:NeedArchiveDBColName庫NeedArchiveColName集合匯出的檔案未被正常刪除" ${targetpath}/${bakcollectionname}
fi
######## End #####

4. 程式碼說明

4.1 配置基本資訊

主要包括：mongo bin 可執行檔案所在路徑；匯出過渡檔案的定義；歸檔賬號和密碼；集合資料保留天數。

4.2 程式碼中關鍵詞

明白關鍵字的含義，可在部署執行前，批量替換

NeedArchiveDBColName

NeedArchiveColName

歸檔資料庫Name

歸檔資料庫Name

NeedArchiveByField

4.3 在本例中，源庫和目標庫設定了相同的歸檔賬號和對應密碼

4.4  通過crontab 實現日常歸檔，執行資訊（異常錯誤）重定向到log檔案

歸檔實現程式碼儲存到檔案中，通過crontab設定檔案的定時任務，實現日常歸檔。

執行情況 重定向（ >>）到指定檔案。通過指定檔案的監視可實現監控歸檔的執行情況。

本文版權歸作者所有，未經作者同意不得轉載 , 謝謝配合！！！

本文版權歸作者所有，未經作者同意不得轉載 , 謝謝配合！！！

本文版權歸作者所有，未經作者同意不得轉載 , 謝謝配合！！！