Python實現騰訊雲CDB備份檔案自動上傳到COS
阿新 • • 發佈:2018-12-15
一、背景
- 需求:目前遇到的客戶需求為將騰訊雲CDB備份檔案自動上傳到騰訊雲COS內,在此拋磚引玉,還有很多類似的需求均可以採用此類方法解決,線下IDC資料檔案備份至雲端COS內,或根據檔案下載地址url將檔案上傳至COS內。
- 思路:首先獲取到CDB的備份下載url,通過COS的API上傳檔案,大佬如有更好的方法歡迎一塊討論。
二、技術細節
-
COS:COS有API同時有SDK,這就很方便我們來通過Python對COS進行各類操作,COS SDK for Python
-
CDB:CDB有API但是CDB的查詢備份下載沒有對應的SDK,此時只能通過API來進行獲取,騰訊雲API的簽名很複雜,要進行:構造引數字典->對dict排序->拼接sign->對sign編碼->拼接完成最終url->完成呼叫,
-
requirements:
cos-python-sdk-v5==1.5.2
requests==2.19.1
tencentcloud-sdk-python==3.0.15
urllib3==1.23
- 檔案目錄結構
三、程式碼
3.1 配置檔案
# auth:kaliarch # func:將騰訊雲cdb備份檔案上傳至cos制定的bucket內 # python version:python3+ # cos version:v5 # https://console.cloud.tencent.com/cos5/bucket # 騰訊雲公共資訊配置段 [common] # 騰訊雲 secretid secret_id = AKIDMdjegcmoGxxxxxxxxxxxxxxxxxxxx # 騰訊雲 secretkey secret_key = d5MRL4VoxyvlQvxxxxxxxxxxxxxx # 騰訊雲cos資訊配置段 [cosinfo] # cos所在地域 cos_region = ap-chengdu # 騰訊雲bucket名字(cos v5 bucket名稱組成:bucket+appid) bucket_name = xuel-test-bucket-125396xxxx # 騰訊雲cdb資訊配置段 [cdbinfo] # cdb例項id cdb_instanceid = cdb-rqaxxxxx # cdb所在地域 cdb_region = ap-shanghai # cdb 日誌備份型別,coldbackup(冷備),binlog(二進位制日誌)和slowlog_day(慢查詢日誌) cdb_bak_type = coldbackup # 日誌檔案資訊配置段 [loginfo] #日誌檔案目錄名稱 logdir_name = rds_to_cos #日誌檔名稱 logfile_name = rdsbak_to_cos.log
3.2 CDB API核心操作程式碼
#構建字典 keydict = { 'Action': self.cdb_action, 'Timestamp': str(int(time.time())), 'Nonce': str(int(random.random() * 1000)), 'Region': self.cdb_region, 'SecretId': self.secret_id, # 'SignatureMethod': SignatureMethod, 'cdbInstanceId': self.cdb_instanceid, 'type': self.cdb_bak_type } #字典排序 sorted(zip(keydict.keys(), keydict.values())) #字串拼接 sign_str_init = '' for value in sortlist: sign_str_init += value[0] + '=' + value[1] + '&' sign_str = 'GET' + self.cdb_api_url + sign_str_init[:-1] return sign_str, sign_str_init #獲取簽名串並編碼 secretkey = self.secret_key signature = bytes(sign_str, encoding='utf-8') secretkey = bytes(secretkey, encoding='utf-8') my_sign = hmac.new(secretkey, signature, hashlib.sha1).digest() my_sign = base64.b64encode(my_sign) parse.quote(my_sign) #獲取最終url result_url = 'https://' + self.cdb_api_url + sign_str + '&Signature=' + result_sign
單獨執行此模組可以得到以下資訊:
3.3 COS SDK核心操作程式碼
#根據檔案大小自動選擇簡單上傳或分塊上傳,分塊上傳具備斷點續傳功能
with open(filename, 'wb') as localfile:
localfile.write(requests.request('get', url).content)
# 進行上傳
response = cos_client.upload_file(
Bucket=self.bucket_name,
LocalFilePath=filename,
Key=filename,
PartSize=partsize,
MAXThread=maxthread
)
# 刪除本地檔案
if os.path.exists(filename):
os.remove(filename)
3.4 日誌記錄核心程式碼
#建立目錄
def create_dir(self):
_LOGDIR = os.path.join(os.path.dirname(__file__), self.logdir_name)
_TIME = time.strftime('%Y-%m-%d', time.gmtime()) + '-'
_LOGNAME = _TIME + self.logfile_name
LOGFILENAME = os.path.join(_LOGDIR, _LOGNAME)
if not os.path.exists(_LOGDIR):
os.mkdir(_LOGDIR)
return LOGFILENAME
#定義日誌檔案
def create_logger(self, logfilename):
logger = logging.getLogger()
logger.setLevel(logging.INFO)
handler = logging.FileHandler(logfilename)
handler.setLevel(logging.INFO)
formater = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formater)
logger.addHandler(handler)
return logger
四、測試結果
獲取CDB下載連結 完成上傳檢視COS檔案
五、總結
- 優化:可以後期通過配合定時任務完成自動化任務
- 擴充套件:源端:不僅僅侷限於CDB備份檔案,對於隨便下載url,均可以上傳到COS內。終端:終端也不僅侷限於騰訊雲COS,此思路方法也可用於其他雲平臺如阿里OSS,亞馬遜Amazon S3,百度雲BOS 等。