1. 程式人生 > >利用lambda函數自動創建EBS快照和刪除快照

利用lambda函數自動創建EBS快照和刪除快照

delet 文件 添加 分享 values stat 部分 mat name

利用lambda函數自動創建EBS快照和刪除快照
此文章參考了AWS中國區關於構建自動化EBS快照周期的官方文檔,參考鏈接“https://amazonaws-china.com/cn/blogs/china/construct-ebs-life-circle-management/” 本文與之不同的是,本文沒有使用dynamoDB服務,僅通過lambda完成了EBS的快照備份。當然,自動快照一定要搭配自動刪除功能使用,否則快照容量越來越大,無形中增加了企業的IT成本。

使用阿裏雲和騰訊雲的平臺的時候,一直覺得自動快照策略是雲廠商最基本的功能,所以在接手aws雲項目後還保持著這種思維定式。直到我負責的一個aws 雲上項目遷移完畢後,真正開始做快照備份時,才發現AWS 中國區平臺上並沒有創建快照策略的功能,而是要自己寫Lambda函數,然後通過Cloudwatch event去觸發...此處省略1千字...

  • 創建/刪除快照的步驟:為需要打快照的EBS磁盤打上tag---->創建策略和運行lamda函數的角色---->創建函數---->添加觸發器和日誌

快照創建自動化


  • 1、對需要做快照的 EBS 卷打上標簽,標簽至少要有兩組;
Key Value 說明
Name 用戶自定義 不能包含中文字符
Snapshot Snapshot 必須項,且Key為Snapshot
  • 2、創建策略和角色
    step1:進入IAM控制臺,創建策略,選擇json格式並輸入如下字符串(代表該賬號對EC2有查看信息和操作快照的功能)
    技術分享圖片
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:*"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "ec2:Describe*",
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:CreateSnapshot",
                "ec2:DeleteSnapshot",
                "ec2:CreateTags",
                "ec2:ModifySnapshotAttribute",
                "ec2:ResetSnapshotAttribute"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
    }

點擊查看策略,可以看到該json文件是指定對EC2和Log服務的部分權限。輸入策略名稱lambda_ebs_snapshot和描述後點擊保存。
技術分享圖片
step2、創建角色
選擇受信任的實體為(lambda)--->設置策略為(lambda_ebs_snapshot)--->創建標簽--->輸入角色名稱和描述後點擊保存。

註意:此處的信任實體必須選擇lambda,否則後續使用該角色調用lambda函數時會發生權限未認證的錯誤。
  • 3、創建函數
    step1、進入lambda控制臺,點擊左側函數,點擊右上角的新建函數。
    技術分享圖片進入到創建函數頁面,輸入函數名稱為my_ebs_snapshots、和運行平臺Python3.6、權限這裏選擇現有角色、點擊現有角色,選擇剛才創建的角色lambda_ebs_snapshots,點擊創建。
    技術分享圖片
    step2、函數創建完成後,進入到配置階段。
    前面操作都無誤的情況下,此處可以看到我們的lambda函數對Log和EC2都有操作權限。
    技術分享圖片
    點擊下方在線編輯代碼,輸入自動備份ebs快照的代碼。
    技術分享圖片
    import boto3
    import os,time
    from botocore.exceptions import ClientError
    from datetime import datetime, timedelta, timezone
    client = boto3.client(‘ec2‘)
    ec2 = boto3.resource(‘ec2‘)
    def lambda_handler(event, context):
    os.environ[‘TZ‘] = ‘Asia/Shanghai‘
    time.tzset()
    i=time.strftime(‘%X %x %Z‘)     
    # set volume id, get volume who has a tag-key is ‘Snapshot‘
    describe_volumes=client.describe_volumes(
    Filters=[
    {
    ‘Name‘: ‘tag-key‘,
    ‘Values‘: [‘Snapshot‘,
    ]      
    }
    ]
    )
    volume_id_list = []
    for vol in describe_volumes[‘Volumes‘]:
    volume_id_list.append(vol.get(‘VolumeId‘))    
    # set snapshot
    for volume_id in volume_id_list:
    volume = ec2.Volume(volume_id)
    for tags in volume.tags:
    if(tags.get(‘Key‘) == ‘Name‘):
    volume_name = tags.get(‘Value‘)
    description = volume_name + ‘ volume snapshot is created at ‘ + i  
    try:
    response = client.create_snapshot(
    Description=description,
    VolumeId=volume_id)
    except:
    print(‘Create Snapshot occured error, Volume id is ‘ + volume_id)
    else:
    print(‘Snapshot is created succeed, Snapshot id is ‘ + response.get(‘SnapshotId‘))
  • 4、創建觸發器
    step1、點擊左側CloudWatch Event,開始配置。如下表示每天晚上23:00開始觸發執行函數。
    技術分享圖片

完成後,點擊添加。
step2、接下來開始配置CloudWatch log,點擊添加。
技術分享圖片

以上步驟均完成後,點擊右上角保存。

附:Lambda函數執行日誌
技術分享圖片

快照刪除自動化


此處以保留6天快照數據為例,大家可以根據實際情況進行測試和調整。my_ebs_snapshot_delete函數代碼如下:

import re
import boto3
import os,time
from botocore.exceptions import ClientError
from datetime import datetime, timedelta, timezone

client = boto3.client(‘ec2‘)
ec2 = boto3.resource(‘ec2‘)

def lambda_handler(event, context):
    s=0
    os.environ[‘TZ‘] = ‘Asia/Shanghai‘
    time.tzset()
    # i=time.strftime(‘%X %x %Z‘)
    i=time.strftime(‘%x %Z‘)
    j=((datetime.now()-timedelta(days=7)).strftime(‘%x %Z‘))
    print (j)

     # set volume id, get volume who has a tag-key is ‘Snapshot‘
    describe_volumes=client.describe_volumes(
        Filters=[
            {
                ‘Name‘: ‘tag-key‘,
                ‘Values‘: [‘Snapshot‘,
                ]

            }
        ]
    )
    volume_id_list = []
    for vol in describe_volumes[‘Volumes‘]:
        volume_id_list.append(vol.get(‘VolumeId‘))

    # set snapshot
    for volume_id in volume_id_list:
        volume = ec2.Volume(volume_id)
        #print (volume_id)

        for tags in volume.tags:
            if(tags.get(‘Key‘) == ‘Name‘):
                volume_name = tags.get(‘Value‘)
        #description = volume_name + ‘ volume snapshot is created at ‘ + i
        for snapshot in volume.snapshots.all():
                match=re.findall(j,snapshot.description)
                if match: 
                    s=s+1
                    print(snapshot.description)
                    snapshot.delete()

    print (‘符合條件的快照個數為‘+str(s))

為了便於測試函數執行結果,建議大家在函數頁面內配置測試事件,這樣就不需要頻繁修改觸發器來完成觸發了。

利用lambda函數自動創建EBS快照和刪除快照