1. 程式人生 > >Aws Dynamodb數據導出到S3

Aws Dynamodb數據導出到S3

com 結構 tables create amr 成功 mon nag htm

本節將描寫敘述怎樣從一個或多個DynamoDB的表導出數據到S3的bucket中。在運行導出之前你須要提前創建好S3的bucket。

註意 假設你還沒有使用過AWS Data Pipeline,在運行以下的流程前你須要先去創建兩個IAM roles。很多其它信息,請移步 Creating IAM Roles for AWS Data Pipeline。 從DynamoDB中導出數據到S3
  1. 登陸到AWS管理員控制臺,打開DynamoDB console。

    https://console.aws.amazon.com/dynamodb/.

  2. Amazon DynamoDB Tables 頁面, 點擊 Export/Import
    .
  3. Export/Import 頁面, 選擇你想導出的表,然後點擊 Export from DynamoDB.
  4. Create Export Table Data Pipeline(s) 頁面。按以下流程操作:
    1. S3 Output Folder 文本框中填寫 Amazon S3 URI,導出文件將存放在S3中對應的目錄下。比如: s3://mybucket/exports
      這個URI的規則應該是這樣 s3://bucketname/folder :
      • bucketname 是S3中bucket的名稱
      • folder 表示此bucket下目錄的名稱。假設這個目錄不存在,它將被自己主動創建。

        假設你不指定這個名稱,它將被自己主動授予一個名字,名字的規則是: s3://bucketname

        /region/tablename.

    2. S3 Log Folder 文本框中輸入一個S3 URI。導出過程的日誌將被存儲在對應的folder中。比如:s3://mybucket/logs/
      S3 Log Folder URI的格式和 S3 Output Folder的格式同樣。
    3. Throughput Rate 文本框中可選擇一個百分比。

      這個比率表示在導出過程中會消耗讀吞吐量的上限。比如,如果你要導出的表的讀吞吐量是20,同一時候你設置的百分比是40%。

      那麽導出時所消耗的吞吐量將不會超過8.
      假設你在導出多個表,這個 Throughput Rate 將會被應用到每一個表中。

    4. Execution Timeout
      文本框。輸入導出任務的超時時長。假設導出任務在這個時長內還沒運行完畢,此任務會失敗。
    5. Send notifications to 文本框,輸入一個email地址。

      在 pipeline被創建後。你將會收到一封email邀請訂閱Amazon SNS。假設你接受了此邀請。在每次運行導出操作時你都將會收到email通知。

    6. Schedule 選項,選擇以下當中一項:
      • One-time Export —導出任務將在pipeline被創建後馬上運行。

      • Daily Export — 導出任務將會在你所指定的時刻運行。同一時候會在每天的那個時刻反復。
    7. Data Pipeline Role, 選擇 DataPipelineDefaultRole.
    8. Resource Role, 選擇 DataPipelineDefaultResourceRole
  5. 確認好以上設置然後點擊 Create Export Pipeline.
你的 pipeline 如今將被創建。這個過程可能會花費幾分鐘完畢。要查看當前狀態。移步 Managing Export and Import Pipelines. 假設你選擇的Schedule是 one-time export,導出任務將在pipeline 創建成功後馬上運行。

假設你選擇的是daily export,導出任務將會在指定時刻運行,同一時候會在每天的那個時刻運行導出任務。

當導出任務結束,你能夠到 Amazon S3 console 來查看導出文件。這個文件將會在以你的表名命名的目錄中。而文件名稱將會是這樣的格式: YYYY-MM-DD_HH.MM。

文件內部結構會在Verify Data Export File 中描寫敘述。

Aws Dynamodb數據導出到S3