Aws Dynamodb數據導出到S3
阿新 • • 發佈:2017-05-08
com 結構 tables create amr 成功 mon nag htm
本節將描寫敘述怎樣從一個或多個DynamoDB的表導出數據到S3的bucket中。在運行導出之前你須要提前創建好S3的bucket。
註意
假設你還沒有使用過AWS Data Pipeline,在運行以下的流程前你須要先去創建兩個IAM roles。很多其它信息,請移步
Creating IAM Roles for AWS Data Pipeline。
從DynamoDB中導出數據到S3
- 登陸到AWS管理員控制臺,打開DynamoDB console。
https://console.aws.amazon.com/dynamodb/.
- 在 Amazon DynamoDB Tables 頁面, 點擊 Export/Import
- 在 Export/Import 頁面, 選擇你想導出的表,然後點擊 Export from DynamoDB.
- 在 Create Export Table Data Pipeline(s) 頁面。按以下流程操作:
-
- 在 S3 Output Folder 文本框中填寫 Amazon S3 URI,導出文件將存放在S3中對應的目錄下。比如:
s3://mybucket/exports
這個URI的規則應該是這樣s3://
:bucketname
/folder
-
bucketname
是S3中bucket的名稱folder
表示此bucket下目錄的名稱。假設這個目錄不存在,它將被自己主動創建。假設你不指定這個名稱,它將被自己主動授予一個名字,名字的規則是:
s3://
.bucketname
region
/tablename
- 在 S3 Log Folder 文本框中輸入一個S3 URI。導出過程的日誌將被存儲在對應的folder中。比如:
s3://mybucket/logs/
S3 Log Folder URI的格式和 S3 Output Folder的格式同樣。 - 在 Throughput Rate 文本框中可選擇一個百分比。
這個比率表示在導出過程中會消耗讀吞吐量的上限。比如,如果你要導出的表的讀吞吐量是20,同一時候你設置的百分比是40%。
那麽導出時所消耗的吞吐量將不會超過8.
假設你在導出多個表,這個 Throughput Rate 將會被應用到每一個表中。 - Execution Timeout
- Send notifications to 文本框,輸入一個email地址。
在 pipeline被創建後。你將會收到一封email邀請訂閱Amazon SNS。假設你接受了此邀請。在每次運行導出操作時你都將會收到email通知。
- Schedule 選項,選擇以下當中一項:
-
- One-time Export —導出任務將在pipeline被創建後馬上運行。
- Daily Export — 導出任務將會在你所指定的時刻運行。同一時候會在每天的那個時刻反復。
- Data Pipeline Role, 選擇 DataPipelineDefaultRole.
- Resource Role, 選擇 DataPipelineDefaultResourceRole
- 在 S3 Output Folder 文本框中填寫 Amazon S3 URI,導出文件將存放在S3中對應的目錄下。比如:
- 確認好以上設置然後點擊 Create Export Pipeline.
假設你選擇的是daily export,導出任務將會在指定時刻運行,同一時候會在每天的那個時刻運行導出任務。
當導出任務結束,你能夠到 Amazon S3 console 來查看導出文件。這個文件將會在以你的表名命名的目錄中。而文件名稱將會是這樣的格式:YYYY-MM-DD_HH.MM。
文件內部結構會在
Verify
Data Export File 中描寫敘述。
Aws Dynamodb數據導出到S3