在文档中,您将找到从 DynamoDb (http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb.html) 导入和导出数据的示例
以下是文档中的描述:
创建管道
在以下位置打开 AWS Data Pipeline 控制台
您看到的第一个屏幕取决于您是否创建了
当前区域的管道。
如果您尚未在该区域创建管道,控制台会显示
介绍画面。选择立即开始。
如果您已经在该区域中创建了管道,则控制台
显示一个页面,其中列出了您在该地区的管道。选择
创建新管道。
在名称中,输入管道的名称。
(可选)在描述中,输入管道的描述。
对于源,选择使用模板构建,然后选择
以下模板:从 S3 导入 DynamoDB 备份数据。
在参数下,将输入 S3 文件夹设置为
s3://elasticmapreduce/samples/Store/ProductCatalog,这是一个示例
数据源,并将 DynamoDB 表名设置为您的表名。
在计划下,选择管道激活。
在管道配置下,启用日志记录。选择文件夹
S3 日志位置下的图标,选择您的存储桶之一或
文件夹,然后选择选择。
如果您愿意,可以改为禁用日志记录。
在安全/访问下,将 IAM 角色设置为默认。
在 Architect 中单击编辑。
接下来,配置 AWS Data 的 Amazon SNS 通知操作
管道根据活动的结果执行。
配置成功和失败动作
在右侧窗格中,单击“活动”。
从添加可选字段中,选择成功时。
从新添加的 On Success 中,选择 Create new: Action。
从添加可选字段中,选择失败时。
从新添加的 On Fail 中,选择 Create new: Action。
在右侧窗格中,单击“其他”。
对于 DefaultAction1,执行以下操作:
将名称更改为 SuccessSnsAlarm。
从类型中,选择 SnsAlarm。
在主题 ARN 中,输入您创建的主题的 ARN。
输入主题和消息。
对于 DefaultAction2,执行以下操作:
将名称更改为 FailureSnsAlarm。
从类型中,选择 SnsAlarm。
在主题 ARN 中,输入您创建的主题的 ARN。
输入主题和消息。
公共 github 站点有一些使用 DynamoDB 的示例 (https://github.com/awslabs/data-pipeline-samples)。这是管道定义的示例:
{
"objects": [
{
"occurrences": "1",
"period": "1 Day",
"name": "RunOnce",
"id": "DefaultSchedule",
"type": "Schedule",
"startAt": "FIRST_ACTIVATION_DATE_TIME",
"maxActiveInstances" : "1"
},
{
"failureAndRerunMode": "CASCADE",
"schedule": {
"ref": "DefaultSchedule"
},
"resourceRole": "DataPipelineDefaultResourceRole",
"role": "DataPipelineDefaultRole",
"pipelineLogUri": "s3://",
"scheduleType": "cron",
"name": "Default",
"id": "Default"
},
{
"maximumRetries": "2",
"name": "TableBackupActivity",
"step": "s3://dynamodb-emr-us-east-1/emr-ddb-storage-handler/2.1.0/emr-ddb-2.1.0.jar,org.apache.hadoop.dynamodb.tools.DynamoDbExport,#{myOutputS3Loc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')},#{myDDBTableName},#{myDDBReadThroughputRatio}",
"id": "TableBackupActivity",
"runsOn": {
"ref": "EmrClusterForBackup"
},
"type": "EmrActivity"
},
{
"bootstrapAction": "s3://elasticmapreduce/bootstrap-actions/configure-hadoop, --yarn-key-value, yarn.nodemanager.resource.memory-mb=12800,--yarn-key-value,yarn.scheduler.minimum-allocation-mb=256,--mapred-key-value,mapreduce.map.memory.mb=500,--mapred-key-value,mapreduce.map.java.opts=-Xmx400M,--mapred-key-value,mapreduce.job.reduce.slowstart.completedmaps=1,--mapred-key-value,mapreduce.map.speculative=false",
"name": "EmrClusterForBackup",
"amiVersion": "3.8.0",
"id": "EmrClusterForBackup",
"type": "EmrCluster",
"masterInstanceType": "m1.medium",
"coreInstanceType": "#{myInstanceType}",
"coreInstanceCount": "#{myInstanceCount}",
"terminateAfter" : "12 hours"
}
],
"parameters": [
{
"description": "OutputS3folder",
"id": "myOutputS3Loc",
"type": "AWS::S3::ObjectKey"
},
{
"default": "0.2",
"watermark": "Valuebetween0.1-1.0",
"description": "DynamoDB Read Throughput Ratio",
"id": "myDDBReadThroughputRatio",
"type": "Double"
},
{
"description": "DynamoDB Table Name",
"id": "myDDBTableName",
"type": "String"
},
{
"description": "Instance Type",
"id": "myInstanceType",
"watermark" : "Use m1.medium if Read Capacity Units for the job <= 900. Else use m3.xlarge",
"type": "String",
"default": "m3.xlarge"
},
{
"description": "Instance Count",
"watermark" : "(Read Capacity Units / 300) for m1.medium if RCU <= 900. Else (RCU / 1500) for m3.xlarge",
"id": "myInstanceCount",
"type": "Integer",
"default": "1"
},
{
"description" : "Burst IOPs",
"watermark" : "Add IOPS to the DDB table by this percent for the duration of the export job",
"id" : "myBurstIOPS",
"type" : "Double",
"default" : "0.0"
}
]
}