【问题标题】:Import json file to DynamoDB via AWS Data pipeline通过 AWS 数据管道将 json 文件导入 DynamoDB
【发布时间】:2016-04-20 10:45:34
【问题描述】:

我试图弄清楚如何创建一个 AWS 数据管道,该管道可以从 S3 获取一个 json 文件并将其导入到 DynamoDB 表中。我能够创建一些实现此目的的 java 代码,但我想通过数据管道来实现。我可以看到有用于从 DynamoDB 导出到 S3 并导入备份的模板,但我正在努力弄清楚如何导入纯 json 文件。

【问题讨论】:

    标签: amazon-web-services amazon-s3 amazon-dynamodb amazon-data-pipeline


    【解决方案1】:

    在文档中,您将找到从 DynamoDb (http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb.html) 导入和导出数据的示例

    以下是文档中的描述:

    创建管道

    在以下位置打开 AWS Data Pipeline 控制台

    您看到的第一个屏幕取决于您是否创建了 当前区域的管道。

    如果您尚未在该区域创建管道,控制台会显示 介绍画面。选择立即开始。

    如果您已经在该区域中创建了管道,则控制台 显示一个页面,其中列出了您在该地区的管道。选择 创建新管道。

    在名称中,输入管道的名称。

    (可选)在描述中,输入管道的描述。

    对于源,选择使用模板构建,然后选择 以下模板:从 S3 导入 DynamoDB 备份数据。

    在参数下,将输入 S3 文件夹设置为 s3://elasticmapreduce/samples/Store/ProductCatalog,这是一个示例 数据源,并将 DynamoDB 表名设置为您的表名。

    在计划下,选择管道激活。

    在管道配置下,启用日志记录。选择文件夹 S3 日志位置下的图标,选择您的存储桶之一或 文件夹,然后选择选择。

    如果您愿意,可以改为禁用日志记录。

    在安全/访问下,将 IAM 角色设置为默认。

    在 Architect 中单击编辑。

    接下来,配置 AWS Data 的 Amazon SNS 通知操作 管道根据活动的结果执行。

    配置成功和失败动作

    在右侧窗格中,单击“活动”。

    从添加可选字段中,选择成功时。

    从新添加的 On Success 中,选择 Create new: Action。

    从添加可选字段中,选择失败时。

    从新添加的 On Fail 中,选择 Create new: Action。

    在右侧窗格中,单击“其他”。

    对于 DefaultAction1,执行以下操作:

    将名称更改为 SuccessSnsAlarm。

    从类型中,选择 SnsAlarm。

    在主题 ARN 中,输入您创建的主题的 ARN。

    输入主题和消息。

    对于 DefaultAction2,执行以下操作:

    将名称更改为 FailureSnsAlarm。

    从类型中,选择 SnsAlarm。

    在主题 ARN 中,输入您创建的主题的 ARN。

    输入主题和消息。

    公共 github 站点有一些使用 DynamoDB 的示例 (https://github.com/awslabs/data-pipeline-samples)。这是管道定义的示例:

    {
        "objects": [
            {
                "occurrences": "1",
                "period": "1 Day",
                "name": "RunOnce",
                "id": "DefaultSchedule",
                "type": "Schedule",
                "startAt": "FIRST_ACTIVATION_DATE_TIME",
            "maxActiveInstances" : "1"
            },
            {
                "failureAndRerunMode": "CASCADE",
                "schedule": {
                    "ref": "DefaultSchedule"
                },
                "resourceRole": "DataPipelineDefaultResourceRole",
                "role": "DataPipelineDefaultRole",
                "pipelineLogUri": "s3://",
                "scheduleType": "cron",
                "name": "Default",
                "id": "Default"
            },
            {
                "maximumRetries": "2",
                "name": "TableBackupActivity",
                "step": "s3://dynamodb-emr-us-east-1/emr-ddb-storage-handler/2.1.0/emr-ddb-2.1.0.jar,org.apache.hadoop.dynamodb.tools.DynamoDbExport,#{myOutputS3Loc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')},#{myDDBTableName},#{myDDBReadThroughputRatio}",
                "id": "TableBackupActivity",
                "runsOn": {
                    "ref": "EmrClusterForBackup"
                },
                "type": "EmrActivity"
            },
            {
                "bootstrapAction": "s3://elasticmapreduce/bootstrap-actions/configure-hadoop, --yarn-key-value, yarn.nodemanager.resource.memory-mb=12800,--yarn-key-value,yarn.scheduler.minimum-allocation-mb=256,--mapred-key-value,mapreduce.map.memory.mb=500,--mapred-key-value,mapreduce.map.java.opts=-Xmx400M,--mapred-key-value,mapreduce.job.reduce.slowstart.completedmaps=1,--mapred-key-value,mapreduce.map.speculative=false",
                "name": "EmrClusterForBackup",
                "amiVersion": "3.8.0",
                "id": "EmrClusterForBackup",
                "type": "EmrCluster",
                "masterInstanceType": "m1.medium",
                "coreInstanceType": "#{myInstanceType}",
                "coreInstanceCount": "#{myInstanceCount}",
            "terminateAfter" : "12 hours"
            }
        ],
        "parameters": [
            {
                "description": "OutputS3folder",
                "id": "myOutputS3Loc",
                "type": "AWS::S3::ObjectKey"
            },
            {
                "default": "0.2",
                "watermark": "Valuebetween0.1-1.0",
                "description": "DynamoDB Read Throughput Ratio",
                "id": "myDDBReadThroughputRatio",
                "type": "Double"
            },
            {
                "description": "DynamoDB Table Name",
                "id": "myDDBTableName",
                "type": "String"
            },
            {
                "description": "Instance Type",
                "id": "myInstanceType",
                "watermark" : "Use m1.medium if Read Capacity Units for the job <= 900. Else use m3.xlarge",
                "type": "String",
                "default": "m3.xlarge"
            },
            {
                "description": "Instance Count",
            "watermark" : "(Read Capacity Units / 300) for m1.medium if RCU <= 900. Else (RCU / 1500) for m3.xlarge",
                "id": "myInstanceCount",
                "type": "Integer",
                "default": "1"
            },
        {
            "description" : "Burst IOPs",
            "watermark"   : "Add IOPS to the DDB table by this percent for the duration of the export job",
                "id"          : "myBurstIOPS",
                "type"     :    "Double",
                "default"     : "0.0"
        }
        ]
    }
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-06-19
      • 2023-01-07
      相关资源
      最近更新 更多