【问题标题】:Error while exporting data from dynamodb to s3 using Amazon data pipeline使用 Amazon 数据管道将数据从 dynamodb 导出到 s3 时出错
【发布时间】:2017-12-01 23:14:59
【问题描述】:

我正在尝试使用数据管道服务将数据从 dynamodb 导出到 S3,但不断收到以下错误。

无法为 @EmrClusterForBackup_ 创建资源,原因是: 提供的 ami 版本无效。 (服务:AmazonElasticMapReduce;状态代码:400;错误代码:ValidationException;请求 ID:xxx)

我尝试根据他们的文档将 AMI 更改为许多不同的值,就像 4.x.x5.x.x 系列中的所有值一样,但仍然出现相同的错误。我看到有几个线程,但没有一个答案。 希望能找到能解决这个问题的人。

【问题讨论】:

  • 我希望你添加给你的 AMI id
  • @AakashVerma 你能指定给定的含义吗?默认情况下,AMI 是 3.9,这似乎不起作用,因此我尝试了这些不同的组合。
  • 请在您遇到此错误的地方发布连接命令。
  • 如果这是一个备份过程,那么现在通过DynamoDB backup本地提供备份和恢复可能是相关的
  • 我尝试使用备份选项,但显然它还不适用于我的帐户。我所看到的只是“此功能将进入您的帐户”。所以我使用 Hive 来完成这项工作。

标签: amazon-web-services amazon-s3 amazon-dynamodb amazon-data-pipeline


【解决方案1】:

检查您的 EMR 集群区域是否与管道区域相同。 有一个错误,默认设置为 DynamoDB 的区域(可能不同)

【讨论】:

  • 棘手的错误 - 感谢您的回答! Amazon 生成的默认 DynamoDB => S3 配置使用 dynamodb 区域作为资源,但您需要使用数据管道本身的区域。就我而言,它们有所不同,因为 AWS Data Pipelines 并非在所有区域都可用。
  • 我对此感到非常沮丧,因为数据管道仅在特殊区域中工作,它不应该在不先检查是否可用的情况下放置自动区域。赞!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-01-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-07-27
  • 1970-01-01
相关资源
最近更新 更多