【问题标题】:Run a custom MapReduce Jar in Amazon Elastic Map Reduce against data from Amazon DynamoDB在 Amazon Elastic Map Reduce 中针对来自 Amazon DynamoDB 的数据运行自定义 MapReduce Jar
【发布时间】:2013-05-01 20:56:42
【问题描述】:
我在 DynamoDB 中有要运行 mapreduce 作业的数据。我发现很多教程都涉及使用 Hive 对 EMR 中的 dynamoDB 数据运行 SQL,但是对于我尝试执行的任务,将我的任务高效地编写为 SQL 将非常困难,我宁愿只写一个自定义的 map-reduce jar。这可能吗,还是只能编写 Hive SQL 来查询 dynamoDB?
【问题讨论】:
标签:
amazon-dynamodb
elastic-map-reduce
amazon-emr
【解决方案1】:
您绝对可以在没有 Hive 的情况下查询 DynamoDB。
Amazon 提供了APIs,可让您访问和写入 DynamoDB。因此,您可以编写自己的 MapReduce 作业,而不是使用 Hive,您的 Mapper 使用此 API 查询 DynamoDB。