哪个 Map-Reduce 库和/或平台与 java 一起使用

Question

我最近正在阅读和听到一些关于 云计算 和 map-reduce 技术的内容。我正在考虑使用一些算法来获得该领域的实践经验，看看现在有什么可能。

这是我想做的： 我想使用一些带有内置 map reduce 功能的公共云平台（例如 Google App Engine、Google Map Reduce、Amazon ECS、Amazon Map Reduce），或者如果它没有内置支持，请使用额外的 map reduce java 库（例如 Hadoop、Hive），并实现/部署一些算法。

有没有人在该领域取得了一些经验并指出了一个好的起点？或者列举一些在实践中效果很好的组合？

提前致谢！

Answer 1

Amazon EC2 具有一些预先捆绑的 Hadoop AMI。教程见Running Hadoop on Amazon EC2。

特别是 Cloudera 分布，我想到了 - 它也带有 Pig 和 Hive。

Answer 2

Apache Hadoop 是一个主要的开源 Java 分布式计算框架，它包含一个基于原始 Google MapReduce 的 MapReduce 子项目。