Hadoop Map Reduce 和 Google Map Reduce 的区别答案

【问题标题】：Difference between Hadoop Map Reduce and Google Map ReduceHadoop Map Reduce 和 Google Map Reduce 的区别
【发布时间】：2012-07-07 19:13:54
【问题描述】：

Hadoop Map Reduce 和 Google Map Reduce 有什么区别？

仅仅是 Hadoop 为 map reduce 等提供了标准化吗？差异中还有什么。

【问题讨论】：

我不确定这个问题对这个地方是否有效。

标签： hadoop mapreduce

【解决方案1】：

Google MapReduce 和 Hadoop 是 MapReduce 框架/概念的两种不同实现（实例）。 Hadoop 是开源的，而 Google MapReduce 不是，实际上并没有太多可用的详细信息。

由于他们使用大型数据集，他们必须依赖分布式文件系统。 Hadoop 使用 HDFS（Hadoop 分布式文件系统）作为标准分布式文件系统，而 Google MapReduce 使用 GFS（Google 文件系统）

Hadoop 是用 java 实现的。 Google MapReduce 似乎是用 C++ 编写的。

【讨论】：

感谢 Razvan。Hadoop Map Reduce 是基于 Google Map Reduce。那么 Hadoop map Reduce 比 google map reduce 有什么新的东西？
Hadoop 基于 Google 多年前的一篇论文。如果您想知道 Google MapReduce 目前是如何工作的，您必须加入 Google 并自己寻找。
我认为您不应该这样处理：与 Google Map Reduce 相比，Hadoop 的新功能。 Hadoop 是 Google Map Reduce 的等效开源项目。而且，我不认为它基于 Google Map Reduce。 Hadoop 的创建者阅读了介绍 Google Map Reduce 概念的谷歌论文，他们受到启发，创建了（概念上）相同框架的 Java 开源变体。
很可能不是用java编写的。
Google MapReduce 是根据 MapReduce: Simplified Data Processing on Large Clusters 用 C++ 编写的

【解决方案2】：

Google 通过其 BigQuery 网络服务公开了 Map Reduce 功能。它的工作方式类似于带有 Hive 的 Hadoop（即使用类似 SQL 的语言在后台生成 Map Reduce 作业。）下面显示了一个使用基于浏览器的 Big Query 查询工具的示例。与 Google 将其技术作为公开产品发布的典型做法一样，内部细节不会暴露，您也无法调整或调整设置。您只需使用 API 调用 Web 服务并使用 Google 的基础架构将结果返回到您的应用程序。

【讨论】：

BigQuery 是 Dremel 的公共实例，它使用专门的查询引擎而不是 MapReduce

【解决方案3】：

您可以查看以下链接：

http://www.linuxforu.com/2011/03/mapreduce-more-power-less-code-hadoop/

【讨论】：

【解决方案4】：

查看以下链接了解 HDFS VS GFS

https://sensaran.wordpress.com/2015/11/24/gfs-vs-hdfs/

【讨论】：

鼓励链接到外部资源，但请在链接周围添加上下文，以便您的其他用户了解它是什么以及为什么存在。始终引用重要链接中最相关的部分，以防目标站点无法访问或永久离线。