Hadoop-common、Hadoop-core 和 Hadoop-client 之间的区别？答案

【问题标题】：Differences between Hadoop-common, Hadoop-core and Hadoop-client?Hadoop-common、Hadoop-core 和 Hadoop-client 之间的区别？
【发布时间】：2015-03-04 13:47:22
【问题描述】：

我是 Hadoop 的新手，想了解 Hadoop-common、Hadoop-core 和 之间的区别Hadoop 客户端？

顺便说一句，对于给定的类，我如何知道 Maven 中包含哪个工件？例如，哪一个包含 org.apache.hadoop.io.Text？

【问题讨论】：

标签： maven hadoop

【解决方案1】：

为了帮助提供一些关于 Hadoop-common、Hadoop-core 和 Hadoop-client 之间差异的更多详细信息，从高层次的角度来看：

Hadoop-common 是指支持 Hadoop 模块的常用实用程序和库。
Hadoop-core 与 Hadoop-common 相同；根据https://hadoop.apache.org/，它于 2009 年 7 月更名为 Hadoop-common。
Hadoop-client 是指用于与 Hadoop 的通用组件（HDFS、MapReduce、YARN）进行通信的客户端库，包括但不限于日志记录和编解码器等。

一般来说，对于构建提交到 YARN、运行 MR 作业或从 HDFS 访问文件的应用程序的开发人员来说，使用 Hadoop 客户端库。

【讨论】：

【解决方案2】：

要构建 Hadoop map-reduce 应用程序，您只需要 hadoop 客户端依赖项。（使用新的 API）。 hadoop-hdfs、hadoop-common、hadoop-clientapp、hadoop-yarn-api等依赖项都由此解决。

【讨论】：

在hadopp-client的pom文件中，我只发现它有<groupId>org.apache.hadoop</groupId> <artifactId>hadoop-core</artifactId>的依赖。而对于hadoop-core，它似乎与hadoop-* 的东西没有任何依赖关系。请详细说明。
请查看您的 pom 文件的依赖树选项卡。这样您就可以看到所有依赖项都从中解决了。

【解决方案3】：

来自技术百科

Hadoop Common 是指支持其他 Hadoop 模块的常用实用程序和库的集合。它与 Hadoop 分布式文件系统 (HDFS)、Hadoop YARN 和 Hadoop MapReduce 一起是 Apache Hadoop 框架的重要组成部分或模块。

与所有其他模块一样，Hadoop Common 假设硬件故障很常见，并且应该由 Hadoop 框架在软件中自动处理这些故障。

Hadoop Common 也称为Hadoop Core。

Hadoop Client libraries 帮助将数据加载到集群中，提交描述数据应如何处理的 Map Reduce 作业，然后在作业完成后检索或查看作业结果。看看这个article

Apache 链接提供了 Hadoop 客户端库的依赖项列表。

【讨论】：