【发布时间】:2014-02-09 16:02:34
【问题描述】:
我需要将文件从 HDFS 复制到本地。现在,我有 2 个选项。 1) 要么使用 Hadoop Native Java API (FileSystem) 或者 2) 使用 WebHDFS [我没有;在我的集群中启用它没有任何问题]
谁能告诉我什么是首选选项以及为什么?
【问题讨论】:
我需要将文件从 HDFS 复制到本地。现在,我有 2 个选项。 1) 要么使用 Hadoop Native Java API (FileSystem) 或者 2) 使用 WebHDFS [我没有;在我的集群中启用它没有任何问题]
谁能告诉我什么是首选选项以及为什么?
【问题讨论】:
如果您使用的是 Java,我推荐使用本机 Java API,因为它更灵活并为您提供更多控制权。
但是,如果您不想涉及 Hadoop 所需的数十个库,WebHDFS 会更好。它将您的应用程序和 Hadoop 解耦。当然,由于 HTTP,您需要付出一点性能成本。
【讨论】: