【问题标题】:Hadoop File Copy Native Java API vs WebHDFSHadoop 文件复制本机 Java API 与 WebHDFS
【发布时间】:2014-02-09 16:02:34
【问题描述】:

我需要将文件从 HDFS 复制到本地。现在,我有 2 个选项。 1) 要么使用 Hadoop Native Java API (FileSystem) 或者 2) 使用 WebHDFS [我没有;在我的集群中启用它没有任何问题]

谁能告诉我什么是首选选项以及为什么?

【问题讨论】:

    标签: hadoop webhdfs


    【解决方案1】:

    如果您使用的是 Java,我推荐使用本机 Java API,因为它更灵活并为您提供更多控制权。

    但是,如果您不想涉及 Hadoop 所需的数十个库,WebHDFS 会更好。它将您的应用程序和 Hadoop 解耦。当然,由于 HTTP,您需要付出一点性能成本。

    【讨论】:

    • 我使用 Java,我不介意使用 hadoop 库。可能是“Java API”是要走的路。感谢您的提示。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2022-12-17
    • 2016-12-19
    • 2015-05-13
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多