【发布时间】:2017-08-29 02:26:16
【问题描述】:
我正在编写一个 spark 程序,它根据运行环境从 maven 下载不同的 jar,每个 jar 用于不同版本的 Hadoop 发行版(例如 CDH、HDP、MapR)。
这是必要的,因为 HDFS 和 YARN 的一些低级 API 在这些发行版之间不共享。但是,我找不到任何能说明其版本的 HDFS 和 YARN 的公共 API。
是否可以仅在 Java 中实现?或者我必须运行一个外部 shell 才能知道它?
【问题讨论】:
标签: hadoop hdfs hadoop-yarn