docker 镜像可以使用 hadoop 吗？

Question

docker 镜像可以访问 hadoop 资源吗？例如。提交 YARN 作业并访问 HDFS； MapR's Datasci. Refinery 之类的东西，但适用于 Hortonworks HDP 3.1。 （可能假设映像将在 hadoop 集群节点上启动）。

看到 hadoop docs 用于从 hadoop 节点启动 docker 应用程序，但对是否可以采用“其他方式”感兴趣（即能够使用传统的 docker -ti ... 命令启动 docker 映像并拥有该应用程序能够运行 hadoop jars 等（假设 docker 映像主机本身就是一个 hadoop 节点））。我了解 MapR hadoop 有用于执行 this 的 docker 映像，但我对使用 Hortonworks HDP 3.1 很感兴趣。最终尝试在 docker 容器中运行 h2o hadoop。

有人知道这是否可能或可以确认这是不可能的吗？

Answer 1

是的。只要你有客户端 jars 和适当的配置，类似于你的容器的边缘节点，它应该可以工作。