Hadoop YARN 中的 Docker 应用程序支持答案

【问题标题】：Docker application support in Hadoop YARNHadoop YARN 中的 Docker 应用程序支持
【发布时间】：2015-11-19 09:24:35
【问题描述】：

我需要处理大量（TB）数据（主要是图像）。我正在考虑使用带有 HDFS 的 Hadoop YARN 来处理这些数据。这个想法是将所有数据摄取到 HDFS 中，然后提交 Hadoop 作业来处理数据。 YARN 将在数据附近部署处理应用程序并对其进行处理。如果我的处理应用程序是“jar”文件，这很好。如果我的图像处理应用程序是 docker image ，是否可以向 YARN 提交作业，以便提交的应用程序是 docker 图像（而不是 jar 文件）？ YARN 必须在数据节点中部署应用程序（docker 映像）才能开始处理。

我检查了Docker Container Executor，但它在 Docker 容器中启动了 YARN 容器，并且应用程序（作业）仍然是一个 jar 文件，如上面的链接所示。

Google Kubernetes 似乎满足了我的需求（在集群中部署和管理 docker 映像），但它不提供“类似 HDFS”的存储（因此“将应用程序移动到数据而不是数据到应用程序”不适合）。

如果有任何集群管理器框架可以在集群中部署标准应用程序包（如 jar、rpm、docker 容器）以访问共享/分布式数据存储，请告诉我。

提前致谢。

【问题讨论】：

标签： hadoop docker cluster-computing hadoop-yarn kubernetes

【解决方案1】：

YARN 中当前的 docker 执行器不是很好，因为，afaik，您需要替换整个执行器，并且至少在引入它时它是一个集群范围的设置。

HW 正在围绕 docker http://hortonworks.com/blog/docker-kubernetes-apache-hadoop-yarn/ 做一些事情。你没有提到那个博客，所以我把它贴在这里。

【讨论】：