在 Docker 容器上使用 Hadoop 和 Spark答案

【问题标题】：Using Hadoop and Spark on Docker containers在 Docker 容器上使用 Hadoop 和 Spark
【发布时间】：2016-10-16 02:41:18
【问题描述】：

我想在我的工作中使用大数据分析。我已经实现了所有在容器中创建容器的 docker 东西。然而，我是大数据的新手，我开始知道在速度很重要时，将 Hadoop 用于 HDFS 并在 Hadoop 本身上使用 Spark 而不是 MapReduce 是网站和应用程序的最佳方式（是吗？）。这适用于我的 Docker 容器吗？如果有人可以指导我到某个地方了解更多信息，那将非常有帮助。

【问题讨论】：

hadoop/spark 中的 Web 应用程序？对不起，但我不明白你的问题。也许您误认为 apache spark bigdata (spark.apache.org) 和 spark java web 框架 (sparkjava.com)？
对不起，IMO 这个问题到处都是，它涵盖了多个主题，例如分析/大数据（无论是什么）、Docker、Hadoop/HDFS、Spark 和 MapReduce。当谈到“这是否适用于我的 Docker 容器”时，我会说是的，大多数事情都可以在 Docker 之上运行。

标签： hadoop apache-spark docker hadoop-yarn bigdata

【解决方案1】：

您可以尝试使用 Cloudera QuickStart Docker Image 来开始。请查看https://hub.docker.com/r/cloudera/quickstart/。此 docker 镜像支持 Cloudera 的 Hadoop 平台和 Cloudera Manager 的单节点部署。这个 docker 镜像也支持 spark。

【讨论】：