【发布时间】：2016-04-12 17:51:07
【问题描述】：
我有兴趣测试在 Mesos 上运行的 Spark。我在我的 Virtualbox 中创建了一个 Hadoop 2.6.0 单节点集群并在其上安装了 Spark。我可以使用 Spark 成功处理 HDFS 中的文件。
然后我在同一个节点上安装了 Mesos Master 和 Slave。我尝试使用 these instructions 在 Mesos 中将 Spark 作为框架运行。 Spark 出现以下错误：
WARN TaskSchedulerImpl：初始作业未接受任何资源；
检查您的集群 UI 以确保工作人员已注册并拥有 资源充足
Sparkshell 已成功注册为 Mesos 中的框架。使用单节点设置有什么问题吗？或者我是否需要添加更多 Spark 工作节点？
我是 Spark 的新手，我的目标只是测试 Spark、HDFS 和 Mesos。
【问题讨论】：
-
当 hadoop 已经自带了 yarn 时，为什么还要首先使用 Mesos 作为 spark。
-
我已经有一个带有 Mesos 和不同框架的 OpenStack 集群。我需要在那个环境中使用一个共享的 hdfs 文件系统和框架来处理 hdfs 中的文件。现在我只是在测试 spark在 mesos 上..
-
你为 virtualbox 实例分配了多少 CPU 和内存？
标签： apache-spark hdfs mesos