在 chronos 中运行 spark-submit

【问题标题】：Running spark-submit in chronos在 chronos 中运行 spark-submit
【发布时间】：2016-04-13 08:25:45
【问题描述】：

目前我有一个启用了 docker 容器的 mesos 集群。我使用 mesos docker 支持在我的集群上运行 spark 框架。我想从 chronos 安排一个 spark-submit 作业。你能告诉我步骤或最好的方法吗？我对 mesos 很陌生，我不知道 chronos 将如何找到 spark-submit 命令来提交应用程序。

【问题讨论】：

标签： apache-spark pyspark mesos mesosphere

【解决方案1】：

您可以将您的应用程序与 Spark 发行版一起打包到一个 Docker 容器中，并在 Chronos 中创建一个 Docker 作业：

http://mesos.github.io/chronos/docs/api.html#adding-a-docker-job

例如，向 Chronos REST API 发送一个 POST 请求，如下所示：

curl -L -H 'Content-Type: application/json' -X POST chronos-node:8080/scheduler/iso8601 -d '
{
  "schedule": "R/2016-04-15T12:00:00Z/PT2M",
  "name": "spark-submit-job",
  "container": {
    "type": "DOCKER",
    "image": "my/sparksubmitapp",
    "network": "BRIDGE",
    "forcePullImage": true
  },
  "cpus": "0.5",
  "mem": "1024",
  "uris": [],
  "command": "/path/to/spark/bin/spark-submit --class com.my.app.Main myApp.jar"
}'

【讨论】：