每小时在 Spark 作业服务器中安排自动 Spark 作业

Question

在 DataStax Enterprise Edition 4.8 中，Spark Jobserver 0.5.2 已针对支持的 Apache Spark 1.4.1.1 版本进行了专门编译。 Spark 作业将从 Cassandra 读取数据并将汇总数据写入同一 Keyspace 中的另一个表中。

Spark 作业服务器中是否有任何功能可以安排作业在每小时后自动运行？

Answer 1

不幸的是，Spark Jobserver 目前没有任何安排作业的功能。

也许您可以在 linux 上使用 cron 任务自动运行 curl 命令向 Jobserver 发送请求。