在 spark-shell 中安排 spark 作业

【问题标题】：schedule spark job in spark-shell在 spark-shell 中安排 spark 作业
【发布时间】：2018-10-26 04:48:06
【问题描述】：

我有一个在 spark-shell 中运行的 spark-scala 脚本

spark2-shell -i test.scala

它工作正常。关于如何安排此脚本每小时运行的任何建议都会有所帮助。

【问题讨论】：

【解决方案1】：

实际上，这与火花无关，因为没有内置机制。

您实际上可以考虑使用这样的 cron

0 * * * * spark2-shell -i test.scala

或者您可能还想使用 oozie，它有点复杂，但如果您有很多 spark 作业要运行，则更容易维护

【讨论】：