【发布时间】：2015-03-17 19:31:55
【问题描述】：
我想将 Apache Spark Shell 与日常 Cron 一起使用。我需要用 shell 运行的脚本是用 Scala 编写的。此外，我需要尽可能快地完成此操作（也就是说，每次都无需加载 shell 并退出，因为我有很多脚本要运行）。如何做到这一点？
【问题讨论】：
标签： shell cron apache-spark
【发布时间】：2015-03-17 19:31:55
【问题描述】：
spark-shell 是一个交互式环境，并不意味着按照要求运行无头作业。虽然在技术上应该可以这样做。
可能更好的选择是使用在 REPL 上运行的代码创建一个应用程序“胖 JAR”文件，并使用 cron 调用 spark-submit 或纯 java -cp ... my.pkg.Main 运行该文件
【讨论】：