如何设置 spark-job-server 配置？

Question

我正在从 ooyala 运行 spark-job-server 0.5.3。我遵循了他们的官方文档，当它由 sbt 使用 reStart 命令启动时，它工作正常。但是我做不到

1. 使用 server_start.sh 脚本使其工作。

2. 无法在独立集群上运行它。默认情况下它在本地 [*] 主服务器上工作，现在没有关于如何在独立集群上运行作业服务器的明确文档。

感谢任何解决方案或任何博客或适当文档的链接。

提前致谢。

Answer 1

此处主要 Spark 作业服务器项目的文档：github.com/spark-jobserver

• 将 config/local.sh.template 复制到 .sh 并编辑为
  合适的。注意：如果需要，请务必设置 SPARK_VERSION
  针对不同的版本编译，即。 1.4.1 用于作业服务器 0.5.2
• 将 config/shiro.ini.template 复制到 shiro.ini 并根据需要进行编辑。 注意：仅当 authentication = on 时才需要
• 将 config/local.conf.template 复制到 .conf 并编辑为 合适的。 bin/server_deploy.sh - 这将打包 作业服务器以及配置文件并将其推送到您的遥控器 已在.sh中配置
• 在远程服务器上，在部署目录中启动它 server_start.sh 并用 server_stop.sh 停止它
• server_start.sh 脚本在后台使用 spark-submit 并且可能 从 spark-submit 传递任何标准的额外参数。

注意：默认情况下，使用来自 job-server-extras 的程序集 jar，其中包括对 SQLContext 和 HiveContext 的支持。如果您遇到所有额外依赖项的问题，请考虑修改安装脚本以调用 sbt job-server/assembly，这不包括额外的依赖项。