比较 Apache Livy 和 spark-jobserver

Question

我知道 Apache Livy 是用于从任何地方与 spark 交互的其余接口。那么使用 Apache Livy 代替 spark-jobserver 有什么好处。使用 Livy 作为替代方案的 spark-jobserver 有哪些缺点。我在互联网上找不到太多关于此的内容。你能帮我弄清楚这一点吗？

谢谢，

Answer 1

有几个与我的用例相关的主要差异。

李维的优势：

• Livy 不需要对您的代码进行任何更改，而 SJS 作业必须扩展特定的类。
• Livy 允许提交代码 sn-ps 以及预编译的 jar，而 SJS 只接受 jar。
• 除了 REST，Livy 还拥有 Java 和 Scala API。 Python API 正在开发中，SJS 有一个“python 绑定”

SJS 优势：

• SJS 也可以管理 jar。它允许您上传和存储 jar，然后使用单独的 REST 调用从这些 jar 部署作业。每当您需要部署作业时，Livy 都需要该 jar。
• 可以使用 HOCON 格式配置 SJS 作业，该格式可以作为 REST 调用的一部分提交。

此外，SJS 有更好的文档，尽管在这两种情况下，它都不全面。 当然，请记住，这两个项目都是 pre v1，所以事情可能会迅速改变。

在我的例子中，我们最终选择了 SJS，因为我不需要提交 sn-ps，而 Jar 管理和 HOCOCN 配置就派上用场了。不过，我正在考虑在不久的将来重新访问 Livy，以便进行更全面的评估。

来源：

• https://livy.incubator.apache.org/
• https://github.com/spark-jobserver/spark-jobserver
• 李维演讲：https://www.youtube.com/watch?v=C_3iEf_KNv8

Answer 2

截至 2018 年 9 月，Livy 和（Ooyala）Spark 作业服务器之间的唯一主要区别在于，尽管（当前版本）Livy 是针对 Spark 2.2.0 构建的，但运行时使用的 Spark 版本Livy 不需要匹配用于构建 Livy 的版本。 Livy internally handles the differences between different Spark versions.

此行为不同于具有 tight coupling 的 Spark Job-server 以及它所针对的 Spark 版本。