从 Apache Spark Java 代码打开 XMLRPC 端口答案

【问题标题】：Opening a XMLRPC Port from Apache Spark Java Code从 Apache Spark Java 代码打开 XMLRPC 端口
【发布时间】：2015-07-07 02:28:11
【问题描述】：

我的要求是使用 Apache Spark 提供 Web 服务请求。

我开发了一个 XML RPC 服务器，它将由一个 servlet 代码触发，然后它会运行一个 spark-submit 应用程序。然后 XML RPC 将等待 spark-submit 完成并将结果发送回 servlet。

我的问题是：

我可以在我的 spark 作业中编写一个 XML RPC 服务器，并使用独立的 XML RPC 服务器直接从我的 servlet 处理所有请求吗？
为每个 Web 服务请求触发 Apache spark 的正确方法是什么？

【问题讨论】：

标签： java apache-spark xml-rpc

【解决方案1】：

由于依赖问题，将 spark 与 servlet 集成可能具有挑战性，但撇开这些不谈，您可能更适合使用共享 spark 上下文的长时间运行的驱动程序，因为创建 spark 上下文可能需要时间（而且您可以t 在不同的 spark 上下文之间共享缓存的数据）。 Ooyala Spark job server 对此很有用，IBM 也有一个旨在做类似事情的项目，称为 Spark Kernel。希望这些项目之一

【讨论】：