WCF 与 Spark 的集成

Question

我们在 WCF 基础架构上运行服务。 WCF 服务客户端是.net 窗口窗体应用程序。对于一些时间和资源密集型任务，我们正在尝试将 WCF 服务与 Apache Spark 集成。 WCF 服务应该调用 Apache Spark 来执行任务。 Apache Spark 支持 java 而不是 C#。我们需要某种方式来从 WCF 服务调用 Spark 进行数据处理。我们正在尝试以插件方式添加火花。如果在不久的将来有任何新技术出现，那么我们可以很容易地用它来代替火花。

一种方法是使用消息队列，其中 WCF 将任务放在队列中，spark 从队列中获取任务并执行任务。消息队列方法在体系结构中增加了另一层。

一个。消息队列架构是一个优雅的解决方案吗？利弊？

b.将 Spark 与 WCF 集成的其他方法是什么？

Answer 1

不是最优雅的：我们运行 Java 服务器并通过命令行调用 Spark。我没有发现 Spark 适合在我们的 Web 服务器中运行（重叠的依赖项太多）。 https://github.com/spark-jobserver/spark-jobserver 可能是一个有趣的替代方案，但我还没有尝试过