【问题标题】:Creating a standalone on-demand Apache Spark web service [duplicate]创建独立的按需 Apache Spark Web 服务 [重复]
【发布时间】:2017-11-10 23:28:19
【问题描述】:

我对 Web 服务完全陌生,我正在尝试创建一个如下所示的 Web 服务:

用户在网页中输入一些单词。 一个 Apache Spark 作业在后端启动,它使用这些词作为输入参数 该作业的结果将被处理并显示回网页中。 我想在不使用任何 Spark 即服务产品(如 Bluemix 等)的情况下使其成为独立的东西

现在,我正在考虑采用这样的方法:后端的 Python 服务器接受请求并使用输入启动新的 Spark 作业。当 spark 作业完成时,Python 服务会处理输出并将其发送回页面。

我不确定这是否是最好的方法。另外,我不知道如何在网页中实时显示 Spark 作业的进度。

【问题讨论】:

  • 您要处理多少数据?

标签: python web-services apache-spark service pyspark


【解决方案1】:

apache livy 项目可能适合您的需求。

https://livy.incubator.apache.org/

Livy 支持通过 REST 接口或 RPC 客户端库使用同步和异步结果提交 Spark。

希望对您有所帮助!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-07-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-11-30
    • 2018-12-29
    相关资源
    最近更新 更多