火花集成答案

【问题标题】：Spark integration火花集成
【发布时间】：2017-01-21 05:38:56
【问题描述】：

我是 apache spark 的新手。
我的要求是，当用户点击 Web UI 时，查询需要传递到 Spark 集群并从集群中取回数据并更新 UI。
我想知道，如何通过 Spark SQL 查询并获取结果集？

【问题讨论】：

1) 设置 REST API 以触发 Spark 操作 2) 使用 AJAX 调用 REST API 以获取结果...如果您是 Spark 的新手，这无关紧要，如何从 Web UI 中获取 SQL 数据库的结果？

【解决方案1】：

您可以使用 Apache Livy。详情：https://livy.incubator.apache.org/

【讨论】：

【解决方案2】：

通常您必须编写一个 Web 应用程序，通常使用 REST 接口，并在服务器端 REST 处理程序中实现 Spark SQL。

【讨论】：

【解决方案3】：

Spark 为此提供了 Thrift 服务器（通过 JDBC/ODBC 运行 SQL 查询）。如果您使用 Java 作为中间层，请使用 JDBC 并像数据库一样连接 spark Thrift 服务器并传递/运行任何 SQL（支持 Spark）。

【讨论】：