无法使用 Amazon EMR 到达 Spark 主节点中的烧瓶答案

【问题标题】：Can't reach flask in Spark master node using Amazon EMR无法使用 Amazon EMR 到达 Spark 主节点中的烧瓶
【发布时间】：2020-07-06 15:52:20
【问题描述】：

我想了解是否可以使用连接到在 Amazon EMR 中实现的 Spark 主节点的烧瓶应用程序。目标是从 Web 应用程序调用 Flask 以检索 Spark 输出。 amazon EMR 集群的安全组中的端口是开放的，但我无法通过他的端口从外部访问它。

你怎么看？还有其他解决方案吗？

【问题讨论】：

【解决方案1】：

虽然完全可以调用在 EMR 上运行的 Flask（或任何东西），但根据您的操作，您可能会发现 Apache Livy 很方便。好消息是 Livy 完全得到 EMR 的支持。您可以使用 Livy 同步或异步提交作业和检索结果。它为您提供了一个与 Spark 交互的 REST API。

【讨论】：