是否有 Spark Arrow Streaming = Arrow Streaming + Spark Structured Streaming？答案

【问题标题】：Is there Spark Arrow Streaming = Arrow Streaming + Spark Structured Streaming?是否有 Spark Arrow Streaming = Arrow Streaming + Spark Structured Streaming？
【发布时间】：2020-03-19 04:31:40
【问题描述】：

目前我们有 Spark 结构化流媒体

在箭头文档中，我找到了箭头流，我们可以在其中使用 Python 创建流，生成数据，然后使用 StreamReader 在 Java/Scala 中使用流

我想知道这两者是否集成在一起，我们可以在哪里做一些事情，比如在 Python 中生成箭头流并使用 spark 结构化流来获取流（以分布式方式）？

想象一个场景，想要构建一个易于使用的 Python api，但计算引擎是在 Java/Scala 上，使用 Kafka/Redis 无法解决跨语言的数据类型。但是使用箭头目前没有集群支持来访问数据

【问题讨论】：

标签： apache-spark spark-structured-streaming pyarrow apache-arrow

【解决方案1】：

也许不是您想要的，但 Spark 3.3 将有 mapInArrow API 调用 - https://github.com/apache/spark/pull/34505

但这不适用于流式传输。

【讨论】：

我认为这非常接近。基本上 spark 只需要创建一些生产数据和数据接收器的包装器。

【解决方案2】：

我从未听说过这样的项目。您所描述的几乎是 PySpark 结构化流式处理，其中您有一个正在运行的 python 应用程序与运行在 JVM 上的 Spark 基础设施通信。

【讨论】：

这样的项目有前途吗，或者有可能实施吗？基本上它是关于将跨语言流和可扩展性集成在一起。
“这样的项目有前途吗”？不知道。 “有可能实现”？是的。