【发布时间】：2017-09-16 16:36:25
【问题描述】：
我知道，尚不支持两个流之间的连接。但是有办法做到吗？ 还是我需要等待 Spark 2.2.0？ 谢谢
【问题讨论】：
-
您是否找到了使用结构化流式传输的方法？
标签： java-8 outer-join spark-structured-streaming
【发布时间】：2017-09-16 16:36:25
【问题描述】：
从 Spark 2.3 的生产版本开始，结构化流现在支持stream-stream joins。
【讨论】：
如果你想加入流，我建议你使用 Kafka Streams 而不是 Structured Spark Streaming。check this link to see how this can be done
【讨论】：
-
谢谢，但我已经用过 Kafka Streams。出于特定原因，我想尝试一些不同的流媒体引擎：D
Spark 2.2.0 仍然不支持流式连接。你可以看这张票：https://issues.apache.org/jira/browse/SPARK-18791
【讨论】：
-
会在 2.3 中提供吗？
-
是的。 2.3会支持的。
-
嗨！我只是在玩 spark 2.3 RC4 stream-stream join。不知何故，我无法轻松地对流数据帧进行自加入。我不知道为什么..这可能是我的语法，但我不确定..更多细节在这里stackoverflow.com/questions/48900127/…如果你能帮助这个会很棒！