Apache Spark 的结构化流与 Google PubSub

Question

我正在使用 Spark Dstream 从 Google PubSub 提取和处理数据。

我正在寻找一种转移到结构化流式传输但仍在使用 Pub/Sub 的方法。

另外，我应该提一下，我的消息在 Pub/Sub 中是 Snappy 压缩的。

我发现 this 问题声称不支持将 Pub/Sub 与结构化流式传输一起使用。

有人遇到过这个问题吗？是否可以实现自定义接收器从 Pub/Sub 读取数据

谢谢

Answer 1

您引用的feature request 仍然准确：Cloud Pub/Sub 没有偏移量的概念来跟踪您的读取位置，因此不支持使用 Cloud Pub/Sub 进行结构化流式传输。