我可以使用 java 从 cometd 主题将流数据读入 Apache Beam 吗？

Question

我有一个生产者在一个 cometd 主题上吐出消息。我需要从这个主题中挑选和处理消息流。我可能花了两个小时试图找到一种方法将 cometd 上的消息直接摄取到 apache Beam 中。我似乎在这里碰壁了。我知道我有以下选择：

1. 从主题获取，将数据写入kafka，然后将数据从kafka推送到beam。
2. 从主题获取，将数据写入 GCP 上的发布/订阅，然后将其推送到 Apache Beam。

上述两个选项似乎都在架构中包含了一个额外的组件。有没有更好的方法来做到这一点？有什么例子吗？代码示例？指针？

Answer 1

我不知道有人已经为 Beam 编写或启动了 CometD 连接器。当前的连接器在https://beam.apache.org/documentation/io/built-in/ 中列出。要编写自己的代码，您可以尝试模仿其他基本流连接器之一的代码，例如 AMQP、MQTT 或 JMS（Kafka 和 Pubsub 非常先进，我不建议通过它们的源代码来指导您的实现）。