哪些 Runners 在 apache Beam 中支持 kafkaIO？

Question

我正在使用 apache 梁。我的任务是从 kafka 主题中提取数据并在数据流中处理。 数据流是否支持 kafkaIO ？
KafkaIO 支持哪些运行器？

Answer 1

是的。 Dataflow 和其他主要的 Beam 运行器都支持 KafkaIO。

我们为 Java 和 Python SDK 提供了 Kafka 转换。

请注意，Python 版本是 cross-language transforms，而 Dataflow 需要 runner V2。