【发布时间】：2019-09-12 16:01:27
【问题描述】：
假设有一群生产者将 avro 记录（具有相同架构）写入 Kafak 主题。
我可以使用 Flume Kafka Source 读取这些记录并将它们写入 HDFS。即使没有使用 Flume Sink 发布记录？
【问题讨论】：
-
通过创建主题、向其中写入文本消息然后使用 Flume 读取文本消息并记录它来对此进行测试。它有效。
标签： apache-kafka flume flume-ng
【发布时间】：2019-09-12 16:01:27
【问题描述】：
是的，你可以。一般来说，Kafka 消费者能做什么或不能做什么完全独立于谁产生了数据，而只取决于数据被编码的格式。
这就是 Kafka 和 Enterprise Service Bus 的重点。
【讨论】：
-
谢谢，所以我没有遵循任何特殊格式等。Flume Kafka Source 只会从主题中消费？
-
@hba 如果您可以将数据保存为与 Kafka 消息相同的格式，则无需执行任何操作。