Flafka：如何通过 Flume 代理写入按 msg 类型分区的分区 Kafka 主题（通道）

Question

在我的项目中，我们总共有 11 个 WSMQ 作为 Flume 代理的来源。 Kafka 主题作为通道，Kafka 主题按消息类型进行分区。 HDFS 作为接收器。

需求：我们想使用flume-agent从多个队列中读取数据并写入kafka主题的特定分区，以便在稍后的时间点，我们可以从这些kafka分区中读取数据。

现在，对于每个代理正在写入消息的队列，我们​​总共有 11 个 kafka 主题。我们希望有一个单独的 Kafka 主题，它按 msg 类型进行分区，并且传入的 msgs 可以写入这些分区。

任何人都可以建议，这个用例的最佳方法是什么？

谢谢！

Answer 1

我们通过 Spark 流解决了这个问题。