在hdfs kafka、flume的不同目录下登陆文件答案

【问题标题】：Landing files in different directories in hdfs kafka, flume在hdfs kafka、flume的不同目录下登陆文件
【发布时间】：2016-10-28 14:58:46
【问题描述】：

我想将 csv 文件从一台服务器（Unix 服务器 A）发送到 hdfs 目录。基于哪些 csv 文件，我想将它们放在 hdfs 的不同目录中。

我有 11 个 csv 文件将由 unix 服务器 A 上的 kafka 生产者发送到 kafka。 csv 文件的第一个元素将包含一个键。我想采用第一个元素并将其作为 kafka 消息的关键。另外，我想将数据的值作为 kafka 中的消息发送。

当它到达 kafka 集群时，会有一个 Flume 代理来摄取数据，并有一个拦截器通过键对数据进行排序，以将其引导到 11 个 kafka-topic 通道（作为 Flume 中的通道）。然后通道会将数据重定向到适当的 hdfs 目录。

这个设计有意义吗？或者有更好的方法吗？也许火花流？

【问题讨论】：

您也可以考虑使用 Kafka Connect 和 Confluent 开源 HDFS Sink 连接器（请参阅 github.com/confluentinc/kafka-connect-hdfs）
很遗憾，我们的集群 (CDH) 上尚不可用。

【解决方案1】：

您提到的设置乍一看似乎都很好。

拦截器是将事件详细信息放入标头的好方法。但是，您已经提到它将是对消息进行排序/指导的渠道。取而代之的是，您可能希望将您添加到 interceptor 中的 header 指定为 hdfs 接收器中 path 的一部分。 p>

【讨论】：