使用flume将数据从kafka topic导入hdfs文件夹答案

【问题标题】：Using flume to import data from kafka topic to hdfs folder使用flume将数据从kafka topic导入hdfs文件夹
【发布时间】：2018-02-14 08:19:27
【问题描述】：

我正在使用水槽从 kafka 主题 HDFS 文件夹中加载消息。所以，

我创建了一个主题TT
我通过 kafka 控制台生产者向 TT 发送了消息
我配置了flume代理FF
运行水槽代理flume-ng agent -n FF -c conf -f flume.conf - Dflume.root.logger=INFO,console

代码执行停止，没有错误，它不会向 HDFS 写入任何内容。日志文件包含此警告 主题的消费者线程flume_-0没有使用代理分区。

非常感谢任何帮助。在此先感谢。:)

【问题讨论】：

尝试使用Flafka [ blog.cloudera.com/blog/2014/11/… ]，你可以在cloudera网站找到一个例子并解释
您最好使用 HDFS connector 进行 Kafka Connect。它是开源的，可用standalone 或作为Confluent Platform 的一部分。
Flume 已经走到了尽头；我同意@RobinMoffatt 的观点，即 Kafka Connect 是现在解决此问题的标准方法。如果您想继续此操作，请查看您的flume.conf。

【解决方案1】：

这个 conf 解决了问题

FF.sources=kafka-source
FF.channels = kafka 通道
FF.sinks =hdfs-sink FF.channels.kafka-channel.type org.apache.flume.channel.kafka.KafkaChannel
FF.channels.kafka-channel.kafka.bootstrap.servers = 宽纬度：9092
FF.channels.kafka-channel.kafka.topic = TT
FF.channels.kafka-channel.parseAsFlumeEvent = 假
FF.sinks.hdfs-sink.hdfs.writeFormat = 文本
FF.sinks.hdfs-sink.channel = kafka-channel
FF.sinks.hdfs-sink.type = hdfs
FF.sinks.hdfs-sink.hdfs.path = hdfs://***:8020/spark/

【讨论】：