Flume KafkaChannel 没有 KafkaSink？答案

【问题标题】：Flume KafkaChannel without KafkaSink?Flume KafkaChannel 没有 KafkaSink？
【发布时间】：2016-11-15 17:32:29
【问题描述】：

我正在尝试从 Flume 源写入 Kafka 主题。 Flume中有kafka通道，Cloudera post作者说可以使用kafka通道

直接从 Flume 源写入 Kafka，无需额外缓冲。

但是当我试图从我的配置中排除 sink 时，flume 说

验证此配置时出错：组件 tier1.sinks：缺少属性值。

我真的需要写入 kafka 通道并回读以再次写入 kafka 接收器吗？这对我来说似乎很奇怪......

【问题讨论】：

标签： apache-kafka flume flume-ng

【解决方案1】：

不，你不需要这样做，请给我你的配置文件。

Flume 1.7 中的示例如下所示：

source config etc...

agent1.channels.channel_sample.type = org.apache.flume.channel.kafka.KafkaChannel
agent1.channels.channel_sample.kafka.bootstrap.servers = hostnameorip:9092,hostnameorip:9092
agent1.channels.channel_sample.kafka.topic = topic_sample
agent1.channels.channel_sample.kafka.consumer.group.id = consumer_group_sample

如果您不需要任何接收器绑定到此 channel_sample，kafka.consumer.group.id 不是必需的。

注意文档中有一个错误，即 kafka.consumer.auto.offset.reset 的默认值是最早不是最新的

【讨论】：

感谢您的回复。我已经通过使用 HDFS sink 解决了这个问题。我真的需要它，所以它不仅仅是一个肮脏的黑客:) 无论如何，很高兴听到我对这种频道类型的理解是正确的。