如何在没有源的情况下使用 Kafka 通道配置 Flume？

Question

如果配置中没有指定源，它会报错。根据文档：

Kafka 通道可用于多种场景：

1. 使用 Flume 源和接收器 - 它提供了一个可靠且高度 活动的可用频道

2. 使用 Flume 源和拦截器但没有接收器 - 它允许将 Flume 事件写入 Kafka 主题，以供其他应用程序使用

3. 使用 Flume 接收器，但没有源 - 这是一种将事件从 Kafka 发送到 HDFS、HBase 或 Solr 等 Flume 接收器的低延迟、容错方式

https://flume.apache.org/FlumeUserGuide.html

我对场景 3 感兴趣，但官方水槽文档中没有此示例。

问候

Answer 1

在较新版本的 CDH（在我的例子中为 5.14）的水槽配置中可以省略水槽代理源。仅发出警告。

Answer 2

您可以为源提供一些虚拟名称，例如：

agent.sources = dummySource
agent.sinks = hdfsSink
agent.channels = kafkaChnl

只提供 hdfsSink 和 kafkaChnl 的配置