【问题标题】:Difference between below flume sink configuration以下水槽水槽配置之间的区别
【发布时间】:2014-11-18 06:18:51
【问题描述】:

我对 flume 中的以下三个接收器配置非常困惑。请澄清一下

CONF1

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/

CONF2

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://localhost:9000/flume/events/

CONF3

a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /var/log/flume

每个接收器的具体用例是什么?

【问题讨论】:

    标签: flume-ng


    【解决方案1】:

    Conf1Conf2基本相同。它们都有 hdfs sink,数据正在写入 HDFS。唯一的区别是,在一种情况下,您提供的是绝对路径。

    Conf3 是一个本地文件滚动接收器,将数据存储到本地磁盘并与 HDFS 进行比较。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-11-20
      • 1970-01-01
      • 2014-07-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多