【问题标题】:Getting 'checking flume.conf for changes' in a loop在循环中获取“检查flume.conf的更改”
【发布时间】:2015-03-17 08:37:14
【问题描述】:

我正在使用 Apache Flume 1.4.0 收集日志文件 (auth.log) 并存储在 HDFS (Hadoop 2.6.0) 中。使用的命令是:

 bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agent

flume.conf 文件包含以下内容:

agent.channels.memory-channel.type = memory

agent.sources.tail-source.type = exec
agent.sources.tail-source.command = tail -F /var/log/auth.log
agent.sources.tail-source.channels = memory-channel

agent.sinks.log-sink.channel = memory-channel
agent.sinks.log-sink.type = logger
agent.sinks.hdfs-sink.channel = memory-channel
agent.sinks.hdfs-sink.type = hdfs
agent.sinks.hdfs-sink.hdfs.path = hdfs://localhost:54310/usr/auth.log
agent.sinks.hdfs-sink.hdfs.fileType = DataStream

agent.channels = memory-channel
agent.sources = tail-source
agent.sinks = log-sink hdfs-sink

命令运行后,以下消息不断循环重复:

(conf-file-poller-0) [DEBUG - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:126)] Checking file:flume.conf for changes

可能是什么原因?

【问题讨论】:

    标签: ubuntu hadoop flume flume-ng


    【解决方案1】:

    Flume 默认设计为每 30 秒(这是hardcoded)检查配置文件以查找更改。发生这种情况后,它会重新创建受影响的组件(源、接收器或通道)以应用新配置。如果您想禁用此行为,只需使用 --no-reload-conf 选项启动代理即可。

    【讨论】:

    • 进行了更改。非常感谢。
    猜你喜欢
    • 1970-01-01
    • 2015-06-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-06-04
    相关资源
    最近更新 更多