【问题标题】:Flume errors : Channel hdfschannel not in active setFlume 错误:通道 hdfschannel 不在活动集中
【发布时间】:2017-10-15 21:44:19
【问题描述】:

当我启动我的水槽代理时,我收到以下错误消息:

    17/10/15 14:40:47 WARN conf.FlumeConfiguration: Could not configure sink  hdfssink due to: Channel hdfschannel not in active set.
org.apache.flume.conf.ConfigurationException: Channel hdfschannel not in active set.

它不会将任何文件写入 hdfs sink。以下是我的水槽配置文件:

    fmp.sources = logsource
    fmp.sinks = loggersink hdfssink
    fmp.channels = loggerchannel hadfschannel

    fmp.sources.logsource.type=exec
    fmp.sources.logsource.command = tail -F /opt/gen_logs/logs/access.log

    fmp.sinks.loggersink.type=logger
    fmp.sinks.hdfssink.type=hdfs
    fmp.sinks.hdfssink.hdfs.path=hdfs://quickstart.cloudera:8020/user/cloudera/flume

    fmp.channels.loggerchannel.type=memory
    fmp.channels.loggerchannel.capacity=1000
    fmp.channels.loggerchannel.transactioncapacity=100

    fmp.channels.hdfschannel.type=file
    fmp.channels.hdfschannel.capacity=1000
    fmp.channels.hdfschannel.transactioncapacity=100

    fmp.sources.logsource.channels = hdfschannel loggerchannel
    fmp.sinks.loggersink.channel = loggerchannel
    fmp.sinks.hdfssink.channel = hdfschannel

【问题讨论】:

  • 这是什么?我不明白。对不起。我是新人。

标签: flume flume-ng


【解决方案1】:

您已经声明了一个名为 hadfschannel 的频道,并且在您的其余配置中,您指的是一个名为 hdfschannel 的频道。

【讨论】:

  • 感谢您的更正。现在,我收到一条新的错误消息:17/10/16 19:33:17 ERROR node.AbstractConfigurationProvider: Sink hdfssink has been removed due to an error during configuration java.lang.IllegalStateException: Sink hdfssink is not connected to a channel at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:419) 在 org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:98) 在 org.apache.flume.node.PollingPropertiesFileConfigurationProvider$File
  • 很遗憾,我们没有足够的信息。您应该验证此线程(接受建议的更正)并提出有关此新错误的新问题以及更多详细信息(日志和新配置)。
  • 谢谢!容易但很难得到某种修复。
猜你喜欢
  • 2012-05-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-03-14
  • 1970-01-01
相关资源
最近更新 更多