【问题标题】:Flume - What happens if client batch-size is larger than Channel Transaction Capacity?Flume - 如果客户端批量大小大于通道事务容量会发生什么?
【发布时间】:2015-10-30 17:15:07
【问题描述】:

我正在阅读Batch Size, Channel Capacity Channel Transaction Capacity. 我有点困惑,假设客户的 Batch Size 是 200,但 Channel 的 Transaction Capacity 是 100。会发生什么:

  • 客户端是否将其批量大小降级以匹配通道的容量?
  • 客户端是否在 2 个事务中将事件放入通道?
  • 客户端是否会尝试将 200 个事件放入一个事务中并收到异常?

我以为有人可能已经知道了,如果我没有收到回复,我会做一个实验 ;-)

这是否意味着在添加新客户端时必须更新这些设置?

【问题讨论】:

    标签: hadoop flume flume-ng


    【解决方案1】:

    至少对于FileChannelHDFSEventSinkFileChannel.ChannelCapacity 必须大于HDFSEventSink.batchSize,否则你会得到exception

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-01-26
      • 1970-01-01
      相关资源
      最近更新 更多