【发布时间】：2015-10-23 18:33:28
【问题描述】：
水槽新手。
假设我有一个代理，它有一个 avero-source、一个 hdfs-sink 和一个文件通道。
假设在某些时候接收器无法写入 hdfs。源是否会继续接受事件，直到通道填满？
或者即使文件通道未满，源也会停止接受事件？
【问题讨论】：
【发布时间】：2015-10-23 18:33:28
【问题描述】：
我已经对此进行了广泛的测试。在这种情况下你会很难过。当 sink 失败时，Flume 会开始抛出异常。根据流的速度，通道也会填满，从而导致更多异常。控制故障的最佳方法是使用failover sink processor 并配置接收器组。这样，如果一个接收器发生故障，您将设置一个备份接收器，并且数据丢失非常少。根据我的经验，我已经设置了一个 Avro 接收器，该接收器转到我的拓扑中的第二个 Flume 代理跃点，如果该 Flume 代理出现故障，那么我的故障转移接收器是 2 个不同的 Hadoop 集群，我将 Flume 事件写入其中一个 Hadoop集群通过 HDFS 接收器。然后，您必须回填这些事件。我发现 netcat 源对此很有效。
【讨论】：