Flume 使用 hdfs 接收器。 hdfs不可用时如何保证数据完整性？

Question

当 hdfs 不可用时，有没有办法确保数据安全？场景是：kafka-source、flume memory-channel、hdfs-sink。如果flume服务宕机了，是否可以存储topic的分区偏移量，恢复后从正确的位置消费？

Answer 1

通常（使用默认配置），kafka 存储所有消费者的主题偏移量。如果您使用相同的组 id（消费者属性之一）启动水槽源，kafka 将直接从源的偏移量开始发送消息。但是已经从 kafka 读取并存储在内存通道中的消息将由于 HDFS sink 故障而丢失。