官网介绍

概述

    Flume是一个分布式,高可用的,高可靠的服务,它能高效的收集、聚合、移动大量的日志数据。

    它是一个基于流式数据的、简单、灵活的架构。它有健壮的、容错的、从故障中恢复过来的机制。

    它有一个灵活扩展的数据模型,可供在线实时分析使用。

    最开始由cloudera开发,后来给了apache。开发语言java。

同类产品

    Scribe 是facebook用c/c++开发。已经没有维护了。

    Chukwa 最开始由yahoo用java开发,后来给了apache。已经没有维护了。

    kafka 一般作为分布式消息系统,起数据缓冲的作用。通常不会用于日志收集。

    Flumentd 使用ruby开发的

    logstash:ELK中的L

    日志收集通常用logstash或者flume

架构图

【一】Flume理论

组件

    Source    收集    接入数据。

    Channel    聚集    相当于是一个通道,类似于数据的一个缓存池,提供数据临时存放的地方。

    Sink    输出    从Channel中读取数据写入到目的地里


多个Agent

    【一】Flume理论


多个sink的数据接入到一个source中

【一】Flume理论

一个Source的数据放到多个Channel中,每个Channel对应的Sink有不同的数据落地

【一】Flume理论

每个Agent中的组件构成有向无环图



相关文章: