Flume内部模块
Flume内部模块
- 1、Source :与数据源对接，用于数据的收集，采集。
- 2、Channel: 数据的传输（一个flumeAgent内部）
- 3、Sink : 负责数据的输出 或 下沉（一个flumeAgent内部）
1.1.2 运行机制
- 1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成
- 2、每一个agent相当于一个数据传递员，内部有三个组件：
a)Source：采集组件，用于跟数据源对接，以获取数据
b)Channel：传输通道组件，用于从source将数据传递到sink
c)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据
Source 到 Channel 到 Sink之间传递数据的形式是Event事件；Event事件是一个数据流单元。
1.1.3 Flume采集系统结构图
- 简单结构
单个agent采集数据
- 复杂结构
多级agent之间串联