Flume（1）—— 配置和官方最简案例（NetCat Source、Logger Sink）

Flume（1）——配置和官方最简案例（NetCat Source、Logger Sink）

1. 官方网址

http://flume.apache.org/FlumeUserGuide.html

1. Flume组成部分

Flume的主要组成部分就是Agent和Agent中的Source、Channel、Sink。Source、Channel、Sink都有固定类型的支持。只要配置了适当类型的组件就可以传输数据了。例如：

NetCat Source：从socket端口获取数据作为Source

Kafka Source：从Kafka获取数据作为Source

Logger Sink：将数据写入到Logger

Kafka Sink：将数据写入到Kafka

HDFS Sink：将数据写入到HDFS

1. Flume下载

http://flume.apache.org/download.html

1. Flume安装

解压到一个目录即可。

1. flume目录结构

1. （可选操作）配置环境变量

1. Flume配置

   1. 修改flume-env.sh.template为flume-env.sh

1. JAVA_HOME配置项

如果环境变量配置了JAVA_HOME，这里也可以不配置。

1. JAVA_OPTS配置项

可以通过这个参数配置设置Java内存的大小。

1. 查看Flume版本

flume-ng version

1. 官方示例（NetCat Source、Logger Sink）