Flume的安装及使用
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力
一．安装flume
1. 下载安装文件(http://flume.apache.org/download.html)
2. 解压安装
cd ~/Downloads
sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local
3. 修改权限
cd /usr/local
sudo chown -R hadoop:hadoop apache-flume-1.7.0-bin
4.修改名字
sudo mv apache-flume-1.7.0-bin flume
二．配置环境变量
1.sudo vim ~/.bashrc
添加完成后记住
source ~/.bashrc
2. 修改配置文件flume-env.sh
在flume-env.sh文件开头加入如下语句:
三．启动flume
cd /usr/local/flume
./bin/flume-ng version
四. 运行实例
1. 使用Flume接收来自AvroSource的消息
1.创建Agent配置文件
cd /usr/local/flume
sudo vim ./conf/avro.conf
2.在avro.conf中写入如下内容
3.启动Flume Agent al
执行如下命令启动日志控制台：
/usr/local/flume/bin/flume-ng agent -c . -f /usr/local/flume/conf/avro.conf -n a1 -Dflume.root.logger=INFO,console
4.创建指定文件
打开另外一个LInux终端，使用如下命令在/usr/local/flume目录下新建一个文件log.00,并在文件中加入一行内容”hello world”:
在打开另外一个终端，执行如下命令:
执行该命令后，AvroSource就向Flume发送了一个文件，这时可以切换之前的日志控制台所在的终端窗口，就可以看到Flume已经接收到了信息
2. 使用Flume接收来自NetcatSource的消息
1. 创建agent配置文件
cd /usr/local/flume
sudo vim ./conf/example.conf
在example.conf下写入以下内容:
2. 启动Flume Agent al
执行如下命令启动日志控制台：
/usr/local/flume/bin/flume-ng agent --conf ./conf --conf-file ./example.conf --name a1 -Dflume.root.logger=INFO,console
3. 在打开一个终端，输入如下命令:
Telnet localhost 44444
我们在这个窗口输入hello world另外一个日志控制台终端窗口也会同步显示输入内容
注意：Flume只能接收英文和字符，不能输入中文