flume收集日志数据 sinkhive中踩坑记录

问题1

Flume sink 到hive中踩坑记录

解决办法:

把hive目录下的hcatalog/share/hcatalog中所有jar拷贝到 flume安装目录下的lib目录下

Flume sink 到hive中踩坑记录

问题2

Flume sink 到hive中踩坑记录

Flume sink 到hive中踩坑记录

问题3

Hive启动时报错

Flume sink 到hive中踩坑记录

解决办法:

复制/hive/lib下jline-2.XXjar 到hadoop/share/hadoop/yarn/lib

Flume sink 到hive中踩坑记录

 

问题4

Flume sink 到hive中踩坑记录

配置文件添加:a1.sinks.k1.useLocalTimeStamp=true

问题5

Flume sink 到hive中踩坑记录

问题6

Flume sink 到hive中踩坑记录

解决办法

Flume sink 到hive中踩坑记录

 

问题7

Flume sink 到hive中踩坑记录

解决办法:

1.加权限:https://henning.kropponline.de/2015/05/19/hivesink-for-flume/

2.把hive目录下的hcatalog/share/hcatalog中所有kar拷贝到 flume安装目录下的lib目录下

Flume sink 到hive中踩坑记录

目前还未解决。。。

相关文章: