Spooling Directory Source使用技巧

1、使用文件原来的名字

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
a1.sources=r1
 
a1.sinks=k1
 
a1.sources.r1.type=spooldir
 
....
 
a1.sources.r1.basenameHeader=true
 
a1.sources.r1.basenameHeaderKey=basename
 
.....
 
a1.sinks.k1.type=hdfs
 
a1.sinks.k1.hdfs.path=hdfs://xxx:8020​/a/b/%{basename}

在source里设置basnameHeader为true，这样在解析出来的event在header上将添加一个属性，名字是basenameHeaderKey定义，值是文件原来的名字。

2、将整个文件作为一个event

在默认情况下，deserializer是LINE，它的效果是，将文件里的每一行解析成一个event。改成BlobDeserializer，则将整个文件解析成一个event。不过，这种方式对大文件不适合，因为整个文件将放入内存中。

1
2
3
4
5
a1.sources=r1
...
a1.sources.r1.type=spooldir
a1.sources.r1.deserializer=BlobDeserializer
...

3、在传输新文件到监控的文件夹时，需要让Spooing Directory Source忽略这个正在传输的文件，等传输完毕后在触发。

可以使用ignorePattern属性来避免。

a1.sources.r1.ignorePattern=^(.)*\\.tmp$

来自为知笔记(Wiz)