使用水槽拦截器逐行过滤文件答案

【问题标题】：Filter a file line by line using flume interceptors使用水槽拦截器逐行过滤文件
【发布时间】：2017-06-02 08:11:24
【问题描述】：

我正在尝试配置从 .csv 或 .xl3 读取的水槽代理。文件示例：

ClientA  ClientB  Start-time  End-time    Duration    Status 
35862515 36958452 16/01/2017  16/01/2017  10          good
32456988 22583694 16/01/2017  16/01/2017  05          good
35968478 36985724 16/01/2017  16/01/2017
32456988 22583694 16/01/2017  16/01/2017  01          good

我希望代理逐行过滤文件。如果 Duration 不为空，则事件将被发送到 hdfs /usr/admin/Good_Call，否则，事件将被发送到另一个路径 /usr/admin/Bad_Call。

如何使用水槽配置，拦截器来做到这一点

【问题讨论】：

标签： regex hadoop hadoop2 flume flume-ng

【解决方案1】：

您可以使用taildir sink 和regex extractor interceptor。作为正则表达式提取器的结果，您将有不同的“好”和“坏”行标题。最后，添加multiplexing channel selector，它将根据标头的值决定将事件发送到哪里。

【讨论】：