水槽子目录答案

【问题标题】：Flume Subdirectory水槽子目录
【发布时间】：2015-08-19 08:48:05
【问题描述】：

如何使 Flume Spooling Directory Source 也可以与文件夹的子目录一起使用。我的源文件夹也有其他几个文件夹，我希望我的水槽代理也查看这些子目录，以便将文件转储到接收器中。有什么办法吗？

【问题讨论】：

【解决方案1】：

假脱机目录不会检查任何子目录，除非您明确配置它来检查这些子目录，例如：

a1.channels = ch-1
a1.sources = src-1 src-sub-1 src-sub-2

a1.sources.src-1.type = spooldir
a1.sources.src-sub-1.type = spooldir
a1.sources.src-sub-2.type = spooldir
a1.sources.src-1.channels = ch-1
a1.sources.src-sub-2.channels = ch-1
a1.sources.src-sub-1.channels = ch-1
a1.sources.src-1.spoolDir = /var/log/apache/flumeSpool
a1.sources.src-sub-1.spoolDir = /var/log/apache/flumeSpool/subdir
a1.sources.src-sub-2.spoolDir = /var/log/apache/flumeSpool/secondSubdir

【讨论】：

【解决方案2】：

在当前发布的 Flume (1.6.0) 版本中，没有办法这样做，但是有一个问题正在解决： https://issues.apache.org/jira/browse/FLUME-1899

问题中有一个可用的补丁 - 这可能会/可能不会帮助您，具体取决于您是否能够构建自定义 Flume 可部署。

【讨论】：

【解决方案3】：

a1.sources.src-1.recursiveDirectorySearch=true 它将检查目录中存在的所有子目录。

【讨论】：