【发布时间】:2016-09-06 19:03:07
【问题描述】:
我有一个水槽代理,它从假脱机目录源中读取,并在经过一些转换后写入 hdfs。 由于水槽尝试将已处理的文件重命名为“.COMPLETED”,因此我在 spool 目录中写入权限被拒绝异常。
我想知道授予敏感数据写入权限有多安全。
flume有没有解决spool目录下处理过的文件的方法
【问题讨论】:
我有一个水槽代理,它从假脱机目录源中读取,并在经过一些转换后写入 hdfs。 由于水槽尝试将已处理的文件重命名为“.COMPLETED”,因此我在 spool 目录中写入权限被拒绝异常。
我想知道授予敏感数据写入权限有多安全。
flume有没有解决spool目录下处理过的文件的方法
【问题讨论】:
假脱机目录源的工作方式需要重命名文件。
作为一种解决方法,拥有文件的“只读”副本并创建一些机制(例如 cron 作业)将文件复制到 Flume 具有写入权限的假脱机目录会更安全。 (并且可能将deletePolicy 配置选项设置为immediate,以避免填满磁盘。)
如果您想申请这样的功能,我建议您在https://issues.apache.org创建一个新工单
【讨论】: