【问题标题】:Should you give write permissions for renaming your files in spool directory source in flume您是否应该授予写入权限以在水槽中的 spool 目录源中重命名文件
【发布时间】:2016-09-06 19:03:07
【问题描述】:

我有一个水槽代理,它从假脱机目录源中读取,并在经过一些转换后写入 hdfs。 由于水槽尝试将已处理的文件重命名为“.COMPLETED”,因此我在 spool 目录中写入权限被拒绝异常。

我想知道授予敏感数据写入权限有多安全。

flume有没有解决spool目录下处理过的文件的方法

【问题讨论】:

    标签: flume flume-ng


    【解决方案1】:

    假脱机目录源的工作方式需要重命名文件。

    作为一种解决方法,拥有文件的“只读”副本并创建一些机制(例如 cron 作业)将文件复制到 Flume 具有写入权限的假脱机目录会更安全。 (并且可能将deletePolicy 配置选项设置为immediate,以避免填满磁盘。)

    如果您想申请这样的功能,我建议您在https://issues.apache.org创建一个新工单

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2014-03-30
      • 2011-02-23
      • 1970-01-01
      • 1970-01-01
      • 2010-10-12
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多