【问题标题】:Nifi: Check CSV file for row updates, then ingestNifi:检查 CSV 文件以获取行更新,然后摄取
【发布时间】:2019-12-16 16:48:56
【问题描述】:

通常在我们的环境中,当有人要摄取新数据时,他们会生成一个新的 CSV 文件,Nifi 将从 SFTP 中提取该文件。但是,我有一个新案例,源的 CSV 文件位于共享驱动器上,并且当有更新时,他们的应用程序会向其中添加新行。

Nifi 有没有办法监控这个 CSV 文件何时添加了新行?并且它随后可以只摄取新数据吗?我认为关系数据库有类似的东西,但我没有看到文件有类似的东西。提前致谢。

【问题讨论】:

    标签: csv apache-nifi data-ingestion


    【解决方案1】:

    为此尝试TailFile 处理器。如果行总是附加到末尾(我怀疑是这种情况),那么取决于它的计划方式(以及一次添加多少行) TailFile 应该输出每个流文件一行或每个流文件的行数.无论哪种情况,您都会有一个新行流。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-03-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-10-03
      • 1970-01-01
      • 2011-08-06
      • 2010-09-07
      相关资源
      最近更新 更多