【问题标题】:Nifi MergeContent truncating/missing flowfile contentNifi MergeContent 截断/丢失流文件内容
【发布时间】:2021-07-16 02:58:56
【问题描述】:

我正在处理的流文件: ... 1. QueryRecord > 2. SplitJson > 3. ExecuteGraphQuery > 4. MergeContent(碎片整理)

步骤 1 QueryRecord 根据属性选择要处理的记录子集 第 3 步是根据流文件的属性获取检索数据。 第 4 步设置为使用碎片整理和二进制连接。

在我的测试用例中,在第 2 步,我可以验证 SplitJson 是否拆分为 3 个流文件。在 MergeContent 之前的第 3 步,这 3 个文件的 fragment.index 为 0,1 和 2,所有文件名、fragment.identifier 都匹配,并且 fragment.count 为 3。

我的问题是,合并内容总是产生一个流文件,其中只有索引为 0 的流文件的内容(我已经测试了 3 次,结果相同)。

我在其他地方使用过 MergeContent,但从未遇到过这个问题。

【问题讨论】:

    标签: apache-nifi


    【解决方案1】:

    虽然我没有弄清楚问题的原因,但以下步骤解决了我的问题:

    1. 删除 MergeContent 处理器并放入另一个(重新创建处理器不能解决问题)
    2. 通过将 json 转换为纯文本(工作流意图的一部分)然后进行合并来解决此问题

    我没有单独测试 2。当时我已经删除了“有问题”的那个。

    【讨论】:

      猜你喜欢
      • 2023-03-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多