如何使用 ConvertRecord 和 CSVRecordSetWriter 在 Apache NiFi 中输出标头（无数据）？

Question

我正在使用 Apache NiFi 从数据库表中提取数据，并使用 ConvertRecord 使用 AvroReader 和 CSVRecordSetWriter 将获取的记录从 avro 更改为 CSV 文件。

当至少有一行从数据库返回时，我的流程运行良好。

但是，当ExecuteSQL 处理器输出包含 0 条记录的流文件时（流文件仍然包含元数据/avro 模式）-ConvertRecord 给我一个 0 字节的流文件输出。我在CSVRecordSetWriter服务中的设置设置为输出header。

在这种情况下，有没有办法让ConvertRecord 输出一个只包含标题行的流文件？

Answer 1

ExecuteSql 处理器将 executesql.row.count(Contains the number of rows returned in the select query) 属性添加到流中。

您可以检查attribute(executesql.row.count) 的值并决定我们是否需要使用ConvertRecord 处理器。

流程：

Executesql(success)--> RouteOnAttribute(add new property ${executesql.row.count:equals(0)}) 
     --> matched --> ReplaceText //Add Header
     --> unmatched --> ConvertRecord //convert to csv format

如果匹配然后使用ReplaceText处理器覆盖现有的流文件内容与标题。

如果 Unmatched 表示您在流文件内容中有一些数据行，因此请使用 ConvertRecord 处理器 并准备 csv 数据。