Apache Nifi - 将大型 Json 文件拆分为具有指定记录数的多个文件答案

【问题标题】：Apache Nifi - Split a large Json file into multiple files with a specified number of recordsApache Nifi - 将大型 Json 文件拆分为具有指定记录数的多个文件
【发布时间】：2019-11-27 20:09:19
【问题描述】：

我是 Nifi 的新手，希望得到一些指导。我们希望将一个大型 Json 文件拆分为具有指定记录数的多个文件。我可以使用 SplitJson 将文件拆分为单独的记录，并将 Json 路径表达式设置为 $..* 我还添加了一个 UpdateAttribute 处理器，文件名设置为 ${filename}_${fragment.index} 以便我们拥有文件的顺序很重要。但是，我们可能希望将 100,000 条记录拆分为 100 个文件，每个文件包含 1000 条记录。最简单的方法是什么？非常感谢提前

【问题讨论】：

合并内容与 [ 标头、] 页脚和 , delim。所以结果将是 json 对象的数组。
或合并记录处理器
感谢您的帮助

标签： apache-nifi

【解决方案1】：

有一个SplitRecord 处理器。您可以定义每个文件要拆分的记录数，例如：

Record Reader      CSVReader
Record Writer      CSVRecordSetWriter
Records Per Split  3

我用记录测试过，

id
1
...
8

它被分成3个文件，id = (1,2,3), (4,5,6), (7,8)。

【讨论】：