Apache NiFi 分布式性能

Question

我有一个大约 40GB 的文件，我的 nifi 集群在一个节点上运行，解压缩大约需要 60 分钟。如果我有这个处理器超过 2 或 3 个节点，处理器是否会分配其工作以使解压缩时间下降到 30、25 分钟？提前致谢

Answer 1

如果文件是单个压缩数据集合，您将无法将其分布到多个节点，因为解压缩无法并行进行。如果这是一个包含多个独立压缩的数据片段的文件，这些数据片段简单地连接在一起，那么可以，您可以将数据拆分为其组件片段并将它们分发到多个节点以并行解压缩。