定制处理器和背压、节流

Question

NiFi 1.2.0

有一个自定义处理器可以从 db 读取数据并将其进一步传递。在最近的压力测试中，“成功”关系队列被阻塞，随后的流也被阻塞，因为处理器转储了数十万个几 GB 的流文件。显然，backpressuring 没有实现。我还阅读了有关节流和背压的信息 post。

我发现背压是我们在关系队列中配置的东西，而像 ControlRate 这样的标准处理器可以帮助调节数据流。

问题：

处理器中是否需要额外的编码（例如：要实现的某些接口）以使其能够“休眠/停止消耗数据”以进行反压，或者一旦处理器的“成功”关系是，NiFi 框架是否处理该问题配置为背压

Answer 1

不需要额外的编码。 NiFi 框架为您管理背压，并在应用背压时停止调用您的处理器。