NiFi中的重试和失败队列优先级

Question

我在 NiFi 有一个队列，其中包含将通过 API 查询 (invokeHTTP) 处理的项目。可以处理这些项目并正确返回带有数据的答案（状态 200），找不到它们（状态 404），也可以失败（状态 500）。 但是，在状态 404 和 500 的情况下，可能会发生误报，所以如果我再次查询相同的数据，它会返回错误状态，它会返回状态 200。假阴性。

所以我创建了一个重试队列，让他们再次输入 involeHTTP 并查询 API 失败。我设置了 5 分钟的过期时间，以便真正有问题的数据不会永远咨询 API。

但是，我想优先考虑这个Failure and Retry队列，这样当数据到达它时，会在API中再次查询它，在标准处理队列之前，以免丢失数据给出了假阴性。

是否可以对这种自我关系进行这种处理，还是需要一个新的流文件？

Answer 1

每个队列都可以在队列设置中配置一个优先级。目前，您有两个独立的 InvokeHttp 队列，失败/重试队列和来自 EvaluateJsonPath 匹配关系的传入队列。您需要在 InvokeHttp 前面放置一个漏斗，并将这两个队列发送到漏斗，然后将漏斗发送到 InvokeHttp。这样您就可以为 InvokeHttp 创建一个传入队列并在那里配置优先级。

为了正确确定优先级，您可能需要使用流文件属性优先级。您可以使用 UpdateAttribute 为每个流文件添加“优先级”属性，失败/重试的属性获得优先级“A”，其他的获得优先级“B”（或任何在 A 之后排序的）。