【问题标题】:Nifi consumekafka doesn't accept upstream connectionNifi consumekafka 不接受上游连接
【发布时间】:2020-07-18 12:46:20
【问题描述】:

我每间隔 500 到 10000 条记录使用 consumekafka 轮询消息,而 nifi 迭代每 30 秒发生一次。一旦所有作业完成轮询下一次迭代,我就想使用kafka。但是consumekafka处理器不支持上游连接。

一旦 puthdfs 成功,我需要在这里使用下一次迭代,我提到了 nifi 工作流。

工作流程:

consumekafka -> 合并内容->convertRecord->updateattribute->puthdfs

【问题讨论】:

  • @mattyb 你能给我关于这个问题的任何建议吗?我被困住了。

标签: hadoop apache-kafka hdfs apache-nifi


【解决方案1】:

在您的consumekafka 之后,您可以使用等待处理器:

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.6.0/org.apache.nifi.processors.standard.Wait/index.html

在你的puthdfs之后释放信号

【讨论】:

  • 感谢您的回复。当然,我尝试了上述方法,但一旦成功,hdfs 就无法正常工作。不是通知和等待独立处理器吗?因为一旦收到 puthdfs 通知,我只会得到 puthdfs 成功文件,并且它不工作,consumerecord 连续响应。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2019-08-17
  • 2021-06-01
  • 1970-01-01
  • 1970-01-01
  • 2012-08-25
  • 2012-01-16
  • 1970-01-01
相关资源
最近更新 更多