【发布时间】:2020-07-18 12:46:20
【问题描述】:
我每间隔 500 到 10000 条记录使用 consumekafka 轮询消息,而 nifi 迭代每 30 秒发生一次。一旦所有作业完成轮询下一次迭代,我就想使用kafka。但是consumekafka处理器不支持上游连接。
一旦 puthdfs 成功,我需要在这里使用下一次迭代,我提到了 nifi 工作流。
工作流程:
consumekafka -> 合并内容->convertRecord->updateattribute->puthdfs
【问题讨论】:
-
@mattyb 你能给我关于这个问题的任何建议吗?我被困住了。
标签: hadoop apache-kafka hdfs apache-nifi