意图:从kafka消费数据共200条,进过一系列处理、聚合,输出40条到数据库

整个过程分为父转换SRT,子转换SKafkaProcess ,SRT拉取kafka数据,SKafkaProcess 负责处理,大体呈:数据 -> SRT -> SKafkaProcess ->结果。

为毛分两个转换,为毛不是一个转换?因为【Kafka consumer】这个步骤配置界面需要输入另一个转换。我的理解是消费是批量操作,一批调一次子转换,每调一次子转换,子转换中所有步骤都重新初始、实例化。可在【java代码】步骤中设置属性,处理完一批数据后输出该数据,你会发现每完成一批,这些属性会变回初始状态。

 

父转换(SRT):

案例四 流式处理(kafka)

【Kafka consumer】解析:从kafka拉取数据,驱动子转换进行处理

案例四 流式处理(kafka)

案例四 流式处理(kafka)

案例四 流式处理(kafka)

其他参数自行了解,比较简单。

 

原始数据(共200条输入kafka):

案例四 流式处理(kafka)

 

子转换(SKafkaProcess )处理流程:

案例四 流式处理(kafka)

首先子流程必须以案例四 流式处理(kafka)开始

案例四 流式处理(kafka)

将数据拆分成四列

案例四 流式处理(kafka)

java代码步骤做了一些状态聚合

案例四 流式处理(kafka)

增加一列,全部默认1

案例四 流式处理(kafka)

然后输出到数据库

案例四 流式处理(kafka)

结果

案例四 流式处理(kafka)

 

 

 

相关文章:

  • 2022-01-07
  • 2022-01-22
  • 2021-08-04
  • 2021-09-07
  • 2021-12-29
  • 2021-08-30
  • 2018-05-09
  • 2021-11-11
猜你喜欢
  • 2021-10-09
  • 2021-12-12
  • 2021-07-04
  • 2017-11-28
  • 2021-11-05
  • 2022-01-07
  • 2022-01-03
  • 2021-12-22
相关资源
相似解决方案