【问题标题】:Kafka Stream-consumer to perform multiple streaming computations on the same streamKafka Stream-consumer 在同一个流上执行多个流计算
【发布时间】:2018-03-21 04:39:02
【问题描述】:

我正在使用Kafka stream 来处理 JSON 数据流。我要执行两项任务。

  1. 将所有数据保存到数据存储中,例如 Cassandra。
  2. 执行基于窗口的计算以识别一些模式,并且只将感兴趣的模式保留在另一个表中。

是否可以在同一个Kafka stream 消费者中执行这两项活动并将各自的输出重定向到 2 个表?

【问题讨论】:

    标签: cassandra stream apache-kafka


    【解决方案1】:

    例如,您可以在 KStream 上调用 peek - 它会执行具有副作用的操作(写入 Cassandra),并返回未更改的流,您可以在该流上执行必要的计算。

    参见documentation 的使用示例(遗憾的是没有小节的链接)。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-04-27
      • 1970-01-01
      • 2019-01-12
      • 1970-01-01
      • 1970-01-01
      • 2017-07-29
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多