【发布时间】:2018-03-21 04:39:02
【问题描述】:
我正在使用Kafka stream 来处理 JSON 数据流。我要执行两项任务。
- 将所有数据保存到数据存储中,例如 Cassandra。
- 执行基于窗口的计算以识别一些模式,并且只将感兴趣的模式保留在另一个表中。
是否可以在同一个Kafka stream 消费者中执行这两项活动并将各自的输出重定向到 2 个表?
【问题讨论】:
标签: cassandra stream apache-kafka
我正在使用Kafka stream 来处理 JSON 数据流。我要执行两项任务。
是否可以在同一个Kafka stream 消费者中执行这两项活动并将各自的输出重定向到 2 个表?
【问题讨论】:
标签: cassandra stream apache-kafka
例如,您可以在 KStream 上调用 peek - 它会执行具有副作用的操作(写入 Cassandra),并返回未更改的流,您可以在该流上执行必要的计算。
参见documentation 的使用示例(遗憾的是没有小节的链接)。
【讨论】: