【问题标题】:Generic way to consume data from kafka topics使用来自 kafka 主题的数据的通用方法
【发布时间】:2018-07-20 21:33:20
【问题描述】:

有没有办法获取所有 kafka 主题的列表,并使用 kafka 从其中获取所有数据。 我们实际上想捕获在 kafka 中流动的任何类型的数据。

【问题讨论】:

  • 一个主题可以保存 JSON,另一个可以保存 XML...您希望如何制作绝对通用的东西?
  • 我们希望主题只保存 JSON
  • 好的,那么字符串反序列化器出了什么问题?还是自己编写/使用 Spring Kafka JSON 反序列化器?

标签: apache-kafka kafka-consumer-api


【解决方案1】:

订阅消费者时,您可以指定正则表达式模式而不是主题列表,请参阅subscribe() method

通过传递一个正则表达式来匹配所有主题(如.+),它将订阅并开始使用所有主题。

【讨论】:

  • 您可能想要做的一件事是排除以“_”开头的主题,否则您也会得到偏移主题(除非您正在排除故障,否则您几乎永远不需要)。
  • 谢谢,获取主题 liat 很好,但每个主题格式都会有差异,所以如何反序列化它的通用方式对我来说是个大问题。
猜你喜欢
  • 2018-01-09
  • 1970-01-01
  • 1970-01-01
  • 2019-04-23
  • 1970-01-01
  • 2021-02-05
  • 2018-06-30
  • 1970-01-01
  • 2021-03-20
相关资源
最近更新 更多