【问题标题】:Kafka for real time data processing multiple consumersKafka用于实时数据处理多个消费者
【发布时间】:2017-11-17 06:58:10
【问题描述】:

我有兴趣使用 Kafka 流式传输必须由多个消费者(nosql、lucene)使用的数据(每秒 10 万条记录),并且想知道 Kafka 是否适合我要求或任何有用的替代方案。消费者消费数据是:

Consumer 1 - 一旦涉及到主题,就会使用数据。
Consumer 2 - 从topic中批量消费数据

【问题讨论】:

  • 是否可以在Producer中从直播中读取数据并推送到broker?

标签: performance lucene stream apache-kafka message-queue


【解决方案1】:

是的,Kafka 非常适合您的要求。阅读 Kafka Streams here

如果要批量读取数据,请使用Kafka Consumer

【讨论】:

  • 谢谢卡马尔。我不认为 Kafka 流适合需求,而是考虑使用 Producers。如果我只需要发送数据而不对主题进行任何预处理,Kafka 流与 Producers 有何不同?
猜你喜欢
  • 2020-11-11
  • 2021-06-22
  • 2015-08-06
  • 1970-01-01
  • 2015-08-19
  • 2018-10-03
  • 2019-04-07
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多