【问题标题】:Can producer send offset fetch request in kafka?生产者可以在kafka中发送偏移量获取请求吗?
【发布时间】:2016-02-19 21:39:05
【问题描述】:

这是关于让 Producer 知道消息是否已被 Consumer 消费的用例。

我的想法是,每次消费消息时,Consumer 提交偏移量,Producer 可以跟踪和读取当前偏移量,以查看是否消费了相应的消息。

另外,请不要犹豫,让我知道这是否是处理用例的正确方法,因为我没有 Kafka 经验。我知道 Kafka 并非设计为以这种方式工作(处理上述用例),但我必须坚持使用 Kafka。

【问题讨论】:

  • 你用的是什么版本?您打算如何让 Producer 了解偏移量?
  • 如果需要,我可以使用最新版本。我正在考虑使用 kafka API 以与 consumer does it 相同的方式获取偏移量。

标签: message-queue apache-kafka


【解决方案1】:

如果问题是标题,答案是否定的,至少在最新版本的 kafka 0.9.0.1 中,无法知道生产者的分区偏移量是多少。

【讨论】:

  • 我可以看到一种通过 api 调用偏移管理器来读取偏移的方法,这很明显here。你的意思是我不能从生产者那里使用相同的 API?
  • 你能帮我解释一下为什么类似的 api 导入语句不适用于生产者吗?
  • 类似的api导入语句?什么?
  • 对不起,让我澄清一下。我可以看到 kafka api 通过 api 调用支持偏移获取请求(请参阅here)。如上所述,我看到了相同here 的实现示例。只是为了确认您的答案,您的意思是生产者无法使用相同的 api 调用吗?
  • 是的,从 Producer Api 无法执行获取请求。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-07-13
  • 1970-01-01
  • 1970-01-01
  • 2017-03-09
  • 1970-01-01
  • 2018-04-19
  • 2016-03-11
相关资源
最近更新 更多