【问题标题】:Kafka Streams API with Users topic (Predefined topic)带有用户主题的 Kafka Streams API(预定义主题)
【发布时间】:2019-12-31 11:15:21
【问题描述】:

有什么方法可以让我使用带有预定义用户主题的 kafka 流 API,但能够调用 through() 和 to() 等函数,据我了解,这些函数将生成用于缓存目的的中间主题。

【问题讨论】:

标签: apache-kafka apache-kafka-streams


【解决方案1】:

您需要一个预定义的主题作为您的输入源。

through() 是您列出的唯一构成“中间”主题的操作。
to() 构成终端主题。

如果您不进行有状态操作或重新分区(通过更改消息键),则没有中间主题。

更多信息 - What are internal topics used in Kafka?

【讨论】:

  • 感谢您的回复,我之前已经阅读了这些文章,唯一我不知道的是我们如何提前创建一些主题。
  • 我指的是内部话题
  • 代理启动时创建内部主题。它们是使用上述方法制成的。我不明白。没有内部用户主题
  • 我想通过单独使用“用户主题”的流 api 执行加入和聚合(没有授予创建内部主题的权限),但是我意识到以下内容。如果您还有其他更好的方法来绕过内部主题的生成。当流上有加入/聚合操作时,会创建变更日志主题。实际上,聚合调用的结果创建了一个状态存储,并且为了容错,状态存储由 Kafka Changelog 主题备份。聚合结果存储到这个内部主题中。
猜你喜欢
  • 2018-09-30
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-01-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-07-25
相关资源
最近更新 更多