将整个kafka主题具体化为rocksdb答案

【问题标题】：materialize entire kafka topic into rocksdb将整个kafka主题具体化为rocksdb
【发布时间】：2019-03-12 06:05:55
【问题描述】：

我目前正在对 kafka 流进行 POC，其中我试图将 kakfa 用作消息传递总线和数据库。我正在尝试 ksql 用于第二个目的。我可以使用 ksql 查询主题，但是由于 ksql 每次都会读取整个主题并在客户端对其进行过滤，因此需要很长时间。有没有办法将整个主题具体化为kafka中的状态存储？

【问题讨论】：

“作为 kafka 中的国营商店”——如果你的意思是经纪人方面：没有。
“ksql 每次都读取整个主题”是什么意思——只有当你终止查询时才会发生这种情况......
我的要求是使用 kafka 作为 mysql 表，我希望在查询中返回所有历史数据。所以我必须将 ksql 配置为 ksql.streams.auto.offset.reset=earliest

标签： apache-kafka apache-kafka-streams ksqldb

【解决方案1】：

您可以将主题读取为 KTable 并强制状态存储实现以通过交互式查询 API 访问内容。

StreamsBuilder builder = new StreamsBuilder();
 KTable<Integer, Integer> table = builder.table(
   "topicName",
   Materialized.as("queryable-store-name"));

【讨论】：

我们可以使用交互式查询来查询历史数据吗？