【问题标题】:Read data from KSQL tables从 KSQL 表中读取数据
【发布时间】:2018-06-08 12:18:22
【问题描述】:

也许这是一个初学者的问题,但推荐的读取 KSQL 生成的数据的方法是什么?

假设我做了一些流处理并将数据写入 KSQL 表。现在我想通过 Spring 应用程序访问这些数据(例如,通过 websocket 扇出一些实时数据)。我在这里的第一个猜测是使用 Spring Kafka 并订阅底层主题。还是应该使用 Kafka Streams?

另一个用例可能是进行流处理并将结果写入 Redis 存储(例如,对于始终返回当前值的 Web 服务)。这里的方法是什么?

谢谢!

【问题讨论】:

    标签: apache-kafka apache-kafka-streams spring-kafka apache-kafka-connect ksqldb


    【解决方案1】:

    如果 KSQL 查询存储在 Kafka 主题中的结果。因此,您可以通过读取结果主题来访问第三方应用程序的结果。 如果查询结果是Table,则结果 Kafka 主题是变更日志主题,这意味着您可以将其读入第三方系统(如 Cassandra 或 Redis)中的表中。该表将始终具有最新结果,您可以从 Web 服务中查询它。 查看我们的 Clickstream 演示,我们将结果推送到 Elastic 中进行可视化。可视化值是对应表中的最新值。

    https://github.com/confluentinc/ksql/tree/master/ksql-clickstream-demo#clickstream-analysis

    【讨论】:

    • 非常感谢您的回答。您能否澄清“变更日志主题”一词?我之前看过演示,但现在我明白了。它使用 kafka-connect 设置,并为每个 Table 创建一个弹性搜索接收器。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-01-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-06-23
    相关资源
    最近更新 更多