【问题标题】:Where does presto store kafka data when using presto's kafka connector使用presto的kafka连接器时presto在哪里存储kafka数据
【发布时间】:2019-12-30 14:05:30
【问题描述】:

我正在搜索关于 presto 的 kafka 连接器的文档,其中提到了更多关于内部以及连接器是如何实现的,例如,是否将来自 kafka 的数据 presto 存储在内存中或以某种格式保存到磁盘。

官方文档仅包含分步指南 https://prestodb.io/docs/current/connector/kafka-tutorial.html

有人有文档吗?

【问题讨论】:

    标签: apache-kafka presto


    【解决方案1】:

    没有记录内部实现。

    关于持久性 - 连接器不存储任何内容,并且每次运行查询时都会完整读取 Kafka 主题(除非存在允许限制读取的查询谓词)。

    如果您对 Presto 中的实现方式有更多疑问,我可以推荐 Presto Community slack 上的 #dev 频道。

    【讨论】:

    • 消费者组偏移量呢?
    • 完整我会假设从最早读取偏移量,并将数据存储在内存中
    猜你喜欢
    • 2019-08-15
    • 2021-01-29
    • 2019-04-22
    • 2022-01-16
    • 1970-01-01
    • 2019-06-21
    • 2021-07-28
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多