【问题标题】:Clickhouse. ReplacingMergeTree doesn't guarantee absence of duplicates点击屋。替换合并树并不能保证没有重复项
【发布时间】:2020-12-01 10:58:32
【问题描述】:

根据documentation,ReplacingMergeTree 引擎不保证不存在重复项。这是否意味着我不能指望这个引擎,我必须使用自己的方法来控制重复项?

【问题讨论】:

    标签: clickhouse


    【解决方案1】:

    是的,这确实意味着你不能指望这个引擎。

    对于小的 ReplacingMergeTree 表可以使用 FINAL 关键字。

    select ... from SomeReplacingMergeTreeTable FINAL
    

    https://clickhouse.tech/docs/en/sql-reference/statements/select/from/#select-from-final

    argMax group byorder by ... limit by ...

    但最好的解决方案是重新设计数据流并避免重复。

    【讨论】:

    • 主键呢?在我的宇宙中,不可能有多个具有相同主键的记录。
    • CH 中没有主键约束。
    • @CaptainVoronin 不幸的是,在大数据上支持唯一主键真的很贵
    猜你喜欢
    • 2018-12-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-10-17
    • 2020-11-10
    • 2015-01-13
    • 2010-11-08
    相关资源
    最近更新 更多