【问题标题】:Did cassandra run compaction during bulk load(sstableloader)?cassandra 在批量加载(sstableloader)期间是否运行了压缩?
【发布时间】:2020-02-06 05:51:32
【问题描述】:

最近,我在将数据批量加载到全新集群时遇到了一个问题。基本上我在每个原始 cassandra 节点上启动多个 sstableloader,将数据流式传输到具有 3 个节点的全新 cassandra 集群,原始集群也有 3 个节点。

最初一切正常,但最后我发现新集群在中间是 OOD。我原来的集群上的数据是每个节点大约 15GB,并且 RF==3,它在我的新集群上消耗了大约 200GB 的空间,似乎还不够。

我想知道 cassandra 在数据流式传输期间是否运行压缩?由于我检查了磁盘并发现其中一张表中有大约 4000+ .db 文件。

【问题讨论】:

  • 您使用什么压缩策略以及如何运行 sstableloader ?你在每个节点上运行吗?

标签: cassandra


【解决方案1】:

最后我发现 cassandra 会在批量加载过程中进行压缩。

我得到OOD的原因是因为我在新集群上启动了太多的sstableloader来将数据流式传输到自己,这对其CPU造成了太大的压力,因此压缩速度远低于最终导致OOD的流式传输速度.

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-10-08
    • 1970-01-01
    • 1970-01-01
    • 2015-08-23
    • 2020-05-15
    • 2014-11-27
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多