【问题标题】:Why cassandra slower to import schema为什么 cassandra 导入模式较慢
【发布时间】:2019-02-15 00:31:47
【问题描述】:

我导出了我的 cassandra 的架构。看看这种情况,我的环境在键空间(产品)中有 40.000 个表。

在新集群中导入此架构 4 天后,我只导入了 10.000 个表。这是正常的?如何更快地导入此架构?有什么建议吗?

问候,

【问题讨论】:

  • 旁注:40,000!我很惊讶,甚至运行。那是我听说过的最高水平,通常事情在那之前很久就崩溃了。您如何进行维修?
  • 是的,我会说这很正常。在一个集群中有 10k-40k 个表是正常的。

标签: database import cassandra schema


【解决方案1】:

首先:认真考虑更改您的数据模型。 40k 表远远超出了 Cassandra 的设计处理能力。通常人们会被告知要考虑在 1000 左右进行更改。每个表都有大量的开销必须保留在内存中,并且有些操作会触发每个表的任务。

虽然您应该对其进行测试,但可以作为 hack 的方法是在启动新集群后完全关闭。每个节点都关闭。然后将 system_schema 表从任何一个当前节点复制到所有新的集群节点。您可能还需要为键空间和表创建文件夹结构。然后启动新集群。在尝试之前先测试一下,但我相信这将适用于 3.x。

【讨论】:

    猜你喜欢
    • 2012-04-30
    • 1970-01-01
    • 1970-01-01
    • 2018-01-14
    • 2013-05-02
    • 2012-06-22
    • 2017-10-09
    • 2022-01-14
    • 1970-01-01
    相关资源
    最近更新 更多