【问题标题】:Using sstableloader to load migrate cassandra cluster使用 sstableloader 加载迁移 cassandra 集群
【发布时间】:2014-11-27 01:31:39
【问题描述】:

我正在尝试将 cassandra 集群从专用 DC 迁移到 EC2。作为开始,我拍摄了 sstables 的快照。为了加载数据,我在此过程中尝试了 sstableloader,但我无法找到从我的 cassandra 节点指定主机的方法(我正在尝试从我的 cassandra 节点运行 sstable loader)。任何指导都会非常有帮助。我正在使用 cassandra 1.0.1。

【问题讨论】:

    标签: amazon-ec2 cassandra


    【解决方案1】:

    cassandra 1.0.1 中的 sstableloader 使用 gossip 协议来获取批量加载所需的架构和环信息。这意味着该工具必须侦听与 cassandra 本身相同的端口,因此它不能与 cassandra 在同一节点中使用(cassandra > 1.1 不是这种情况)。

    您需要从其他主机批量加载,或按照此处的指示(http://www.datastax.com/docs/1.0/operations/backup_restore)将快照直接加载到新节点。 此外,您可以通过 StorageService MBean 下的 JMX“bulkLoad”操作,使用现有的 cassandra 节点批量加载节点中的文件。

    【讨论】:

    • 所以,如果我使用 sstableloader 从不同的主机批量加载,我将如何提供 sstable 文件的路径。因为我认为路径需要在 sstableloader 所在的系统上。
    • sstableloader 是否只加载部分数据?我有 3 个节点的 cluster1 和 3 个节点的 cluster2。我需要将数据从 cluster1 复制到 cluster2。我是否必须在每个 cluster1 节点上运行 sstableloader 或 sstableloader 确实为我从其他主机获取表的所有部分?
    • sstableloader 处理数据的哪一部分到哪个节点。它首先联系节点(在“-d”选项中指定)并获取环信息。然后它将部分 SSTables 流式传输到适当的节点。
    猜你喜欢
    • 2016-05-04
    • 1970-01-01
    • 2017-01-31
    • 2013-11-03
    • 2017-02-23
    • 1970-01-01
    • 1970-01-01
    • 2018-04-27
    • 1970-01-01
    相关资源
    最近更新 更多