如何将数据从大小为 N 的 Cassandra 集群迁移到大小为 N+/-M 的不同集群

Question

我正在尝试弄清楚如何将数据从一个 cassandra 集群迁移到另一个环大小不同的 cassandra 集群……比如从 5 节点集群迁移到 7 节点集群。

我开始研究 sstable2json，因为它为特定 cassandra 节点上的 SSTable 创建了一个 json 文件。我的想法是为环中每个节点上的列族执行此操作。所以在一个 5 节点环上，这会给我 5 个 json 文件，一个文件用于存储在每个节点上的列族中的数据。

然后我将 json 文件合并到一个文件中，并使用 json2sstable 导入一个新的集群，其大小可以说是 7。我希望 cassandra 然后在节点之间均匀地复制/平衡数据戒指，但我刚刚读到 SSTables 一旦写入就不可变了。因此，如果我按照刚才提到的方式进行操作，我最终会在一个节点上得到一个包含列族中所有数据的环。

那么谁能帮我弄清楚将数据从一个集群迁移到不同环大小的不同集群的过程？

Answer 1

您可以执行以下步骤： 1. 将 7 个节点加入 5 个节点集群，并为每个节点设置自己的环令牌。此时，您可能有一个包含 12 个节点的集群。 2. 在步骤 1 中从新集群中删除 5 个节点。 3.在自己移动5个节点后，为每个节点设置令牌环。 4.修复7节点集群。

Answer 2

更好：在旧环的 sstable 上使用 bin/sstableloader 流式传输到新环。

通常 sstableloader 的使用顺序如下：

1. 使用 SSTableWriter 在本地创建 sstables
2. 使用 sstableloader 将 sstables 中的数据流式传输到正确的节点（bin/sstableloader path-to-directory-full-of-sstables）。目录名称假定为键空间，如果您将其指向现有的 Cassandra 数据目录，就会出现这种情况。

由于您希望将数据从现有集群 A 流式传输到新集群 B，因此您可以直接跳到针对集群 A 中每个节点上的数据运行 sstableloader。

更多关于在this blog post中使用sstableloader的细节。

Answer 3

您不需要使用 sstable2json。如果你有空间，你可以：

1. 从旧环上的所有节点获取所有 sstables
2. 将它们全部放在每个新服务器上（重命名任何具有相同名称的服务器）
3. 在新环中的每个节点上运行 nodetool cleanup，它们会丢弃不属于它们的数据。

Answer 4

我敢说这并不像看起来那么大。

1. 根据http://wiki.apache.org/cassandra/Operations#Token_selection，创建您的新环并为每个节点适当定义令牌
2. 将数据导入新环。
3. 戒指将根据您定义的令牌自行平衡http://wiki.apache.org/cassandra/Operations#Import_.2BAC8_export