如何为其他 Cassandra 的远程节点复制 Cassandra 的本地节点？

Question

我需要将带有 SimpleStrategy 的本地节点复制到其他 Cassandra 数据库中的远程节点。有人知道我从哪里开始吗？

Answer 1

如果您将数据写入两个集群，这里的主要复杂性是如何避免在本地设置之后覆盖在云中发生更改的数据。有几种方法可以做到这一点：

• 如果表的结构相同（如果使用用户定义的类型，包括键空间的名称），那么您只需将 SSTables 从本地计算机复制到云端，然后使用sstableloader 重播它们 -在这种情况下，Cassandra 将遵循实际的写入时间，并且不会覆盖更改的数据。此外，如果您要从表中删除，那么您需要在墓碑过期之前复制 SSTable。您可能不会每次都复制所有 SSTables，只复制自上次数据上传以来已更改的文件。但是你总是需要从你上传的所有节点复制 SSTables。

• 如果结构不同，您可以考虑使用DSBulk 或Spark Cassandra Connector。在这两种情况下，您还需要使用 writetime 导出数据，然后还使用时间戳加载它。请注意，在这两种情况下，如果不同的列具有不同的写入时间，那么您将需要单独加载该数据，因为 Cassandra 允许在更新/插入数据时仅指定一个时间戳。

对于 DSBulk，您可以按照示例 19.4 从 this blog post 导出数据，并按照示例 11.3 进行加载（从 another blog post）。所以这可能需要一些shell脚本。另外，您需要有磁盘空间来保存导出的数据（但您可以使用压缩）。

如果使用 Spark Cassandra 连接器，如果两个节点都可以从 Spark 访问，则您可以在没有中间存储的情况下导出数据。但是您需要编写一些 Spark 代码来使用 RDD 或 DataFrame API 读取数据。