将 Cassandra 数据库迁移到 AWS Keyspaces 后如何检查数据完整性

Question

我正在尝试迁移卡桑德拉聚集到适用于 Apache Cassandra 的 AWS 密钥空间. 迁移完成后，如何验证数据是否已按原样成功迁移？

Answer 1

许多解决方案都是可能的，您可以简单地读取分区的所有行并计算校验和/签名并与您的原始数据进行比较，例如。然后遍历所有分区，然后对所有表执行此操作。校验和工作。

Answer 2

您可以使用 AWS Glue 执行“例外”功能。 Spark 有很多用于处理海量数据集的有用函数。胶水是无服务器的火花。您可以将 spark cassandra 连接器与 Cassandra 和 Keyspaces 结合使用，以在胶水中处理数据集。例如，您可能希望查看不在键空间中的数据。

cassandraTableDataframe.except(keyspacesTableDateframe). 

您也可以通过将两个数据集导出到 s3 并在 Athena 中执行这些查询来实现。

Here is a helpful repository of Glue and Keyspaces 功能包括导出、计数和不同。