AWS DMS - MYSQL 上的 CDC 作为源端点的微秒精度

Question

我正在使用 AWS DMS 从 MYSQL 作为源端点迁移数据，并将 S3 作为目标端点。
我想从源跟踪更新，所以在配置过程中，我启用了 TimestampColumnName 属性（列名：event_timestamp）。
在结果（如下所列）中，我得到了记录/事件的时间戳，但 NOT 是微秒精度。

我希望微秒级精度在此基础上构建序列逻辑。
我已经调查了源端点和目标的属性，但没有得到想要的结果。这是示例输出：

。

如果我缺少任何属性，有人可以看看并提出建议。
输出格式：因为我在 S3 中的文件是镶木地板。

Answer 1

这个问题已经有一年多了，但我遇到了同样/类似的问题，我想我会解释一下我是如何解决它的，以防它可以帮助其他人。

我在 RDS 中有表，并且正在使用 DMS 将它们从 RDS 迁移到 S3。在 DMS 任务设置中，我启用了时间戳列和 parquet 文件格式。我想使用存储在 S3 中的 CDC 文件将其插入到我的数据湖中。因此，为了做到这一点，我需要通过获取对 RDS 表中特定记录的最新操作来对行进行重复数据删除。但就像您面临的问题一样，我注意到时间戳列的精度不高，因此选择具有最大时间戳的行不起作用，因为它会返回多行。所以我添加了一个新的 row_number 列，按时间戳列排序，按 id 分组，并选择了 MAX(row_number)。这为我提供了应用于我的表的 CDC 行的最新操作。

table.withColumn("row_number", row_number().over(Window.partitionBy("table_id").orderBy("dms_timestamp")))

以上是 pyspark 代码，因为那是我用来处理镶木地板文件的框架，但您可以在 SQL 中执行相同的操作。我注意到，当记录按时间戳列排序时，即使时间戳相同，它们也会保持原来的顺序。

希望这可能对您要实现的顺序逻辑有所帮助。

Answer 2

不幸的是，AWS DMS S3 TimestampColumnName为从 MySQL 源加载更改数据捕获 (CDC) 添加的 DATETIME 列只有秒精度.

因为MySQL 二进制日志中的事务时间戳只有几秒。

---

最简单的解决方案是在 MySQL 表中添加新列 - timestamp with microsecond precision，并在插入或 / 时设置默认值并更新 automatically 并将此列用作 event_timestamp。

ts TIMESTAMP(6) DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP

另外，检查 AWS DMS 中到 S3 的 setting ParquetTimestampInMillisecond 是否为 False（或不存在/未设置，默认为 false）。

---

AWS DMS S3 TimestampColumnName 设置将带有时间戳的列添加到输出中。

在“静态”读取中 - 它将生成当前时间戳：

对于完全加载，此时间戳列的每一行都包含一个时间戳，用于指示 DMS 将数据从源传输到目标的时间。

对于 CDC，它将从数据库事务日志中读取事务时间：

对于变更数据捕获 (CDC) 负载，时间戳列的每一行都包含在源数据库中提交该行的时间戳。

其精度将是数据库事务日志中的时间戳之一：

...精度的四舍五入取决于 DMS 对源数据库支持的提交时间戳。

CDC 模式本质上是replication。应适当配置源数据库以写入此类事务日志。数据库写入此日志事务信息以及事务/提交时间戳。

对于 MySQL，这是the binary log。而 MySQL binlog timestamp 只有 32 位 - 只需几秒钟。

---

此外，此事务时间戳可能并不总是与事务的实际顺序一致，或者顺序更改实际上是在 (link 1, link 2) 提交的。