数据流如何无法读取谷歌云数据流中的更新二进制日志

【问题标题】：How datastream cannot read UPDATE binary log in Google cloud Datastream数据流如何无法读取谷歌云数据流中的更新二进制日志
【发布时间】：2022-07-16 21:19:20
【问题描述】：

您好，我有一些问题要问。我使用 Datastream 来进行 bigquery，如下面的指南 https://cloud.google.com/datastream/docs/implementing-datastream-dataflow-analytics。

但是当我启动流时，我只看到 change_type 为 INSERT 的数据。没有出现 UPDATE-INSERT 事件。即使我更新了 1 条记录，它们也不会出现。我使用 MySQL 作为源数据库，使用 Bigquery 作为目标资源

我想知道Datastream是否存在无法读取UPDATE类型的二进制日志的情况？感谢您的帮助。

【问题讨论】：

【解决方案1】：

您没有指定您的 MySQL 实例是 Amazon RDS for MySQL、Amazon Aurora MySQL、Cloud SQL for MySQL 还是其他情况下的本地 MySQL。

在第一种情况下，如果您使用 AWS RDS for MySQL，如果您未指定保留时间段，则可能会删除 binlog。

在某些情况下要将 binlog 保存三天，您可以使用：

mysql.rds_set_configuration('binlog retention hours', 72);

在所有情况下，确保 MySQL 数据库的二进制日志格式设置为 ROW：

--binlog-format=ROW

【讨论】：