数据融合复制管道未在 Google Bigquery 中同步数据答案

【问题标题】：Data Fusion replication pipeline is not syncing data in Google Bigquery数据融合复制管道未在 Google Bigquery 中同步数据
【发布时间】：2021-07-16 13:48:38
【问题描述】：

您好，我们想将数据从 Mysql(source) 复制到 GoogleBigquery(destination) 我们采用了 google Docs 描述的方法，其中包含 Link 中提到的 Data fusion replication pipeline https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery

我们正在做的事情的信念：在 MY SQL 中为 CDC 启用 bin 日志（更改数据捕获）在数据融合中创建复制管道启动管道并同步数据

我们成功地在计算引擎中创建了 MySql 数据并为 CDC 启用了 bin-log，并为我的 SQL 中的数据复制管道向用户提供了所有必要的权限
我们已成功创建数据融合实例并能够创建复制管道
复制管道能够获取我们的 SQL 数据库详细信息，并且还设置了目标大查询
在启动管道时，它会成功跟踪更改（插入、更新和删除），并且在 Bigquery 中也成功地自动创建了表架构。
但我们遇到的问题是没有数据传输到 Bigquery 表。在日志中，我看到的是将 1 个事件的批次加载到 statging Bucket

也分享截图

能够从 MYSQL 获取所有更改，但数据未传输到 bigquery 表架构已创建，但未传输数据 将 1 个事件的批次加载到 statging Bucket 我们正在使用开发者模式并等待超过 90 分钟

【问题讨论】：

Shubham：只是为了验证您是否碰巧遵循了本文档中提到的步骤 - cloud.google.com/data-fusion/docs/tutorials/replicating-data/…。特别是围绕驱动安装
您还可以从系统管理页面共享 Delta Assessor 服务的日志吗？数据融合首页 -> 系统管理员 -> 查看日志（服务表中的增量访问器）。
您能否还提供似乎没有发生数据写入的复制管道的日志。日志按钮出现在您发布的屏幕截图中

标签： google-cloud-platform google-bigquery google-compute-engine google-cloud-data-fusion

【解决方案1】：

出现此问题的原因可能是架构/数据类型与 BigQuery 表和列上的源 MYSQL 数据库表不匹配。

例如：如果你在源表中有一个列，在BigQuery中该列是INT64数据类型，长度为19，而在源数据库表中，它是Integer类型，长度为10，所以你需要根据你的数据大小更新列的长度。

【讨论】：