使用 GCP 数据融合将数据从 MySQL 复制到 BigQuery - 出现“日期”数据类型的问题

Question

我想将 GCP Compute Engine 中保存的 Mysql 表复制到 GC BigQuery。 我参考了这份文件：https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery。 所以我决定使用 GCP 数据融合来完成这项工作。

一切正常，数据在 Bigquery 中复制。 所以我正在测试这个 Replication 的不同数据类型支持。

我在此复制管道中遇到的问题， 因此，每当我尝试为数据融合复制添加“DATE”数据类型列时，BigQuery 中都不会显示整个表（包含“DATE”列）

它使用与源相同的架构创建表，并且 BigQuery 中也存在“日期”数据类型，并且我使用了 BigQuery 支持的相同日期格式。

我还查看了数据融合日志，它显示管道正在将数据完美地加载到 BigQuery 中，还通过 inserts 和 更新捕获了从源 Mysql DB 添加到 Mysql Table 中的新行 也是如此。 但不知何故，行没有进入 Bigquery。

是否有人使用带有“日期”列数据类型的数据融合复制？ 这是 BigQuery 或 Data Fusion 的问题吗？ 我需要在 BigQuery 中提供任何手动设置吗？ 任何人都可以为此提供意见吗？

Answer 1

我会将此问题标记为已解决。 由于问题出在数据融合上，最新版本 6.4.1 现在在 BigQuery 中复制时支持 Datatime 数据类型。 我现在正在接收正确的日期和日期时间数据。

感谢大家的帮助:)

Answer 2

我使用了以下包含日期字段的架构。

create table tutorials_tbl(tutorial_id INT NOT NULL AUTO_INCREMENT, tutorial_title VARCHAR(100) NOT NULL, tutorial_author VARCHAR(40) NOT NULL, submission_date DATE, PRIMARY KEY ( tutorial_id ));

当我运行复制管道时，我看到 BQ 表是使用以下架构创建的：

我还看到了表格中的事件：

您能分享输入表架构吗？您还可以检查 BQ 表下的 Job History 和 Query History 选项卡，以查看是否有任何错误。