如何以流模式将数据从 AWS RDS 加载到 Google BigQuery？答案

【问题标题】：how to load data from AWS RDS to Google BigQuery in streaming mode?如何以流模式将数据从 AWS RDS 加载到 Google BigQuery？
【发布时间】：2020-02-19 17:40:27
【问题描述】：

如何以流模式将数据从 AWS RDS 加载到 Google BigQuery？说明：我在 RDS (SQL Server) 中有数据，想将这些数据实时加载到 Google BigQuery 中。

【问题讨论】：

标签： google-bigquery streaming aws-rds-data-service

【解决方案1】：

没有直接的方法可以将更改从 Amazon RDS 插入到 Google Cloud BigQuery。可以通过这样的管道来完成

Amazon RDS ----Lambda/DMS----> Kinesis Data Streams -----Lambda----> BigQuery

使用 Lambda 或使用 Cloud DMS 将更改从 Amazon RDS 读取到 Kinesis Data Streams。您还可以将其推送到 Kinesis Firehose 以汇总/批处理记录。
使用 Lambda 从 Kinesis 流/Firehose 中读取数据，然后使用 tabledata.insertAll（BQ 流 API）插入 BigQuery。代码类似于this。

【讨论】：

【解决方案2】：

您可以使用 Cloud Storage Transfer Service 来管理和安排将加载作业加载到 BigQuery 中。这是此用例的推荐迁移方法。首先，您需要将数据从 AWS RDS 加载到 CSV 文件，然后将其移动到 S3。 Amazon S3 transfers 是一个两步过程：

Transfer Service 用于将数据从 S3 带入 GCS。
BQ 加载作业用于将数据加载到 BigQuery。

我发现的另一个有趣的solution 是关于使用 AWS Data Pipeline 从 MySQL 导出数据并将其提供给 BigQuery。

此外，您可以使用与 Amazon RDS 和 BigQuery 集成的 ETL 工具之一（请参阅 here）将数据传输到 BigQuery。最好的之一是Fivetran。

希望对你有帮助。

【讨论】：