将数据从 Redshift 迁移到 BigQuery

Question

我想将分布在大约 100 个表中的 1 TB 数据从 Redshift 迁移到 BigQuery。

是否有任何用于此数据迁移的工具？如果 'pgloader'（用于从 MySQL 迁移到 PostgreSQL）之类的东西可用，它会节省很多时间吗？

Answer 1

2019 年更新 - 现在 officially supported:

• https://cloud.google.com/bigquery/docs/redshift-migration

---

我在 GitHub 上知道有 2 个开源替代方案：

• https://github.com/iconara/bigshift
• https://github.com/uswitch/bqshift

两者似乎都维护得很好，而 bigshift 已经存在了很长时间并且显示了更完整的文档（目前）。

引用 bigshift 文档说明为什么该工具在执行此迁移时非常有用：

Redshift 的 UNLOAD 生成的 CSV 无法加载到 BigQuery 否 无论您在两端指定什么选项。 Redshift可以引用所有 字段或无，但 BigQuery 不允许使用非字符串字段 引。布尔值和时间戳的格式不兼容，并且 他们希望引用字段中的引号以不同方式转义，以命名 一些事情。

这意味着 BigShift 所做的很多工作是确保数据 从 Redshift 转储的内容与 BigQuery 兼容。去做这个 它读取表模式并转换不同的数据类型，同时 数据被转储。引号被转义，时间戳被格式化，等等 开。