如何克隆 bigquery 数据集

【问题标题】：how to clone bigquery datasets如何克隆 bigquery 数据集
【发布时间】：2021-04-18 15:31:04
【问题描述】：

我们正在为我们的新云仓库评估 bigquery 和 snowflake。 bigquery 是否具有内置的克隆功能？这将使我们的开发人员能够快速创建多个开发环境，并且我们还可以恢复到时间点。Snowflake 具有零副本克隆，以最大限度地减少存储空间。为了在 bigquery 中管理 DEV/QA 环境，我们是否需要从 prod 手动复制数据集？请分享一些见解。

【问题讨论】：

检查 - Copying datasets

标签： google-bigquery

【解决方案1】：

您可以使用预 GA 功能 Big query data transfer service 创建数据集的副本，还可以安排和配置作业以定期运行，以便目标数据集与源数据集同步。可以通过FOR SYSTEM_TIME AS OF in FROM clause恢复到某个时间点

我认为 Big query 上没有确切的 snowflake clone 等价物。这意味着什么？

您 will be charged 用于额外存储和跨区域的数据传输（定价相当于区域之间的 Compute Engine 网络出口）
克隆是 not instantaneous，对于大型表 (> 1 TB)，您可能仍需要等待一段时间才能看到创建新副本

【讨论】：