如何将 BigQuery 数据集从一个区域复制到另一个区域？

Question

我想将数据集 bigquery-public-data.iowa_liquor_sales 从美国复制到欧盟。

但是bq cp 在区域之间不起作用。

Answer 1

您可以使用 BigQuery 数据传输服务。

首先，创建目标数据集：

bq mk --location eu ch10eu

然后，创建一个数据源为cross_region_copy的传输配置：

bq mk --transfer_config --data_source=cross_region_copy \
   --params='{"source_dataset_id": "iowa_liquor_sales", "source_project_id": "bigquery-public-data"}' \
   --target_dataset=ch10eu --display_name=liquor \
   --schedule_end_time="$(date -v +1H -u +%Y-%m-%dT%H:%M:%SZ)"

因为数据传输服务是为例行复制而设计的，这将每 24 小时重复一次。在我的示例中，我将结束时间设置为从现在开始 1 小时，这样传输只会发生一次。