【问题标题】:copying a query result into partition table (with python sdk)将查询结果复制到分区表中(使用 python sdk)
【发布时间】:2019-04-03 20:40:34
【问题描述】:

我正在使用气流将一些 ETL 从一个分区表运行到另一个分区表,因此底层客户端是 python。

对于分区表案例中的 write_despositions 标志,我不太了解作业 api https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs

作业会每天从表 1 中选择一个每日范围的数据并复制到分区表 table2 中,我应该选择哪个 write_desposition? WRITE_TRUNCATE 合适吗?如果选择,该作业不会截断表,即删除前几天的数据,而只是创建新分区并将数据复制到其中,对吗?

谢谢

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    如果您将插入特定分区(如TABLE_NAME$YYYYMMDD) - WRITE_TRUNCATE 将用新数据替换[仅]该分区的现有数据。如果您在未指定分区的情况下插入表 - 整个表将首先被截断

    【讨论】:

      猜你喜欢
      • 2018-04-15
      • 1970-01-01
      • 2012-09-04
      • 1970-01-01
      • 2021-09-02
      • 1970-01-01
      • 1970-01-01
      • 2018-11-03
      • 1970-01-01
      相关资源
      最近更新 更多