Airflow bigquery_to_bigquery 运算符，它是否使用流将数据插入目标表？答案

【问题标题】：Airflow bigquery_to_bigquery operator, is it using streaming to insert data to destination table?Airflow bigquery_to_bigquery 运算符，它是否使用流将数据插入目标表？
【发布时间】：2020-11-16 23:19:45
【问题描述】：

https://airflow.apache.org/docs/stable/_modules/airflow/contrib/operators/bigquery_to_bigquery.html

将数据从一个 BigQuery 表复制到另一个。

当数据从源表复制到目标表时，是否使用大查询流向目标表插入数据？

换句话说，如果在这里使用流式传输。如果我只是运行这个 bigquery_to_bigquery write_truncate 任务，而当流缓冲还不是空的并且我过早地再次运行这个任务时，会不会有问题？

就像我们在流式传输中进行写入截断时一样，https://cloud.google.com/bigquery/docs/error-messages#streaming

【问题讨论】：

标签： google-bigquery streaming airflow

【解决方案1】：

在查看documentation for airflow 时，它似乎调用了jobs api with a configuration of copy，这与streaming api 不同。

【讨论】：