如何将 pyarrow.Table 格式的数据批量加载到 BigQuery 中？答案

【问题标题】：How to bulk load data in pyarrow.Table format into BigQuery?如何将 pyarrow.Table 格式的数据批量加载到 BigQuery 中？
【发布时间】：2022-11-06 02:47:04
【问题描述】：

根据 BigQuery（版本 3.3.2）的 python API 文档，insert_rows_from_dataframe (dataframe: pandas.DataFrame) 有一个方法，但 PyArrow 没有类似的方法。

insert_rows_from_dataframe(
    table: Union[
        google.cloud.bigquery.table.Table,
        google.cloud.bigquery.table.TableReference,
        str,
    ],
    dataframe,
    selected_fields: Optional[
        Sequence[google.cloud.bigquery.schema.SchemaField]
    ] = None,
    chunk_size: int = 500,
    **kwargs: Dict
)

那么将pyarrow.Table格式的数据加载到BigQuery表中的等效方法是什么。

【问题讨论】：

标签： google-bigquery pyarrow

【解决方案1】：

这种方法最终会写入一个文件（我相信默认情况下是 parquet）并执行一个加载作业。您可以直接使用箭头表执行此操作。为 BQ 库提交功能请求以直接支持此用例可能是值得的。

【讨论】：