在 Windows 上使用 bq load 和 python 子进程分隔的加载管道答案

【问题标题】：Load pipe delimited using bq load and python subprocess on Windows在 Windows 上使用 bq load 和 python 子进程分隔的加载管道
【发布时间】：2021-06-21 15:28:53
【问题描述】：

我正在尝试使用 BQ LOAD 命令将表从 Google Cloud Storage 加载到 Bigquery。为此，我使用了一个使用 subprocess 库的 python 脚本。它工作正常，除了一个以竖线 (|) 作为分隔符的表。

我尝试了很多方法来解决这个问题，但没有任何好的结果。

如果我在 CMD (Windows) 中尝试这个，它可以工作：

bq load --source_format=CSV --field_delimiter="|" Dataset.TableName gs://sourcefile.CSV C:\schemafile.json

但如果我尝试在 python 中传递相同的参数，我会收到以下错误：

BigQuery error in load operation: Field delimiter must be a single character,
found:""|"".

这是我正在使用的代码（在 Windows 中）：

params.append(str("bq"))
params.append(str("load"))
params.append(str("--source_format=CSV"))
params.append(str("--field_delimiter="+field_delimiter))
params.append(str(dest_dataset_table))
params.append(str(source_path))
params.append(str(schema_path))
process = subprocess.run(params, shell=True, capture_output=True)

如何转义或加载它？谢谢！

【问题讨论】：

标签： python-3.x windows subprocess gsutil bq

【解决方案1】：

你有两个选择：

传递您的 python 脚本 --field-delimiter 值，不带引号。

bq load --source_format=CSV --field_delimiter=| Dataset.TableName gs://sourcefile.CSV C:\schemafile.json

在提交作业之前从字段分隔符中去除多余的引号：

params.append(str("--field_delimiter="+field_delimiter.strip('"')))

【讨论】：