将大文件发送到 BigQuery

Question

我正在尝试在 python 中整理一个大 (8gb) .csv 文件，然后将其流式传输到 BigQuery。我下面的代码开始正常，因为创建了表并进入了前 1000 行，但随后出现错误：

InvalidSchema: Please verify that the structure and data types in the DataFrame match the schema of the destination table.

这可能与流缓冲区有关吗？我的问题是我需要在再次运行代码之前删除表，否则前 1000 个条目将由于“追加”方法而重复。

import pandas as pd

destination_table = 'product_data.FS_orders'
project_id = '##'
pkey ='##'

chunks = []

for chunk in pd.read_csv('Historic_orders.csv',chunksize=1000, encoding='windows-1252', names=['Orderdate','Weborderno','Productcode','Quantitysold','Paymentmethod','ProductGender','DeviceType','Brand','ProductDescription','OrderType','ProductCategory','UnitpriceGBP' 'Webtype1','CostPrice','Webtype2','Webtype3','Variant','Orderlinetax']):
    chunk.replace(r' *!','Null', regex=True)
    chunk.to_gbq(destination_table, project_id, if_exists='append', private_key=pkey)
    chunks.append(chunk)

df = pd.concat(chunks, axis=0)

print(df.head(5))

pd.to_csv('Historic_orders_cleaned.csv')

Answer 1

问题： - 为什么是流媒体而不是简单地加载？这样，您可以批量上传 1 GB 而不是 1000 行。当您确实有需要在发生时附加的连续数据时，通常会出现流式传输。如果您在收集数据和加载作业之间有 1 天的休息时间，那么加载它通常更安全。 see here.

除此之外。我在从 csv 文件加载 bigQuery 表时遇到了一些问题，而且大多数情况下是 1）编码（我看到你有非 utf-8 编码）和 2）无效字符，一些逗号在文件中间断行。

为了验证这一点，如果你向后插入行怎么办？你会遇到同样的错误吗？