通过上传 csv 在大查询中创建表答案

【问题标题】：Creating table in big query by uploading csv通过上传 csv 在大查询中创建表
【发布时间】：2021-01-31 14:26:22
【问题描述】：

我是大查询的新手。我正在尝试通过上传 csv 创建一个表格。其大小为 290 kb。即使我填写了所有必需的信息，create table 旁边的点也会不断移动（如 loading ），但即使等待了很长时间，表格也没有被创建。

【问题讨论】：

能否发一下截图

标签： google-bigquery

【解决方案1】：

您可以将 CSV 上传到存储桶中，然后从 BigQuery 创建面板中引用它。这是来自谷歌的官方指南，带有截图。应该比较简单。 (https://cloud.google.com/bigquery/docs/schema-detect)

在下图的第 4 步中，选择文件的路径和 CSV 格式。

在第 5 步中，您可以保留所有内容，也可以选择“外部表格”（我建议这样做），以便在出现错误时删除表格并且不会丢失 CSV。

BigQuery 应自动处理其余部分。如有错误，请分享更详细的信息。

【讨论】：

【解决方案2】：

您可以通过以下几种方式将 CSV 文件上传到 Bigquery：-

编写 Apache Beam 代码 (Python/Java) 并将数据加载到 Bigquery。 reading 和 writing 的示例代码可以组合使用。
编写一个 python 脚本，负责将数据加载到 Bigquery。

import pandas as pd
from pandas.io import gbq
import os
import numpy as np
dept_dt=pd.read_csv('dept_data')
#print(dept_dt)

# Replace with Project Id
project = 'xxxxx-aaaaa-de'

#Replace with service account path
path_service_account = 'xxxxx-aaaa-jhhhhh9874.json'

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = path_service_account


dept_dt.to_gbq(destination_table='test1.Emp_data1',project_id='xxxxxx-ccvd-err',if_exists='fail')

【讨论】：