【问题标题】:BigQuery: loading excel fileBigQuery:加载 excel 文件
【发布时间】:2017-10-17 18:29:18
【问题描述】:

有什么方法可以将 excel 文件直接加载到 BigQuery 中,而不是转换为 CSV。

我每天都以 excel 格式获取文件,需要加载到 BigQuery 中。现在手动转换为 CSV 并加载到 BigQuery。

计划安排工作。

如果无法将 excel 文件直接加载到 BigQuery 中,那么我需要编写一个进程 (Python) 以在加载到 BigQuery 之前转换为 CSV。

如果有更好的选择,请告诉我。

谢谢,

【问题讨论】:

  • 上周我遇到了类似的问题。我确实使用 powershell 将 excel 文件转换为适用于 BigQuery 的漂亮 .csv,然后我使用 NodeJs 来使用 Google API 方法“table.import”。由于您使用的是 Python,您应该看看:googlecloudplatform.github.io/google-cloud-python/latest/… 搜索“从文件上传表数据:”我个人使用自动 NodeJs 脚本,每月上传 50Mo csv。
  • 你找到答案了吗?

标签: python excel google-bigquery


【解决方案1】:

我认为您只需单击几下即可实现上述目标,而无需任何代码。 您需要使用 Google Drive 和外部(联合)表。

1)您可以手动将您的excel文件上传到Google Drive或synchronise them

2) 在 Google 云端硬盘设置中找到:

"**Convert uploads** [x] Convert uploaded files to Google Docs editor format" 

并检查它。

要访问上述选项,请转到https://drive.google.com/drive/my-drive,单击齿轮设置图标,然后选择设置。

现在您的 Excel 文件将可以通过 Big Query 访问

3) 最后一部分:https://cloud.google.com/bigquery/external-data-drive 你可以通过URI访问你的excel文件:https://cloud.google.com/bigquery/external-data-drive#drive-uri然后create table manually使用上面的uri。

您也可以通过 API 完成最后一步。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-09-19
    • 1970-01-01
    • 2017-11-10
    • 2019-02-17
    • 2020-03-29
    相关资源
    最近更新 更多