如何使用 Python 将 Cloud Storage 数据加载到 Bigquery 中？

【问题标题】：How can I load Cloud Storage data into Bigquery using Python?如何使用 Python 将 Cloud Storage 数据加载到 Bigquery 中？
【发布时间】：2021-12-28 13:04:25
【问题描述】：

我有一些数据集（27 个 CSV 文件，用分号分隔，总计 150+GB）每周都会上传到我的 Cloud Storage 存储桶。

目前，我使用 BigQuery 控制台手动组织数据，声明变量并更改文件名 27 次。第一个文件替换整个先前的数据库，然后将其他 26 个附加到它。文件名始终相同。

我怎样才能使用 Python 做到这一点？

【问题讨论】：

  • 您是否考虑过 Workflow 来实现这一目标？
  • 没有。我什至不知道它的存在！ （我感到羞耻）

标签： python google-bigquery google-cloud-storage


【解决方案1】：

请查看 Cloud Functions 功能。它允许使用python。功能部署完成后，即可创建 Cron Jobs。这是相关的问题： Run a python script on schedule on Google App Engine

还有一篇文章描述了如何从云存储Loading CSV data from Cloud Storage加载数据

【讨论】：

    猜你喜欢
    • 2014-08-07
    • 1970-01-01
    • 2021-10-10
    • 2013-05-24
    • 1970-01-01
    • 2019-09-03
    • 2019-05-01
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode