将数据集从 GoogleCloudPlatform 导出到 AWS S3

【问题标题】：Export Dataset from GoogleCloudPlatform to AWS S3将数据集从 GoogleCloudPlatform 导出到 AWS S3
【发布时间】：2019-07-22 06:01:19
【问题描述】：

Google Cloud Platform 上提供了一个公共数据集“Chicago Taxi”，我需要将其导出到 Amazon S 3。如何导出它？

【问题讨论】：

  • 我没有这样做，但我认为这些步骤是必需的。将数据集加载到您的 BigQuery 项目中。导出到云存储。然后从 Cloud Storage 复制到 S3。

标签： amazon-s3 google-cloud-platform export-to-csv data-analysis


【解决方案1】：

Amiteshwar，如果这是一次性任务，以下步骤将对您有所帮助。否则，需要设计工作流程并创建 AWS Lambda 以在固定间隔内重复该程序。 AWS Lambda 可以用 Java、NodeJS 等编写。

  1. 在您的本地计算机上安装 AWS CLI
  2. 在 AWS 中创建一个可以访问您要上传文件的 S3 存储桶的用户。
  3. 使用 wget linux 命令从 Google Cloud 下载对象。

  4. 使用 Rest Api 将文件上传到 S3

    PUT/HTTP/1.1

    主机：colorpictures.s3.amazonaws.com

    内容长度：0

    日期：格林威治标准时间 2006 年 3 月 1 日，星期三 12:00:00

    授权：授权字符串

https://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectPUT.html

【讨论】：

    猜你喜欢
    • 2019-04-01
    • 1970-01-01
    • 1970-01-01
    • 2017-07-07
    • 1970-01-01
    • 1970-01-01
    • 2021-04-19
    • 2017-01-12
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode