【问题标题】:Transfer files within S3 buckets using AWS Glue使用 AWS Glue 在 S3 存储桶中传输文件
【发布时间】:2018-10-25 05:01:36
【问题描述】:

有没有办法通过 Python 脚本使用 AWS Glue 将文件从一个 S3 存储桶传输到另一个 S3 存储桶?

【问题讨论】:

    标签: python-3.x amazon-s3 aws-glue


    【解决方案1】:
    1. 为您的存储桶创建一个 Crawler - 它会发现您的数据架构并将其作为表添加到 Glue 目录中
    2. 使用 Job wizard 并选择您的表作为源,并选择 new table 作为目标
    3. Glue 将为您生成代码,您必须在其中选择数据的目的地、指定格式等。

    【讨论】:

    • 这不适用于 Glue 无法识别的任何数据类型。
    • 为什么不用s3服务来做呢?
    • ?你是什​​么意思...听起来你没有回答我的评论
    • 我以为你想在 S3 中移动数据,但胶水不知道你的数据类型。您可以使用 S3 移动/复制字节。顺便说一句 - 你的数据格式是什么?你到底想做什么?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2022-01-07
    • 1970-01-01
    • 2017-09-17
    • 2018-04-25
    • 2020-12-28
    • 1970-01-01
    • 2015-07-23
    相关资源
    最近更新 更多