【问题标题】:AWS Glue job to unzip a file from S3 and write it back to S3用于从 S3 解压缩文件并将其写回 S3 的 AWS Glue 作业
【发布时间】:2021-05-21 14:56:16
【问题描述】:
我是 AWS Glue 的新手,我想使用 AWS Glue 解压缩 S3 存储桶中存在的一个大文件,并将内容写回 S3。
我尝试用谷歌搜索此要求时找不到任何东西。
我的问题是:
- 如何将 zip 文件作为数据源添加到 AWS Glue?
- 如何将其写回相同的 S3 位置?
我正在使用 AWS Glue Studio。任何帮助将不胜感激。
【问题讨论】:
标签:
amazon-web-services
amazon-s3
aws-glue
【解决方案1】:
我尝试用谷歌搜索此要求时找不到任何东西。
您找不到任何关于此的信息,因为这不是 Glue 的作用。 Glue 可以原生读取gzip(不是zip)文件。如果您有zip,那么您必须自己在 S3 中转换所有文件。胶水不行。
要转换文件,您可以以gzip 格式或 Glue 支持的任何其他格式下载、重新打包和重新上传。