我在 S3 存储桶中有一个压缩的 gzip 文件。这些文件将由客户端每天上传到 S3 存储桶。解压缩后的 gzip 将包含 10 个 CSV 格式的文件，但仅具有相同的架构。我需要解压缩 gzip 文件，并使用 Glue->Data crawler，需要在使用 dev 运行 ETL 脚本之前创建一个模式。端点。
胶水能够解压缩 zip 文件并创建数据目录。或者我们可以直接在 python ETL 脚本中使用的任何可用的胶水库？还是我应该选择 Lambda/任何其他实用程序，以便在上传 zip 文件后立即运行一个实用程序来解压缩并作为 Glue 的输入提供？
感谢任何回复。
【问题讨论】：
标签： amazon-web-services aws-glue
胶水可以解压。但这不会是最佳的。由于 gzip 格式不可拆分（这意味着只有一个执行者可以使用它）。更多关于here的信息。
您可以尝试通过 lambda 解压并为新文件夹调用胶水爬虫。
【讨论】：
使用gluecontext.create_dynamic_frame.from_options 并在连接选项中提及压缩类型。同样，输出也可以在写入 s3 时进行压缩。下面的 sn-p 适用于bzip，请将格式更改为gz|gzip 并尝试。
我在胶水控制台的 UI 中尝试了Target Location，发现在将 dynamic_frames 写入 s3 时支持 bzip 和 gzip，并对生成的代码进行了更改以从 s3 读取压缩文件。在文档中它不是直接可用的。
不确定效率。 execution time 花了大约 180 秒的时间来读取、映射转换、更改为数据帧并返回动态帧以获取 bzip 格式的 400mb 压缩 csv 文件。请注意execution time 与控制台中显示的start_time and end_time 不同。
datasource0 = glueContext.create_dynamic_frame
.from_options('s3',
{
'paths': ['s3://bucketname/folder/filename_20180218_004625.bz2'],
'compression':'bzip'
},
'csv',
{
'separator': ';'
}
)
【讨论】：