aws 胶水 cloudformation 镶木地板工作答案

【问题标题】：aws glue cloudformation parquet jobaws 胶水 cloudformation 镶木地板工作
【发布时间】：2020-08-07 00:46:36
【问题描述】：

谁有一个示例 yaml Cloudformation 模板，用于进行 JSON 到 Parquet 格式转换的粘合作业？ Cloudformation 中围绕 Glue Jobs 的文档有点薄弱，有一个起点会有很大帮助。我已经编写了部分模板，但发现正确建立某些字段有点令人困惑。

具体来说，我很难找出如何为作业的执行指定一个临时目录以及在 S3 中指定源和目标位置。

提前感谢您的帮助！

【问题讨论】：

您要的是胶水作业代码还是 cloudformation 代码，您的问题并不清楚，它们是两个不同的东西。 gluejob cloudformation设置资源，gluejob代码是做什么转换的
我在 cloudformation 场景中的技巧是，如果您找不到示例模板，请描述您通过控制台创建的现有对象。在这种情况下工作：aws glue get-job --job-name some-glue-job

【解决方案1】：

对于 CloudFormation 的 Yaml 部分和 s3 中的临时目录，您可以使用它

Type: AWS::Glue::Job
Properties:
  DefaultArguments:
    '--TempDir': 's3://bucket-name/directory'

“在 S3 中指定源和目标位置”的一部分我不明白这个场景......你能给我更多信息吗？

【讨论】：