【发布时间】：2018-09-12 05:20:14
【问题描述】：
我想将每月供稿转换为使用 AWS Glue Crawler 将 csv 转换为管道分隔。是否可以创建一个分类器，可以将 csv 文件转换为管道分隔符（使用 Grok 或其他东西），并且每月计划的爬虫可以创建 Glue 目录
【问题讨论】：
标签： amazon-web-services grok aws-glue
【发布时间】：2018-09-12 05:20:14
【问题描述】：
Glue Crawler 用于使用表填充 AWS Glue 数据目录，因此您无法仅使用此功能将文件从 csv 格式转换为管道分隔符。正确的步骤应该是这样的：
- 在 Glue 数据目录中创建两个表。一种用于 CSV 格式的文件，一种用于管道分隔格式。要对源表进行编目，您可以使用 Glue Crawler。
- 创建粘合作业以在这些表之间传输数据。
本文并未完全提及您的问题，但您可以查看这些提到的步骤的外观：
https://aws.amazon.com/blogs/big-data/build-a-data-lake-foundation-with-aws-glue-and-amazon-s3/
您在 Glue 控制台中也有教程（在左侧菜单的底部）
【讨论】：