我可以使用 Athena 而不使用 Amazon EMR 将 Amazon S3 上的 CSV 文件转换为 Parquet 格式吗答案

【问题标题】：Can I convert CSV files sitting on Amazon S3 to Parquet format using Athena and without using Amazon EMR我可以使用 Athena 而不使用 Amazon EMR 将 Amazon S3 上的 CSV 文件转换为 Parquet 格式吗
【发布时间】：2018-07-19 13:55:25
【问题描述】：

我想使用 Amazon Athena 将现在位于 Amazon S3 上的 csv 数据文件转换为 Parquet 格式，然后将它们推送回 Amazon S3，而不需要 Amazon EMR 的任何帮助。这有可能做到吗？有没有人经历过类似的事情？

【问题讨论】：

标签： amazon-web-services amazon-s3 amazon-redshift amazon-emr amazon-redshift-spectrum

【解决方案1】：

Amazon Athena 可以查询数据，但无法转换数据格式。

您可以使用 Amazon EMR 转至Convert to Columnar Formats。步骤是：

创建一个外部表指向源数据
使用STORED AS PARQUET 创建一个目标外部表
INSERT OVERWRITE <destination_table> SELECT * FROM <source_table>

【讨论】：

嗨，John - 我正在尝试使用 Amazon EMR（Hive 步骤选项）执行此操作，但问题是我的集群始终处于启动状态。
EMR控制台从节点的状态如何？检查您的EC2 Service Limits 是否允许您启动所需的实例类型。
问题出在我的 VPC 和 DHCP 选项集上。他们都没有正确地相互映射。仍在与我的管理员合作解决此问题，然后需要再次尝试创建集群。
我只是想确认是否可以使用此解决方案创建单个分区文件。基本上我有过去 3 年大约 3 TB 的数据，所有这些数据都以每小时级别存储在 S3 中，最高文件大小为 10GB（单次迭代）。所以我想为彼此而不是零件生成一个镶木地板文件。
@ShivkumarMallesappa 请创建一个新问题，而不是通过对旧问题的评论来提问。