使用 amazon athena 从 s3 存储桶中读取单个 csv 文件并进行查询

Question

基本上，我想要使用 Amazon Athena 与 s3 存储桶中的 csv 文件建立 SQL 连接。除了第一行将给出标题名称之外，我也不知道任何信息。有谁知道这个问题的解决方案吗？

Answer 1

您至少有两种方法可以做到这一点。一种是检查文件的几行以检测数据类型，然后创建CREATE TABLE SQL 语句，如Athena docs 所示。

如果您知道您只获取字符串和数字（​​例如），并且如果您知道所有列都有值，那么以这种方式构建它可能相对容易。但是，如果类型可以更灵活或者列可以为空，那么从头开始构建一个健壮的解决方案可能会很棘手。

因此，第二种选择是使用 AWS Glue 目录到 define a crawler，它完全按照我上面告诉您的方式执行，但自动执行。它还会在 Athena 中创建您需要的元数据，因此您无需编写 CREATE TABLE 语句。

作为奖励，您不仅可以使用来自 Athena 的自动编目数据，还可以使用来自 Redshift 和 EMR 的数据。如果您不断将新文件添加到同一个存储桶（每天、每小时、每周...），您可以让抓取再次通过并重新发现数据，以防架构发生变化。