Athena 向 AWS S3 写入性能

Question

我正在 AWS Athena 中执行查询并将结果写入 s3。当我从 lambda 脚本执行查询时，似乎需要很长时间（实际上太长）才能使用文件。

我正在扫描 70MB 的数据，返回的文件是 12MB。我像这样从 lambda 脚本执行此操作：

athena_client = boto3.client('athena')
athena_client.start_query_execution(
    QueryString=query_string,
    ResultConfiguration={
        'OutputLocation': 'location_on_s3',
        'EncryptionConfiguration': 'SSE_S3',
    }
)

如果我直接在 Athena 中运行查询，则需要 2.97 秒才能运行。但是，如果我从 lambda 脚本运行此查询，则该文件似乎在 2 分钟后可用。

有人知道 AWS Athena 到 AWS S3 的写入性能吗？我想知道这是否正常。文档没有说明写入发生的速度。

Answer 1

Athena 中的每个查询都会写入 S3。

如果您在控制台中查看 Athena 页面上的 History 选项卡，您将看到您已运行的所有查询的历史记录（不仅通过控制台，而且通常是通过控制台）。每一个都有一个下载路径的链接。

如果您单击Settings 按钮，将打开一个对话框，要求您指定输出位置。检查该位置，您会在那里找到所有查询结果。

为什么您的 Lambda 脚本需要这么长的时间？我猜，但我唯一可能的建议是您正在跨区域查询 - 如果您的数据在您所在的区域并且您的结果位置在另一个位置，您可能会因为传输成本而遇到缓慢。即便如此，12MB 应该很快。