Athena 地理空间 SQL 连接永远不会完成答案

【问题标题】：Athena geospatial SQL joins never completeAthena 地理空间 SQL 连接永远不会完成
【发布时间】：2019-11-23 01:22:01
【问题描述】：

一个非常基本的地理空间连接，基于this example，每次都会超时。

表 polygons 包含 340K 多边形，而 points 包含 5K 行以及纬度/经度对（和 ID）。两者都是 S3 中的单个 .csv 文件。

查询：

SELECT poly.geometry, p.id
FROM polygons as poly
CROSS JOIN points as p
WHERE ST_CONTAINS (ST_POLYGON(poly.geometry), ST_POINT(p.lon, p.lat));

上面的 SQL 查询永远不会在默认的 30 分钟 Athena 查询时间限制内完成。

我发现对大型数据集的普通 Athena 查询性能相当不错，但我不确定地理空间功能是否可以处理 (百万 x 百万) 连接，更不用说 (十亿 x 百万) 连接了。

我想在回到 EMR+Spark 解决方案之前先问一下。

【问题讨论】：

【解决方案1】：

Athena 服务基于Presto 0.172。该版本没有地理空间连接，因此您的查询是否为单节点交叉连接 + 过滤器。

较新的 Presto 版本进行了优化，因此它们可以以分布式方式执行此类查询。

除了返回 EMR 之外，您还可以尝试使用 Starburst Presto for AWS，它可以让您轻松启动为 AWS 预打包的最佳 Presto 版本。（注：我为 Starburst 工作）

【讨论】：