在雅典娜中查询视图时出现资源限制问题答案

【问题标题】：getting resource limit issue while querying view in athena在雅典娜中查询视图时出现资源限制问题
【发布时间】：2020-08-13 08:24:26
【问题描述】：

我们在 athena 中有一个按 processing_date 分区的视图（数据类型：字符串 - 格式 20201231）我们正在寻找 2020 年的数据。

为了探索，我们需要所有的列。

查询：

select * from online_events_dw_view
where from_iso8601_date(processing_date) > from_iso8601_date('20191231')

错误：

Query exhausted resources at this scale factor

有没有更好的方法来优化查询

【问题讨论】：

【解决方案1】：

您正在对分区列应用函数，这导致 athena 扫描所有数据的可能性很高，因此您遇到了问题。

为什么不简单：processing_date like '2020%'

如果您只是对该列感兴趣，也可以尝试使用limit 1000 来限制数据量。

【讨论】：

【解决方案2】：

在对包含大量列的结果集进行排序时，最常出现错误“查询以该比例因子耗尽资源”。

由于您没有发布视图 SQL，因此无法确定这是否是您的问题，但它几乎总是宽行和排序，所以我假设您的视图中有一个 ORDER BY。尝试删除它，看看查询是否执行没有错误。

有没有更好的方法来优化查询

您需要发布更多信息，我们才能为您提供帮助。如果没有视图的 SQL，就不可能说什么。同时发布所有相关表的 SQL，并提供一些关于分区、数据量、文件格式等的上下文。

【讨论】：