为什么我们的 presto 查询运行时间会出现峰值？

Question

我们正在尝试调试为什么我们的 presto 查询运行时间在一天中会有很大差异。我们看到了几个显着的峰值，一些在工作时间，一些在工作时间之外。我们使用的是 EMR 版本 5.14 和 Presto 版本 0.194。我们的数据使用 Hive 创建的 parquet 文件存储在 S3 中。下图显示了使用 Presto CLI 的同一查询随时间推移的运行时间。任何关于我们应该关注什么或可能导致这些峰值的想法/建议都将不胜感激。谢谢！

Answer 1

发布此内容以防其他人遇到此问题。我们最终在 hive.properties 中禁用了 hive 统计信息，从而提高了性能。