【发布时间】：2019-03-07 12:21:45
【问题描述】：
为了加快对大型表的 ETL 查询，我们在晚上对这些表和日期列运行了许多 analyze 查询。
但是这些列上的analyze 查询会占用大量内存和时间。
我们正在使用 tez。
有什么办法可以优化analyze查询也喜欢一些设置命令。
【问题讨论】：
标签： performance hadoop hive query-tuning apache-tez
【发布时间】：2019-03-07 12:21:45
【问题描述】：
如果您使用插入覆盖加载表，则可以在插入覆盖查询期间通过设置hive.stats.autogather=true 自动收集统计信息。
如果表是分区的并且分区是增量加载的，那么您只能分析最后一个分区。
ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)]
在此处查看示例：https://cwiki.apache.org/confluence/display/Hive/StatsDev
对于 ORC 文件，可以指定 hive.stats.gather.num.threads 以提高并行度。
在此处查看统计设置的完整列表：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-Statistics
【讨论】：