【发布时间】：2016-06-06 05:52:46
【问题描述】：
我在编写查询时知道一些优化技术，例如分区和分桶。在 TEZ 模式下运行配置单元。但是，除此之外，hive 中还有其他优化技术。
【问题讨论】：
标签： hadoop hive hiveql bigdata
【发布时间】：2016-06-06 05:52:46
【问题描述】：
您可以设置至少以下参数进行性能优化：-
set set hive.exec.reducers.max=no_of_reducers; -- 并行处理的减速器数量。
set hive.exec.reducers.bytes.per.reducer=value_in_bytes; -- 将处理负载平均分配给每个 reducer。
set hive.auto.convert.join=true; -- 在运行时自动将连接转换为映射连接如果可能，
set hive.enforce.bucketing = true; -- 如果表被分桶需要写这个参数，不。桶数将等于否。的减速器。
【讨论】：
有很多技巧：
- 使用 Tez
- 使用 ORCFile
- 使用矢量化
- 基于成本的查询优化
- 编写正确高效的 SQL
请参阅以下 hortonworks 帖子了解更多详情：
http://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/
【讨论】：