【发布时间】:2020-10-22 10:48:37
【问题描述】:
我有一个简单的查询:
Select *
from A
left join b on A.b = b.b
left join c on A.c = c.c
left join d on A.d = d.d
left join e on A.e = e.e
...
~20 tables
所有表 b、c、d、e 等都很小,因此所有连接都是广播连接
问题是表 A 很大(如 300m 条记录)并且分区不正确。 它有大约 80 个分区,其中 15 个包含 90% 的数据。
因此,当广播连接发生时,只有 15 个核心全部连接数学,并且需要 2 小时才能完成。
我的解决方案是通过添加“order by”来强制改组 A
Select *
from
(select * from A order by A.a) A
left join b on A.b = b.b
left join c on A.c = c.c
left join d on A.d = d.d
left join e on A.e = e.e
...
这里的 A.a 是唯一的字段组合。
现在 A 被洗牌到 200 个(默认情况下)半相等的分区,并且以最佳方式使用资源,需要 35 分钟才能完成。
有没有更优雅的方式来强制洗牌表 A,比如一些提示魔法?
【问题讨论】:
标签: optimization hive hiveql hadoop-partitioning hint