【问题标题】:Hive SQL force shuffleHive SQL 强制洗牌
【发布时间】:2020-10-22 10:48:37
【问题描述】:

我有一个简单的查询:

Select * 
from A
left join b on A.b = b.b
left join c on A.c = c.c
left join d on A.d = d.d
left join e on A.e = e.e
...
~20 tables

所有表 b、c、d、e 等都很小,因此所有连接都是广播连接

问题是表 A 很大(如 300m 条记录)并且分区不正确。 它有大约 80 个分区,其中 15 个包含 90% 的数据。

因此,当广播连接发生时,只有 15 个核心全部连接数学,并且需要 2 小时才能完成。

我的解决方案是通过添加“order by”来强制改组 A

Select * 
from 
    (select * from A order by A.a) A
left join b on A.b = b.b
left join c on A.c = c.c
left join d on A.d = d.d
left join e on A.e = e.e
...

这里的 A.a 是唯一的字段组合。

现在 A 被洗牌到 200 个(默认情况下)半相等的分区,并且以最佳方式使用资源,需要 35 分钟才能完成。

有没有更优雅的方式来强制洗牌表 A,比如一些提示魔法?

【问题讨论】:

    标签: optimization hive hiveql hadoop-partitioning hint


    【解决方案1】:

    您可以在子查询中尝试distribute by <some evenly distributed key>,而不是order by。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-06-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-11-26
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多