Hive 排序合并桶连接

Question

Sort merge Bucket Join 与 Sort Merge Bucket Map join 不同吗？如果是这样，应该添加什么提示来启用 SMB 加入？ SMBM join 比 SMB join 有什么优势？

“set hive.auto.convert.sortmerge.join=true”这个提示是否足以用于 SMB 加入？否则也应包括以下提示。

设置 hive.optimize.bucketmapjoin = true 设置 hive.optimize.bucketmapjoin.sortedmerge = true

我问的原因是，提示说Bucket map join，但这里没有执行MAP join。我假设 SMB 中涉及 map 和 reduce 任务，而 SMBM 中只涉及 map 任务。

如果我错了，请纠正我。

Answer 1

如果您的表很大（由“set hive.mapjoin.smalltable.filesize;”确定），则不能进行地图侧连接。除了你的表被分桶和排序，并且你打开了“set hive.optimize.bucketmapjoin.sortedmerge = true”，那么你仍然可以在大表上进行地图侧连接。 （当然还是需要“set hive.optimize.bucketmapjoin = true”）

确保您的表确实在同一列上进行了分桶和排序。犯错太容易了。要获得分桶和排序表，您需要

1. 设置 hive.enforce.bucketing=true;
2. 设置 hive.enforce.sorting=true;

3. DDL 脚本

   CREATE table XXX ( id int, name string ) CLUSTERED BY (id) SORTED BY (id) INTO XXX BUCKETS ; INSERT OVERWRITE TABLE XXX select * from XXX CLUSTER BY member_id ;

使用describe formatted XXX 并查找Num Buckets, Bucket Columns, Sort Columns 以确保其设置正确。

桶连接的其他要求是两个表应该有

1. 在同一列上分桶的数据，它们在 ON 子句中使用。
2. 一个表的桶数必须是另一表的桶数的倍数。

如果您满足所有要求，则将执行 MAP 加入。而且速度会快如闪电。

顺便说一下，SMB Map Join 在 Hive 1.X 中对 ORC 格式没有很好的支持。你会得到一个null exception。该错误已在 2.X 中修复。