Hive - 如何有效地创建表作为选择？

Question

我有一个配置单元表htable，它在foo 和bar 上进行了分区。我想为实验创建这个表的一小部分，所以我认为要做的事情是

create table new_table like htable;

insert into new_table partition (foo, bar) select * from htable
where rand() < 0.01 and foo in (a,b)

这需要很长时间，但最终以java.lang.OutOfMemoryError: Java heap space 失败。有没有更好的办法？

Answer 1

添加distribute by foo, bar:

    insert into new_table partition (foo, bar) select * from htable
     where rand() < 0.01 and foo in (a,b) 
    distribute by foo, bar

这将减少内存消耗。