如何从配置单元表插入分区表（作为镶木地板）？

Question

我有配置表和分区表。

我插入到分区表中，如下所示。如果不存在则自动创建分区。

我在 impala 编辑器中运行此查询。

此查询耗时过长。

insert into   default.dw_partitioned_table
            partition (partition_islemtarih_string)
select *, cast(replace(strleft(recorddate,10),'-','')as int) as partition_islemtarih_string
from default.dw_hive_table
where recorddate <to_timestamp('2019-05-01 00:00:00', 'yyyy-MM-dd HH:mm:ss')
 and  recorddate>=to_timestamp('2019-01-01 00:00:00', 'yyyy-MM-dd HH:mm:ss');   

我错过了什么或者我做错了什么？

提前致谢

Answer 1

您的插入速度很慢，因为 impala 正在为原始表中的每个日期 replace(strleft(recorddate,10),'-','') 创建分区。 Impala 为每个分区创建物理文件，这就是它非常慢的原因。
如果您有大量记录，并且您真的想要在日期之前分发数据，那么这样做会花费很长时间。
更好的主意是在记录日期的 MM-yyyy 上进行分区 - 这将创建均匀分布的分区。查看您的 SQL，您似乎甚至可以在 yyyy 上进行分发。
另请注意，静态分区要快得多。例如 -
insert into t partition (part_col='2020') select * from t2 ; - 速度更快，因为 impala 不必创建动态分区。