Hive 分区性能

Question

我想问一下 Hive 分区性能。 为了查看分区性能，我需要多少条记录（以行计）？

目前，我有 200 万多条记录，并且已将表拆分为 2 个分区。 我的分区条件如下：

• ADD PARTITION (year_month=’2017_07’)
• ADD PARTITION (year_month=’2017_08’)
• INSERT OVERWRITE TABLE T PARTITION (year_month='2017_07') SELECT * FROM T WHERE st_time < '2017_08_01 00:00:00.0';
• INSERT OVERWRITE TABLE T PARTITION (year_month='2017_08') SELECT * FROM T WHERE st_time >= '2017_08_01 00:00:00.0';

当我尝试在分区表和非分区表之间做一些性能测试时，两个表的性能是相对相同的。 我的性能测试查询如下：

• SELECT * FROM T WHERE st_time < '2017_08_01 00:00:00.0';
• SELECT * FROM non_part_table WHERE st_time < '2017_08_01 00:00:00.0';

我错过了一些重要的点吗？

另外，分区是否适用于派生列/函数？例如。 date_format(st_time, yyyy-MM)

非常感谢任何帮助或建议。

Answer 1

两个表的性能是差不多的

您忘记了针对分区的 WHERE 子句。只有当您选择其中的数据时，分区才会提高性能。

SELECT * FROM T 
WHERE year_month = '2017_07'
-- AND st_time < '2017_08_01 00:00:00.0'
;

没有这个，您仍然在扫描整个表以查找 st_time 值。

您可以在查询中添加EXPLAIN 以查看差异

通过将数据转换为 Parquet 或 ORC，您将获得额外的性能改进