如何按具有特定分区的配置单元中的数据进行分组？

Question

我有以下几点：

hive>show partitions TABLENAME                                                           
pt=2012.07.28.08                                                                         
pt=2012.07.28.09                                                                         
pt=2012.07.28.10                                                                         
pt=2012.07.28.11                                                                         
hive> select pt,count(*) from TABLENAME group by pt;                                     
OK    

为什么group by 无法获取数据？

Answer 1

检查hive.mapred.mode 是否设置为"strict"，如果是，则不允许所有分区扫描提交的查询。您可以将其设置为非严格，如下所示：

hive>set hive.mapred.mode=nonstrict;

我不确定这是否导致您的查询没有结果，但我正在尝试解决它。请分享结果。

注意：您可以在hive-default.xml查看该参数的默认值

Answer 2

您始终可以使用 2 个选择语句来实现相同的目标。例如

Create table table1(
session_id string,
page_id string
)
partitioned by (metrics_date string);

假设我们已经加载了 2 个分区的表

hive>显示分区 table1
指标日期=2012.07.28.08
metrics_date=2012.07.28.09

select * from table1 ;

1212121212    google.com     2012.07.28.08 

1212121212    google.com     2012.07.28.09`

获取每个分区的行数

select metrics_date,count(*) from (
select * from table1 ) temp
group by metrics_date;  

Answer 3

要与 group by 一起获得整个结果，您可以使用以下查询。

SELECT pt,count(*) OVER (PARTITION BY pt) FROM TABLENAME;

这可以通过分区来实现。