2019-04-23 10:54:00

问题:

  set.hive.groupby.skewindata=true;存在一定的局限性

问题分析:

  skewindata配置真正起作用,有以下三种情况:

    1、select count distinct ... from ...

    2、select a,count(*) from .... group by a

    3、select count(*),count(distinct ....) from

hive.groupby.skewindata就是根据distinct/non-distinct的选择,直接将mode从mergepartitial设置成对应的确定形式,但是当distinct和non-distinct同时存在时,选择就会出问题

图表对比:

set.hive.groupby.skewindata=true专讲

UDAF相关mode解释

set.hive.groupby.skewindata=true专讲

set.hive.groupby.skewindata=true专讲

 

相关文章:

  • 2022-02-24
  • 2022-02-05
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-07-12
  • 2021-12-17
  • 2022-01-02
猜你喜欢
  • 2021-06-14
  • 2021-08-13
  • 2022-12-23
  • 2021-05-23
  • 2021-11-29
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案