使用动态分区表必须配置的参数 :

    set hive.exec.dynamic.partition =true(默认false),表示开启动态分区功能
    set hive.exec.dynamic.partition.mode = nonstrict(默认strict),表示允许所有分区都是动态的,否则必须有静态分区字段

 动态分区相关的调优参数:

    set  hive.exec.max.dynamic.partitions.pernode=100 (默认100,一般可以设置大一点,比如1000)

       表示每个maper或reducer可以允许创建的最大动态分区个数,默认是100,超出则会报错。

   set hive.exec.max.dynamic.partitions =1000(默认值) 

       表示一个动态分区语句可以创建的最大动态分区个数,超出报错

   set hive.exec.max.created.files =10000(默认) 全局可以创建的最大文件个数,超出报错。
#数据插入动态分区例子
------------------------------------------------------------
insert into table test.test_ll_1 partition(dt) select 1,'a',2020 as dt union all select 2,'b',2021 as dt union all select 3,'c',2020 as dt;

 

相关文章:

  • 2021-05-24
  • 2021-10-25
  • 2021-05-06
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-07-14
  • 2022-01-29
相关资源
相似解决方案