可以将 hive 单个 orcfile'strip 拆分为更小的尺寸吗？答案

【问题标题】：Can hive single orcfile'stripe be splited to smaller size?可以将 hive 单个 orcfile'strip 拆分为更小的尺寸吗？
【发布时间】：2021-09-01 04:25:24
【问题描述】：

例如，一个orcfile的block和stripesize是一样的，都是256M，但是split size是100M。 orcfile如何拆分？

【问题讨论】：

标签： hive mapper orc

【解决方案1】：

ORC 在条带级别拆分，在您的情况下为 256M，无法进行更小的拆分。

条带大小可在TBLPROPERTIES("orc.stripe.size"="268435456") 中配置，分割大小可在这些设置中配置（例如 Tez）：

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
set tez.grouping.max-size=104857600; 
set tez.grouping.min-size=32000; --smaller files will be possibly be combined

在这种情况下，如果有较小的条带，每个映射器将接收整个条带 (256M) 或更少，条带不会被拆分为较小的块。

【讨论】：

但是，当我将 max_split.size 设置为 256M 时，地图编号为 13；设置128M map num为13；设置100M地图数量为26；设置50M，map num为52，不知道为什么stripe不能分割？