增加 HIVE 中的最大行大小答案

【问题标题】：Increase max row size in HIVE增加 HIVE 中的最大行大小
【发布时间】：2021-07-08 08:51:51
【问题描述】：

我有一个使用这些配置的 pyspark 工作：

self.spark = SparkSession.builder.appName("example") \
.config("hive.exec.dynamic.partition", "true") \
.config("hive.exec.dynamic.partition.mode", "nonstrict") \
.config("hive.exec.max.dynamic.partitions", "5000000") \
.config("hive.exec.max.dynamic.partitions.pernode", "1000000") \
.enableHiveSupport() \
.getOrCreate()

我在任何地方都找不到如何设置配置以将max row size 增加到150mb。我只在 impala 中找到了该命令。

提前致谢。

【问题讨论】：

标签： pyspark hive hive-configuration

【解决方案1】：

Hive 中没有这样的配置，因为 Hive 不是全内存的，并且可以处理几乎无限大小的行。单个字符串的大小可以达到2Gb 和the number of columns can be many tens of thousands，尽管您可能需要（很可能）数千行来适应单个容器内存，但通常映射器或减速器大小超过 1G 并且可以增加。

【讨论】：