提高 hive 托管表中插入覆盖的性能

Question

我是 Hive 新手，我想知道表属性列表，以提高 hive 托管表中插入覆盖的性能。 有人可以帮忙吗？

Answer 1

一些建议：

1. 关闭统计信息自动收集：

   set hive.stats.autogather=false;

2. 如果可能，请提前删除分区文件夹或表文件夹，或使用 PURGE 选项：https://stackoverflow.com/a/39623927/2700344

3. 如果您使用的是 S3 并且表是 ORC，请禁用块填充：

   ALTER TABLE your_table SET TBLPROPERTIES ("orc.block.padding"="false", "orc.block.padding.tolerance"="1.0");

4. 使用矢量化ConfigurationProperties-Vectorization 和 Tez：

   set hive.execution.engine=tez;

5. 优化查询。