如何从分区的配置单元表中删除行？

Question

我需要从已分区的 Hive 表中删除特定行。这些要删除的行符合某些条件，因此不能为了这样做而删除整个分区。假设表Table 有三列：partner、date 和source_key，并由date 和source_key 分区。

已知不支持删除或更新 hive (See How to delete and update a record in Hive) 中的特定记录集的操作。

在this solution 之后，我成功执行了以下查询，以便保留仅匹配某些给定条件的记录，例如：属于date 的某个给定范围，具有source_key='heaven' 和专栏partner<>'angel'...

创建表Table的临时空副本。

CREATE TABLE IF NOT EXISTS tmpTable LIKE Table;

用当前行填充它。

INSERT OVERWRITE TABLE tmpTable
PARTITION (date,source_key)
SELECT * FROM Table
WHERE
date >= '2020-05-01' AND date < '2020-11-30' AND
source_key = 'heaven';

删除目标分区。

ALTER TABLE Table DROP IF EXISTS
PARTITION (source_key = 'heaven' , date >= '2020-05-01' , date < '2020-11-30' );

将已编辑的分区插入到目标表中。 （由于语法错误，无法插入 OVERWRITE）

INSERT INTO Table
PARTITION (source_key,date)
SELECT * FROM tmpTable
WHERE
partner <> 'angel';

删除临时表。

DROP TABLE IF EXISTS tmpTable;

查询运行良好。因为表 Table 是托管的，所以当分区被删除时，hdfs 文件应该被删除，但是有些地方是错误的（可能在最后一个 INSERT INTO 语句中），因为在执行所有这些查询之后目标表 Table 保持在给定的日期范围内所有带有partner = 'angel' 和带有 的记录基本上保持不变。

错在哪里？什么不见​​了？对于这样的 Hive 表，如何准确删除符合特定条件的特定行？

Answer 1

可以直接从自身选择 + WHERE 过滤器覆盖表分区。该方案非常简单，您不需要任何临时表。如果您不确定会发生什么，请制作备份表。

1. 如果要删除整个分区（而不是覆盖），请执行

   ALTER TABLE TableName DROP IF EXISTS
   PARTITION (<partition spec to be dropped>); --check partition spec to be dropped carefully
   

如果没有要删除的分区，请跳过此步骤。

1. 用过滤的行覆盖其他分区：

   set hive.exec.dynamic.partition=true;
   set hive.exec.dynamic.partition.mode=nonstrict;
   set hive.allow.move.on.s3=true; --If you are on Qubole/S3
   
   insert overwrite table TableName partition (date, source_key ) --partition spec should match table DDL
   select * from TableName 
    where <condition> --condition should be True for rows which NOT be deleted
   

您的代码相当混乱，因为您使用 LIKE 创建了临时表，但使用了不同的分区规范并选择了 *（与原始表中的列顺序相同）。列的顺序必须完全匹配，分区列是最后的，也是相同的顺序。