Hive 1.1.0 将表分区类型从 int 更改为 string

Question

我有一个表，它有一个 int 类型的分区，但我想将其转换为字符串。但是，我不知道该怎么做。

表格说明为：

Col1 timestamp
Col2 string
Col3 string
Col4 string
Part_col int

# Partition information
# col_name data_type comment

Part_col int

我创建的分区是 Part_col=0, Part_col=1, ..., Part_col=23

我想将它们更改为 Part_col='0' 等

我在 hive 中运行这个命令：

set hive.exec.dynamic.partitions = true;
Alter table tbl_name partition (Part_col=0) Part_col Part_col string;

我也尝试过使用“partition (Part_col)”一次更改所有分区。

我收到错误“列引用 Part_col 无效”

我正在使用来自https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 的示例来转换十进制列，但无法弄清楚 dec_column_name 代表什么。

谢谢

Answer 1

一点点挖掘发现有一个配置单元 JIRA 有一个用于更新分区列数据类型的命令 (https://issues.apache.org/jira/browse/HIVE-3672)

alter table {table_name} partition column ({column_name} {column_type});

根据JIRA，该命令已实现，但很明显它从未记录在 Hive Wiki 上。

我在我的 Hive 0.14 系统上使用它，它按预期工作。

Answer 2

我认为你应该重新定义表的模式，并重新定义你的分区值不再是整数，现在这将是一个字符串类型。

我建议你做的是：

1. 将您的表设为外部表（如果您将其定义为非外部表）。在这种情况下，您可以删除表而不删除目录中的数据。
2. 放下桌子。
3. 使用新架构（分区值作为字符串）再次创建表。

上述步骤，物理上（结构文件夹）不会对您已有的结构产生任何影响。区别在于 Hive 元存储，特别是在创建分区时创建的“虚拟列”。

另外，现在改为进行如下查询：part_col = 1，现在您将能够进行如下查询：part_col = '1'。

试试这个，告诉我这是怎么回事。