在 CDH 集群之间复制 parquet 表

Question

我需要将 parquet 表从 CDH4.5 复制到 CDH4.3 集群，这样做：

• 使用 distcp 复制包含数据的目录 (/user/hive/warehouse/mytable)
• 比较目录大小
• 固定的权限和所有权在两个集群（777 和 impala:hive）上看起来相同
• 打开 impala-shell 并创建了表
• 元数据无效invalidate metadata
• 刷新表refresh mytable

一切正常，但 impala 看不到数据。 Impala 重启也无济于事。是否可以让它看到复制的数据？

Answer 1

没关系，问题是表是分区的，这种情况你需要手动重新创建分区：

alter table mytable add partition(time=12341313131)