Sqoop-导出分区的Hive表

Question

我有一个由 year 和 week 列分区的 Hive 表。因此内容存储在 Hive 仓库中的多个递归目录中，在我的情况下，我有超过 100 个目录（分区）用于此表。

这里我不知道如何在sqoop-export 命令的--export-dir 属性中提及配置单元表的目录详细信息。

我是否必须在单独的 sqoop-export 命令中单独提及所有 100* 目录？有没有办法在单个sqoop-export 命令中提及所有嵌套目录？

如果还有其他更好的方法来解决这个问题，还请告诉我。

[注意：我的环境中没有 Hcatalog，我只想将“导出到 hdfs 目录”作为我的最后一个选项]

Answer 1

尝试创建一个包含所有分区的外部表，并在 sqoop 导出中使用外部表的目录。

1) PART_TABLE（分区表）；

2) 创建外部表 XX_DUMMY () 位置

3) Insert overwrite XX_DUMMY as select * from PART_TABLE

4) 运行 Sqoop 导出

或者

试试 export-dir /user/name/*

Answer 2

您是否尝试过以下方法？

--hive-partition-key 要分区的 hive 字段的名称

--hive-partition-value 字符串值，用作此作业中导入 hive 的分区键。