sqoop 从 hdfs 导出到 mysql 是否保留分区

Question

我创建了一个多节点 hadoop 集群并在其上安装了 hive。另外，在另一台远程机器上，我安装了 MySQL。 我打算将存储在 HDFS 中的数据导出到关系数据库 MySQL 中。我研究了如何使用 Sqoop 做到这一点。所以我发现我需要在 MySQL 中创建一个表，该表具有相同顺序的目标列（与 Hive 中的一样），并具有适当的 SQL 类型。然后使用 sqoop 导出命令。

我的问题是： 如果表在 Hive 中分区，并且如果在 MySQL 中创建表时我相应地对其进行分区，sqoop export 命令会保留分区吗？ 我的问题类似于sqoop export mysql partition。我想知道 sqoop 是否添加了分区支持。

这将帮助我决定是继续为任务安装 scoop，还是使用我为其编写的一些自定义 Python 脚本。

谢谢。

Answer 1

Sqoop 在与 MySQL 通信时将在 JDBC 层工作。它不会知道底层的分区，MySQL 会在插入或更新记录时处理它。