使用 mysql 表中的 sqoop 更新 hive 表

Question

我已经有一个名为角色的配置单元表。我需要使用来自 mysql 的信息更新此表。所以，我使用这个脚本认为它会在我的配置单元表上添加和更新新数据：`

sqoop import --connect jdbc:mysql://nn01.itversity.com/retail_export --username retail_dba --password itversity \ --table roles --split-by id_emp --check-column id_emp --last-value 5 --incremental append \ --target-dir /user/ingenieroandresangel/hive/roles --hive-import --hive-database poc --hive-table roles

不幸的是，这只插入了新数据，但我无法更新已经存在的记录。在你问几个陈述之前：

• 该表没有 PK

• 如果我不指定 --last-value 作为参数，我将得到那些已经存在的重复记录。

如果不应用截断表或使用 PK 重新创建表，我怎么能弄明白？存在吗？

谢谢大家。

Answer 1

Hive 不操作更新查询。 您必须删除/截断旧表并重新加载。