【发布时间】:2016-11-01 17:52:10
【问题描述】:
背景:
我在 SQL 服务器上有一个具有以下架构的表。可以对现有行进行更新,并且还会将新行添加到此表中。
unique_id | user_id | last_login_date | count
123-111 | 111 | 2016-06-18 19:07:00.0 | 180
124-100 | 100 | 2016-06-02 10:27:00.0 | 50
我正在使用 Sqoop 在 lastmodified 模式下添加增量更新。我的 --check-column 参数是 last_login_date 列。在我的第一次运行中,我将上述两条记录输入到 Hadoop 中 - 我们称其为当前数据。我注意到最后一个值(第一次导入的检查列的最大值)是 2016-06-18 19:07:00.0。
假设 SQL server 端有变化,我现在在 SQL server 端有以下变化:
unique_id | user_id | last_login_date | count
123-111 | 111 | 2016-06-25 20:10:00.0 | 200
124-100 | 100 | 2016-06-02 10:27:00.0 | 50
125-500 | 500 | 2016-06-28 19:54:00.0 | 1
我使用更新的 last_login_date 值更新了第 123-111 行,并且计数列也已更新。我还添加了新的 125-500 行。
在我的 second 运行中,sqoop 会查看所有列,其 last_login_date 列大于我上次导入的已知最后一个值 - 2016-06-18 19:07:00.0
这只会给我更改的数据,即 123-111 和 125-500 记录。让我们称之为 - 新数据。
问题
如何使用当前数据和新数据在 Hadoop/Hive 中进行合并连接,以便最终得到 123-111、124-100 和新添加的 125-500 的更新版本?
【问题讨论】:
标签: sql-server hadoop merge hive sqoop