【问题标题】:Sqoop & Hadoop - How to join/merge old data and new data imported by Sqoop in lastmodified mode?Sqoop & Hadoop - 如何在 lastmodified 模式下加入/合并 Sqoop 导入的旧数据和新数据?
【发布时间】:2016-11-01 17:52:10
【问题描述】:

背景:

我在 SQL 服务器上有一个具有以下架构的表。可以对现有行进行更新,并且还会将新行添加到此表中。

unique_id | user_id | last_login_date       | count
123-111   |   111   | 2016-06-18 19:07:00.0 | 180
124-100   |   100   | 2016-06-02 10:27:00.0 | 50

我正在使用 Sqoop 在 lastmodified 模式下添加增量更新。我的 --check-column 参数是 last_login_date 列。在我的第一次运行中,我将上述两条记录输入到 Hadoop 中 - 我们称其为当前数据。我注意到最后一个值(第一次导入的检查列的最大值)是 2016-06-18 19:07:00.0。

假设 SQL server 端有变化,我现在在 SQL server 端有以下变化:

unique_id | user_id | last_login_date       | count
123-111   |   111   | 2016-06-25 20:10:00.0 | 200
124-100   |   100   | 2016-06-02 10:27:00.0 | 50
125-500   |   500   | 2016-06-28 19:54:00.0 | 1

我使用更新的 last_login_date 值更新了第 123-111 行,并且计数列也已更新。我还添加了新的 125-500 行。

在我的 second 运行中,sqoop 会查看所有列,其 last_login_date 列大于我上次导入的已知最后一个值 - 2016-06-18 19:07:00.0

这只会给我更改的数据,即 123-111 和 125-500 记录。让我们称之为 - 新数据。

问题

如何使用当前数据和新数据在 Hadoop/Hive 中进行合并连接,以便最终得到 123-111、124-100 和新添加的 125-500 的更新版本?

【问题讨论】:

    标签: sql-server hadoop merge hive sqoop


    【解决方案1】:

    您可以更改现有的 Sqoop 查询(通过指定新的自定义查询)以从源表中获取所有数据,而不是仅获取 已更改的数据。请参阅using_sqoop_to_move_data_into_hive。这将是完成此任务的最简单方法 - 即进行完整数据刷新而不是应用增量。

    【讨论】:

      【解决方案2】:

      使用 scoop 更改数据加载是一个两阶段的过程。

      1. 第一阶段 - 将更改的数据加载到某个临时(阶段)表中,使用 sqoop 导入实用程序。
      2. 第二阶段 - 使用 sqoop-merge 将更改的数据与旧数据合并 实用程序。

      如果表很小(比如几 M 条记录),则使用 sqoop 导入使用满载。

      有时可以只加载最新的分区 - 在这种情况下,使用 sqoop 导入实用程序使用自定义查询加载分区,然后代替合并,只需将覆盖加载的分区插入目标表或复制文件 - 这将比 sqoop 合并工作得更快.

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-07-12
        • 1970-01-01
        • 1970-01-01
        • 2019-04-26
        • 1970-01-01
        相关资源
        最近更新 更多