【问题标题】:Sqoop Incremental import and updateSqoop 增量导入和更新
【发布时间】:2014-08-19 16:36:21
【问题描述】:

我正在尝试将数据从 sql 导入配置单元数据库。目标是使用 sqoop 导入将 oracle 数据库中的更改更新为 hive。 sqoop命令如下:

sqoop import -D mapred.child.java.opts='\-Djava.security.egd=file:/dev/../dev/urandom' 
--connect jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(LOAD_BALANCE=ON)(FAILOVER=ON)(ADDRESS=(PROTOCOL=TCP)(HOST=)(PORT=1545))(ADDRESS=(PROTOCOL=TCP)(HOST=)(PORT=1545)))(CONNECT_DATA=(SERVICE_NAME=)(SERVER=DEDICATED)))'
 --username abcde  
--password 1234rgtds  
--table Customer_Acc 
--columns Name,ID,Address,Date_booking ,Last_update_date
-m 1
 --target-dir /final/table 
 --hive-import 
--hive-table tesupd 
--map-column-hive Name,ID,Address,Date_booking
 --null-string '\\N' 
--null-non-string '\\N' 
--hive-delims-replacement ' ' 
--incremental lastmodified 
--check-column Last_update_date
--last-value "2009-12-31 12:14:28"

最终输出应该是大于最后一个值的数据,但在上述情况下,它是追加数据而不是增量更新它。

我希望更新而不是追加数据。

【问题讨论】:

    标签: oracle hadoop hive sqoop


    【解决方案1】:

    在您的sqoop-import 命令中使用--merge-key 选项。这会将旧记录替换为最新记录。

    您也可以使用sqoop-merge 命令,但应该分两步完成。首先是sqoop-import,没有merge-key,然后是sqoop-merge

    【讨论】:

      【解决方案2】:

      尝试使用 --incremental append 而不是 --incremental last modified。

      使用--incremental append 提到的字段的最后一个值存储在sqoop metastore 'incremental.last.value' 中,每当执行作业时它都会不断变化。使用 --incremental append 您不必更新查询中的最后一个值,但它会自动更新。

      这样,您的值将始终更新(在 sqoop 元存储中)并且不会有任何冗余数据

      【讨论】:

      • 嗨 Sahiliv 我想使用 DATE 列更新数据。请告诉我它是否适用于日期。
      【解决方案3】:

      sqoop 和 Hive 都不能使用 sqoop 导入直接更新 Hive 中的数据。请按照以下链接中的步骤进行行级更新。

      http://hortonworks.com/blog/four-step-strategy-incremental-updates-hive/

      【讨论】:

      • 感谢这个链接。它很有帮助。
      【解决方案4】:

      所以您的数据是可变的,您希望在 HDFS 中修改数据库中已更改的记录。

      为此,您需要使用--incremental append 标志。您还需要创建一个 Sqoop 作业,因为这将捕获最新的 --last-value 并将其序列化回保存的作业。

      您应该创建一个看起来像这样的 Sqoop 作业。

      sqoop job \
      --create jobName \
      -- \
      import \
      jdbc:oracle:thin:@hostname:port:sid \
      --username user \
      --password fileOnHDFS.password \
      --table tableName \
      --incremental lastmodified \
      --check-column UPDATE_DATUM \
      --last-value 1985.01.01 \
      --merge-key ID \
      

      更多详情请见Sqoop User Guide (v1.4.6)

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2015-08-31
        • 1970-01-01
        • 1970-01-01
        • 2016-03-27
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多