【问题标题】:Mysql Null values sqoop import to hiveMysql Null 值 sqoop 导入到 hive
【发布时间】:2017-07-01 23:28:33
【问题描述】:

我在 mysql 中有一个表,其中一些列具有空值。我想 sqoop 将表导入配置单元。 当我执行 sqoop 导入时,我会在 mysql 表中具有 null 的列中获取所有 null 值。

我想要的是,如果 mysql 中的列值为 null,那么 Hive 中的相同列值为空而不是 null

我们怎样才能做到这一点?

【问题讨论】:

    标签: mysql null hive sqoop


    【解决方案1】:

    您可以使用以下方法轻松实现:

    • --null-string <null-string> 为字符串列的空值写入的字符串
    • --null-non-string <null-string>为非字符串列的空值写入的字符串

    添加这些标签以将 MySQL 的 null 值替换为您想要的任何值。

    例如,要将 null 替换为空值,请在命令中添加这些标签

     --null-string '' --null-non-string ''
    

    【讨论】:

    • 我已经尝试过你的选项 --null-string ' ' 但配置单元表的列中仍然有 null
    • @Active_user 很抱歉当时我错过了您的评论。它在我的末端工作正常。如果您仍然无法解决它,请分享您的 IMPORT 命令。
    • 问题在于镶木地板格式不接受--null-string '' --null-non-string ''
    • 我使用 spark 将所有 null 转换为空
    猜你喜欢
    • 1970-01-01
    • 2018-09-17
    • 2018-05-20
    • 2016-08-07
    • 2017-02-03
    • 2016-05-10
    • 1970-01-01
    • 1970-01-01
    • 2017-08-21
    相关资源
    最近更新 更多