【问题标题】:Decimal Field Issue in Hive Parquet tableHive Parquet 表中的小数字段问题
【发布时间】:2015-06-30 10:05:50
【问题描述】:

我在 hive 中有一张镶木地板桌子,里面有一个类型的字段

decimal (10,2)

现在,当我使用 parquet.pig.ParquetLoaderdecimal field is getting converted to bytearray and giving junk values 在猪中阅读此表时。 这个问题有解决办法吗?

【问题讨论】:

  • 在加载数据时,您可以指定字段类型为 double 还是 bigdecimal ?
  • 我无法更改业务模式 Murali,当我们在 pig 中加载 parquet 文件时,我们没有指定模式。它已经存在于 parquet 文件元数据中。
  • 您使用的是哪个版本的 hive?
  • 我不记得 hive 版本.. 但它是最新的.. 使用 cloudera 5.4

标签: hive apache-pig parquet


【解决方案1】:

我们编写了一个自定义 ParquetLoader,我们在其中扩展了 LoadFunc 类并实现了我们想要处理小数的情况。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-03-01
    • 2021-08-03
    • 2019-01-31
    • 2016-03-16
    相关资源
    最近更新 更多