【发布时间】:2018-03-08 02:04:31
【问题描述】:
我是 Hive 新手,有一些东西可以解析格式的日志
[Time Stamp] {Complex JSON data}
我从目前的搜索中看到,有可用的 JSON Serde。
我可以扩展那些 JSON Serde 代码以满足我的需要吗?如果是这样,选择哪个 JSON serde 代码会更好?
如果这种方法不好,还有其他指针吗?
谢谢
【问题讨论】:
标签: json hive hive-serde
我是 Hive 新手,有一些东西可以解析格式的日志
[Time Stamp] {Complex JSON data}
我从目前的搜索中看到,有可用的 JSON Serde。
我可以扩展那些 JSON Serde 代码以满足我的需要吗?如果是这样,选择哪个 JSON serde 代码会更好?
如果这种方法不好,还有其他指针吗?
谢谢
【问题讨论】:
标签: json hive hive-serde
而不是使用任何其他开源 serde,
我发现自己编写一个 serde 要简单得多。除了样板代码,我只需要在反序列化方法中编写我的业务逻辑,这就像一个魅力。
这个链接很有帮助。 http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/
另外,我尝试过使用 UDTF,它也很顺利,发现 serde 快得多。
希望这对某人有所帮助
【讨论】: