Hive url 解析

Question

我有一个关于使用 hive 解析 url 的问题 例如，我有一个 urls 表，

1. http://xxxx.com&key1 = 1&key2 = 2&key4 = 4

2. http://xxxx.com&key1 = 1&key2 = 2&key3 = 3 &key 4 = 4

3. http://xxxx.com&key1 = 1&key5 = 5

4. http://.....

5. http://....

我需要这样的输出

key1  key2  key3  key4
 1     2    null   4
 1     2      3    4
 1    null  null   5

.... ...

我不知道可能的键数。 我怎样才能得到这个？

谢谢！

Answer 1

我会查看 HIVE 中的 parse_url udf 以及 LATERAL VIEW explode 关键字，以将每个键/值对转换为新行： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView

这篇文章也可能会有所帮助： How to parse url query string in Hive to multiple key-value pairs