将 Hive 表中的多条记录转换为嵌套 JSON答案

【问题标题】：Converting multiple records from Hive table into a nested JSON将 Hive 表中的多条记录转换为嵌套 JSON
【发布时间】：2015-07-27 06:00:19
【问题描述】：

我在 hive 中有这样的表结构：

id  Name    Age
1    A      26
1    B      26

我想将这些记录转换为与 id 对应的嵌套 JSON，即对于每个 id ，我的代码应将针对它的记录组合成一个 JSON 对象。

请帮忙。

【问题讨论】：

【解决方案1】：

您可以使用内置的named_struct 函数将Name 和Age 组合成一个结构，例如：

named_struct("Name", Name, "Age", Age)

但是，为了通过共同的id 将这些聚合在一起，您需要一个聚合函数。 Hive 中的内置聚合函数都没有提供您需要的功能。这意味着您可能需要编写自定义聚合函数 (UDAF) 才能实现您的目标。该函数的用法如下：

select id, custom_aggregation_function(named_struct("Name", Name, "Age", Age)) from table group by id;

或者，您可以寻找所需的 UDAF 的其他第三方实现。

查看来自 Brickhouse https://github.com/klout/brickhouse/wiki 的 collect 和 to_json UDF

【讨论】：