在 hive 中使用“Collect_List()”函数时出错

Question

每当我在 Hive 上运行函数“collect_list”时，它总是会抛出一个错误：

Query ID = xxxxx
Total jobs = 1
Launching Job 1 out of 1
Failed to get session
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

示例如下：

数据：

id    value
1       A
1       B
2       C
3       D

我在 hive 的终端上运行查询，这是我的查询：

SELECT id, collect_list(value) FROM something GROUP BY id;

我想要这样的结果：

id    value
1       A, B
2       C
3       D

在使用 collect_list 功能之前我需要配置一些东西吗？ 谢谢。

Answer 1

你应该按 id 分组

SELECT collect_list(value) FROM something group by id;

Answer 2

Collect_list 使用 ArrayList，因此数据将按照添加时的顺序保存，为此，您需要在子查询中使用 SORT BY 子句，不要使用 ORDER BY，它会导致您的查询执行以非分布式方式。

SELECT id, COLLECT_LIST(value)
FROM (SELECT * FROM something SORT BY id, value DESC) x
GROUP BY id;