如何从配置单元表中删除字符串列中的重复项

Question

我有用重复值分隔的列（字符串）空间。我想删除重复项： 例如

column_name
-----------------
gun gun man gun man
shuttle enemy enemy run
hit chase

我想要这样的结果：

column_name
----------------
gun man
shuttle enemy run
hit chase

我正在使用 hive 数据库。请帮助。

Answer 1

没有自定义 UDF，这是仅使用查询的一种方法。

select id, concat_ws(' ',collect_set(splited)) as column_name
from
(
  select id, splited
  from tbl_name
  LATERAL VIEW explode(split(column_name,' ')) t as splited
  group by id, splited
) x
group by id