【发布时间】:2018-12-24 11:54:09
【问题描述】:
我有一个包含用户代理字符串的表(我将其解析为browser、os 和device 列)和城市id。我想为每个city 计算最流行的browser、os 和device。
这是我的尝试:
select device os, browser, name, MAX(hits) as pop from
(select uap.device, uap.os, uap.browser, name, COUNT(*) as hits
from (select * from browserdata join citydata on cityid=id) t
lateral view ParseUserAgentUDTF(UserAgent) uap as device, os, browser
GROUP BY uap.device, uap.os, uap.browser, name) t2
GROUP BY name;
所以,最里面的子查询,别名为t 只是将我的表连接到另一个将id 映射到城市names 的表上,所以我可以看到实际的names,而不是城市@987654335 @'s 在输出中。
然后,名为 t2 的子查询计算复合键的数量(device、browser、os、city)。外部查询将所有内容分组到name 窗口中,并提取用户数最多的行。
我得到的错误是这样的:
失败:SemanticException [错误 10025]:第 1:7 行表达式不在 GROUP BY 键“设备”中
我明白这意味着什么。它说我需要将device 包含到group by 中,但是如果我这样做了,那么它就不会计算我想要的。如何修复我的查询?
另外,我注意到我的一些 hive 查询在 mapreduce 上运行,但不在 tez 上运行。这是为什么呢?
【问题讨论】:
-
样本数据、所需结果和格式化查询真的很有帮助。
-
@GordonLinoff 第一个表(browserdata)有(useragent,cityid)行,第二个(citydata)有(cityid,cityname)行。
-
@GordonLinoff ideone.com/SCjb1q 我是在别人的帮助下写的,但现在发现 hive 不支持横向连接...
标签: hive mapreduce hiveql apache-tez