编译语句时出错：失败：SemanticException [错误 10002]

Question

select d.order_type from migu_td_aaa_order_log_d d where  exists(select 1 
from migu_user r where r.user_id = '156210106' and r.user_num = 
d.serv_number) and d.product_id in ('2028594290','2028596512','2028597138' ) 
order by d.opr_time desc limit 1 

上面的sql为什么失败，说明： 失败：SemanticException [错误 10002]：第 4:11 行无效列引用“opr_time”

但下面的工作：

select temp.order_type from (
select d.* from migu_td_aaa_order_log_d d where  exists(select 1 from 
migu_user r where r.user_id = '156210106' and r.user_num = d.serv_number) 
and d.product_id in ('2028594290','2028596512','2028597138' ) order by 
d.opr_time desc limit 1) temp;

这个也很好用，而且比第二个效率高：

select d.* from migu_td_aaa_order_log_d d where  exists(select 1 from 
migu_user r where r.user_id = '156210106' and r.user_num = d.serv_number) 
and d.product_id in ('2028594290','2028596512','2028597138' ) 
order by d.opr_time desc limit 1

我只需要获取 order_type 字段，所以即使第二个有效，但它花费的时间要多得多。 谁能帮我？ 非常感谢！

Answer 1

您的第一个查询不起作用，因为在第一个 select 语句中，您只得到一列 (d.order_type)，但您试图按另一列 (d.opr_time) 排序，而您尚未将其包含在你的select 声明

select d.order_type from ...
...
order by d.opr_time desc limit 1

请注意，如果您将 d.opr_time 列添加到您的第一个查询中，它将起作用：

select d.order_type, d.opr_time from ...
...
order by d.opr_time desc limit 1

您的第二个查询有效，因为在子查询中，您选择了d (d.*) 的所有列，因此当您按opr_time 排序时，该列存在。 （第三个查询也一样）。

select temp.order_type from (
select d.* ... order by d.opr_time ...

已编辑：

根据Hive documentation：

使用group by子句时，select语句只能包含 group by 子句中包含的列。当然，你可以有 选择语句中的许多聚合函数（例如计数）为 好吧。

所以，这个查询：

select d.order_type, d.opr_time from ...
...
order by d.opr_time desc limit 1

也不应该工作，因为 select 子句有一个额外的列 (d.order_type) 不包含在 group by 子句中。

我希望这会有所帮助。

附： This answer关于 SQL 执行顺序可能有用。

Answer 2

1.

Hive 目前有 order by 限制。
此问题的当前状态是PATCH AVAILABLE。

请参阅 -
“无法按未选择的列排序”
https://issues.apache.org/jira/browse/HIVE-15160

2.

您可能想熟悉LEFT SEMI JOIN，它是EXISTS 的更简洁语法 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins#LanguageManualJoins-JoinSyntax

3.

在struct / named_struct 上使用min / max 可以代替order by ... asc / desc 和limit 1

这里有一个替代解决方案：

select      max(named_struct('opr_time',d.opr_time,'order_type',d.order_type)).order_type

from                        migu_td_aaa_order_log_d d 
            
            left semi join  migu_user               r 
            
            on              r.user_num  =  
                            d.serv_number 
                        
                        and r.user_id   = '156210106' 

where       d.product_id in ('2028594290','2028596512','2028597138') 
;

附言

您确实需要考虑将 ID（user_id、product_id）视为数字而不是字符串。