【问题标题】:Impala: Select the data where only the row in table 2 with max(date) but less than a date in table 1 is returnedImpala:选择仅返回表2中max(date)但小于表1日期的行的数据
【发布时间】:2017-06-13 05:47:09
【问题描述】:

我的情况几乎与以下线程中讨论的示例相同。

select data where date is max(date) less than x

我有表格

s_currency

cdate                          ratio                     currency                                            
-------------------------------------------------------------------
2017-06-06 00:00:00.0          1                         USD                                                 
2017-06-05 00:00:00.0          1                         USD                                                 
2017-06-04 00:00:00.0          1                         USD      

s_transaction

tdate                          amount                    currency                                            
-------------------------------------------------------------------
2017-06-05 00:00:00.0          100                       USD                                                 
2017-06-08 00:00:00.0          55                        USD      
2017-06-08 00:00:00.0          55                        USD      
2017-06-08 00:00:00.0          60                        USD      

而我想要的结果是

tdate                          amount    currency    ratio     cdate                                          
--------------------------------------------------------------------------
2017-06-05 00:00:00.0          100        USD          1      2017-06-05 00:00:00.0                                
2017-06-08 00:00:00.0          55         USD          1      2017-06-06 00:00:00.0
2017-06-08 00:00:00.0          55         USD          1      2017-06-06 00:00:00.0    
2017-06-08 00:00:00.0          60         USD          1      2017-06-06 00:00:00.0                                    

cdate 应基于 tdate,即其最新的货币日期等于或早于交易日期。

另一篇文章中的解决方案在 select 子句中使用了子查询,它在 Impala 中不起作用。我尝试使用 CTE 并加入子查询,但它们都没有返回所需的结果。以下是我构建的一些查询及其结果

 SELECT tdate, amount, t1.currency, ratio, cdate FROM s_transaction t1 , s_currency t2 
        WHERE t1.currency = t2.currency AND 
        t2.cdate = (select max(cdate) from s_currency 
                     where currency = t1.currency and cdate <= t1.tdate);

但这会加入表格并返回所有货币的交易,小于交易日期,所以我得到

   tdate                         amount       currency     ratio        cdate
------------------------------------------------------------------------------------------
2017-06-08 00:00:00.0          60           USD          1            2017-06-05 00:00:00.0          
2017-06-08 00:00:00.0          60           USD          1            2017-06-06 00:00:00.0          
2017-06-08 00:00:00.0          60           USD          1            2017-06-04 00:00:00.0          
2017-06-05 00:00:00.0          100          USD          1            2017-06-05 00:00:00.0          
2017-06-05 00:00:00.0          100          USD          1            2017-06-04 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-05 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-06 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-04 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-05 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-06 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-04 00:00:00.0  

所以,我摆脱了 max(cdate) 并使用限制为 1 的 order by,但 Impala 抛出了一个错误,即它的 Unsupportedrelated subquery with a LIMIT 子句。

我尝试使用 CTE 并写了

with lastupdate as (
select t2.currency, ratio, max(cdate) as cdate from s_currency t2 join s_transaction t1
on cdate <= tdate and t2.currency = t1.currency group by t2.currency, ratio limit 1
) select t11.*, lst.ratio, lst.cdate
from s_transaction t11 join lastupdate lst        

但这里 CTE 选择一个值并将其用于所有交易,所以我得到了

tdate                         amount       currency     ratio        cdate
-------------------------------------------------------------------------------------------
2017-06-05 00:00:00.0          100          USD          1            2017-06-06 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-06 00:00:00.0          
2017-06-08 00:00:00.0          60           USD          1            2017-06-06 00:00:00.0          
2017-06-08 00:00:00.0          55           USD          1            2017-06-06 00:00:00.0          

6 月 5 日的交易,其 cdate 应为 6 月 5 日。

我什至尝试在子查询中使用 row_number() 函数,但它无法解析 t1.tdate 来比较日期的值。

我怎样才能达到我想要的?

【问题讨论】:

    标签: sql common-table-expression impala row-number correlated-subquery


    【解决方案1】:

    我在mysql db中测试了以下SQL语句,它可以工作。

    select  tdate,amount,b.currency,ratio,max(cdate) from s_transaction a,s_currency b where a.tdate>=b.cdate group by tdate
    

    【讨论】:

    • 我将在 s_transaction 表中有多个事务,因此按 tdate 分组对我没有帮助...而且我的实际表中的列多于列出的列,因此在同样的选择会使它变得非常大。此外,您的查询中的 group by 子句只有 tdate,我认为它应该包含 select 中的所有列,除了 group by 子句中列出的 max(cdate)
    • s_transaction 表中是否有主键?我想你应该在 s_transaction 表中有类似“transaction id”字段的东西,如果是这样,你可以按“transaction id”分组,然后获取最大 cdate 然后完成。
    • 我没有唯一的键,它基本上是一个视图,所以它只有视图应该有的列。我尝试创建一个 row_number() 并将其用作主键,但它看起来不太好。我也怀疑它是否是 Impala 的缺陷......如果我得到一个行之有效的解决方案,我会在这里发布
    【解决方案2】:

    我遇到了类似的问题,因此在这里发布以供参考。

    TL,DR:我们需要使用 Impala 的窗口函数来过滤子查询结果。下面是 SQL:

    SELECT t.* FROM 
    (
       SELECT rank() OVER (ORDER BY cdate DESC) daterank, c1.cdate, t1.*
       FROM s_currency c1, s_transaction t1
       WHERE c1.currency = t1.currency 
       AND c1.cdate <= t1.tdate
    ) t
    WHERE t.daterank = 1;
    

    详情:

    问题是 Impala 不支持相关子查询中的复杂操作。

    来自 Impala 官方网站:https://impala.apache.org/docs/build/html/topics/impala_limit.html & https://impala.apache.org/docs/build/html/topics/impala_subqueries.html

    • 限制

      1. EXISTS 和 IN 运算符中使用的相关子查询不能包含 LIMIT 子句
      2. 对于 EXISTS 和 NOT EXISTS 子句,将外部查询块中的值与另一个表进行比较的任何子查询都必须使用至少一个相等比较,而不仅仅是其他类型的比较,例如小于、大于、BETWEEN 或 != .
    • 那么什么是关联子查询?

      相关子查询将来自外部查询块的一个或多个值与子查询的 WHERE 子句中引用的值进行比较。外部 WHERE 子句评估的每一行都可以使用一组不同的值进行评估。这些类型的子查询受限于它们可以在内部和外部表的列之间进行的比较类型

    • 我发现 Impala 的窗口函数在这种情况下很有用,尤其是在使用限制(限制 1)或小于(限制 2)的子查询中超过最大等效项

      https://impala.apache.org/docs/build/html/topics/impala_analytic_functions.html

    【讨论】:

      【解决方案3】:

      您可以将 CTE 与 Lead 一起使用来创建每个货币比率都有效的范围,然后在不使用联接中的子查询的情况下联接该范围。我发现这比使用排名要快得多。

      WITH startend as (
          SELECT
              currency,
              ratio,
              cdate as starttime,
              ISNULL( LEAD(cdate) OVER ( PARTITION BY currency ORDER BY cdate), '9999-12-31') endtime
          FROM s_currency)
      SELECT
          tdate,
          amount,
          t.currency,
          ratio,
          c.starttime as cdate
      FROM s_transaction t
      INNER JOIN startend c
          ON t.currency = c.currency
          AND tdate >= starttime
          AND tdate < endtime
      

      不要忘记将所有连接条件添加到分区子句中。

      【讨论】:

        猜你喜欢
        • 2019-03-01
        • 2021-06-14
        • 2010-12-11
        • 2022-06-23
        • 1970-01-01
        • 2011-10-30
        • 2020-01-31
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多