【问题标题】:Big query analytical function not giving expected resultsBigquery 分析函数未给出预期结果
【发布时间】:2019-12-28 07:25:16
【问题描述】:

我正在尝试在 bigquery 中编写 sql,并且我需要根据按列分组和表中的另一列过滤记录 我的意思是我想检查按列分组(列名:mnt)是否有超过一行然后我必须检查 col2(列名:zel)值,然后我必须应用一个过滤器说 col2 =' X' 并且只通过该记录,否则通过,即如果 col1 每组只有一个不同的值,则不过滤记录

所以我编写了一个 sql 来执行此操作,我使用了 row_number 以及 rank 、dense rank 函数,但我注意到 rank 的值、dense rank 和 row number 函数为组返回相同的值

请看下面的代码

#standardsql
with t1 as  (SELECT  mnt, 
case when rank() over (partition by ltrim(rtrim(mnt)) order by 
ltrim(rtrim(mnt)) asc) >1 then 'Y' else 'N' end 
as flag,
rank() over (partition by mnt order by mnt) as rn, 
dense_rank() over (partition by mnt order by mnt) as drn, FROM    
projectname.datasetname.tablename1), 
t2 as ( SELECT 
        mnt,  
        rel, 
        lif, 
        lts, 
lokez FROM projectname.datasetname.tablename2  
WHERE lts <> ""  AND  _PARTITIONTIME = TIMESTAMP(CURRENT_DATE()) ) ,
t3 as  (SELECT  
       lif, 
       lifn,  
       lts,  
       par FROM `projectname.datasetname.tablename3`)  

    ,t4 as (SELECT rcv FROM `projectname.datasetname.tablename4` WHERE mes
    = 'PRO') 
   select * from ( 
   SELECT t1.mnt as mnt,
          t1.flag,
          t1.rn,
          t1.drn
          t2.rel as zel,
          t2.lokez as ZLOEKZ,
          t4.rcv as Zrcv
           FROM t1 left join t2 on replace(t1.mnt, '00000000', '') = 
    REPLACE(t2.mnt, '00000000', '') AND t1.lif = t2.lif and t2.lts <> ""  
    and  
    case when t1.flag = 'Y' and  t2.rel ='X' then 1
         when (t1.flag ='N' and t2.rel=t2.rel) or (t1.flag ='N' and t2.rel 
    is null)  then 1
         when t1.flag = 'Y' and  t2.rel <>'X' then 2
         else 3
         end = 1
    left join t3  ON t1.lif = t3.lif  AND t2.lts = t3.lts AND     
    t3.par = 'BA' left join t4 on t4.rcv = t3.lifn and  t2.lokez is null  ) 
    where     ZLOEKZ is null  order by mnt

如您所见,我正在使用 case 语句,甚至它似乎也无法正常工作。我在下面再次粘贴 case 条件

case when t1.flag = 'Y' and  t2.rel ='X' then 1
             when (t1.flag ='N' and t2.rel=t2.rel) or (t1.flag ='N' and 
      t2.rel 
        is null)  then 1
             when t1.flag = 'Y' and  t2.rel <>'X' then 2
             else 3
             end = 1

但是预期的记录数不匹配,所以我添加了上面的 sql 行,看看我的分析函数是否给出了我想要的结果

rank() over (partition by mnt order by mnt) as rn, 
dense_rank() over (partition by mnt order by mnt) as drn

奇怪的是,对于相同的 mnt 编号,rank、dense rank 和 row_number 函数分配了相同的值我在这里做错了什么。

mnt     flag    rn     drn     rel     lokez     rcv
100      N       1      1       X       abc       123
100      N       1      1      null     xyz       123
100      N       1      1      null     def       234

这是我的输出

我的意思是根据我的相同 mnt 编号的代码,我看到标志设置为 N 而不是 Y,并且对于所有 3 个 mnt,等级和密集等级都给了我相同的数字,它生成 1 而不是 123(注意等级我理解的功能)但密集的等级不应该这样做

我试图尽可能有效地传达这个问题,如果我可以提供任何澄清,请告诉我。

任何帮助表示赞赏

谢谢

【问题讨论】:

  • “我试图尽可能有效地传达这个问题,如果我能提供任何澄清,请告诉我。” -> 拜托,你能提供一个对公共数据表现出相同行为的查询吗?我无法复制
  • 我当然会在这里发布。谢谢
  • @Felipe Hoffa 您好,我尝试复制我在使用公共数据集时遇到的问题,但无法复制它现在一切正常。我认为这是一个小故障或无论如何 count() 在我的情况下工作谢谢大家

标签: google-cloud-platform google-bigquery bigquery-standard-sql


【解决方案1】:
SELECT * EXCEPT(ct) FROM (
  SELECT *, COUNT() OVER(PARTITION BY mnt) AS ct 
) WHERE ct=1 or zel='X'

这是您提到的问题的代码 sn-p。根据逻辑在代码中使用它。

【讨论】:

    猜你喜欢
    • 2012-05-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-04-14
    • 2012-05-01
    • 1970-01-01
    • 2021-09-15
    • 2016-01-30
    相关资源
    最近更新 更多