雪花 SQL 查询在尝试应用多个连接时运行时间过长答案

【问题标题】：Snowflake SQL Query taking too much time to run when trying to apply multiple joins雪花 SQL 查询在尝试应用多个连接时运行时间过长
【发布时间】：2022-01-04 04:12:28
【问题描述】：

我正在尝试在 snowflake 上使用 sql 查询，我正在尝试加入多个表，但我的查询需要永远运行，我不确定它是我的查询还是我的查询采取了一些错误的方法。

我在雪花中有这些下表 -

1)RR_SUMM, 2) YY_TEXTENTR, 3) KK_SUBEVT, 4) LG_NBETR, 5) XX_RPOPO, 6) VV_KJIU, 7) LL_JJHHHIP, 8) UU_GHGGHJ,
9) QQ_BHBHGGG, 10) TT_HJHHSY

所以 RR_SUMM 是我的主表

每个表都包含一个标记为 "_ID"

的公共列

我的目标是使用 _ID 列将所有其他 9 个表与主表 RR_SUMM 连接起来

因为我正在尝试从每个表中提取一些字段并将其与主表组合。

我正在按照应用左外连接的方法将所有其他表与主表结合起来RR_SUMM

但我的方法需要永远运行，因为大多数表的大小约为 25 GB。

我在 SNOWFLAKE 中编写的 SQL 查询如下-

INSERT INTO  "PRD"."POST"."_ALL_EVENTS" 
SELECT
DISTINCT SUMMARY._ID,
SUMMARY.GEP_ID,
SUMMARY.AK_CD,
SUMMARY.AK1_CD,
SUMMARY.AK2_CD,
SUMMARY.JJ_DT,
SUMMARY.IL_OVRD,
SUMMARY.STRT_DT,
SUMMARY.EVENT_DT,
SUMMARY.PUNLICATION_DT,
SUMMARY.END_DT,
SUMMARY.END_1DT,
SUMMARY.OO_IND,
SUMMARY.EXPN_DT,
SUMMARY.STATHJJ_CD,
SUMMARY.STATHJJ_DT,
SUMMARY.ERSK_CD,
SUMMARY.DSRP_NBR,
SUMMARY.LNBR,
SUMMARY.LK_REF,
SUMMARY.OOLDESC_CD,
SUMMARY.LMN_CD,
TEXT.UTXCT,
TEXT.GL_CD,
SB.MN_CD,
SB.MN_DT,
SB.EVTEXT,
SB._START_DATE,
SB._END_DATE,
RE.RRONBT,
RE.NN_CD,
RP.RP_CD,
RP.RP_T_CD,
RP.RNME,
PP.FNBR,
PP.FDESC_CD,
IP.FL_DT,
IP.FL_DTTYPCD,
XP.JJ_DT,
XP.OO_CD,
OP.ORG_REF,
OP.FL_NBR,
KP.EVK_CD,
KP.EVJK_DT

 FROM 
 
"PRD"."POST"."RR_SUMM" SUMMARY
 
 LEFT OUTER JOIN 
 
 "PRD"."POST"."YY_TEXTENTR" TEXT
 
 ON TEXT._ID = SUMMARY._ID
 
 LEFT OUTER JOIN 
 
 "PRD"."POST"."KK_SUBEVT" SB
 
 ON  SB._ID = SUMMARY._ID
 
 LEFT OUTER JOIN 
 
"PRD"."POST"."LG_NBETR" RE
 
 ON RE._ID = SUMMARY._ID
 
 LEFT OUTER JOIN 
 
 "PRD"."POST"."XX_RPOPO" RP
 
 ON RP._ID = SUMMARY._ID
 
 LEFT OUTER JOIN 
 
 "PRD"."POST"."VV_KJIU" PP
 
  ON PP._ID = SUMMARY._ID
 
 LEFT OUTER JOIN 
 
 "PRD"."POST"."LL_JJHHHIP" IP
 
  ON IP._ID = SUMMARY._ID
 
  LEFT OUTER JOIN 
 
 "PRD"."POST"."UU_GHGGHJ" XP
 
  
  ON XP._ID = SUMMARY._ID
   
 LEFT OUTER JOIN 
 
 "PRD"."POST"."QQ_BHBHGGG" OP
 
 
  ON OP._ID = SUMMARY._ID
   
  LEFT OUTER JOIN 
 
 
"PRD"."POST"."TT_HJHHSY" KP
 
 ON KP._ID = SUMMARY._ID
 


GROUP BY 1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44;

如果有任何其他方法可以解决我的问题，请告诉我，我可以按照这些方法快速运行我的查询。我无法限制我的数据，因为我需要所有数据进行分析。

任何帮助将不胜感激。

谢谢

【问题讨论】：

首先你可以看看下面的文章，它详细介绍了如何优化查询执行：dzone.com/articles/… 根据列出的步骤，使用 WH、缓存选项进行测试并查看执行时间线，查看查询历史记录 - 查询计划，它可以提供有关最长时间花费的很好的信息。

标签： sql snowflake-cloud-data-platform snowflake-schema

【解决方案1】：

在一个级别上按所有列分组与 DISTINCT 相同。

但是考虑到您将所有内容都卷起来，每个都只获取一个，您可以将 DISTINCT 推低到查询中，并且连接不应有重复值

SELECT
    summary._id,
    summary.gep_id,
    summary.ak_cd,
    summary.ak1_cd,
    summary.ak2_cd,
    summary.jj_dt,
    summary.il_ovrd,
    summary.strt_dt,
    summary.event_dt,
    summary.punlication_dt,
    summary.end_dt,
    summary.end_1dt,
    summary.oo_ind,
    summary.expn_dt,
    summary.stathjj_cd,
    summary.stathjj_dt,
    summary.ersk_cd,
    summary.dsrp_nbr,
    summary.lnbr,
    summary.lk_ref,
    summary.ooldesc_cd,
    summary.lmn_cd,
    text.utxct,
    text.gl_cd,
    sb.mn_cd,
    sb.mn_dt,
    sb.evtext,
    sb._start_date,
    sb._end_date,
    re.rronbt,
    re.nn_cd,
    rp.rp_cd,
    rp.rp_t_cd,
    rp.rnme,
    pp.fnbr,
    pp.fdesc_cd,
    ip.fl_dt,
    ip.fl_dttypcd,
    xp.jj_dt,
    xp.oo_cd,
    op.org_ref,
    op.fl_nbr,
    kp.evk_cd,
    kp.evjk_dt
FROM ( 
    SELECT DISTINCT
        summary._id,
        summary.gep_id,
        summary.ak_cd,
        summary.ak1_cd,
        summary.ak2_cd,
        summary.jj_dt,
        summary.il_ovrd,
        summary.strt_dt,
        summary.event_dt,
        summary.punlication_dt,
        summary.end_dt,
        summary.end_1dt,
        summary.oo_ind,
        summary.expn_dt,
        summary.stathjj_cd,
        summary.stathjj_dt,
        summary.ersk_cd,
        summary.dsrp_nbr,
        summary.lnbr,
        summary.lk_ref,
        summary.ooldesc_cd,
        summary.lmn_cd
    FROM prd.post.rr_summ AS summary
) AS summary
LEFT OUTER JOIN (
    SELECT DISTINCT
        text._id
        text.utxct,
        text.gl_cd
    FROM prd.post.yy_textentr AS text
) AS text
    ON text._id = summary._id
LEFT OUTER JOIN (
    SELECT DISTINCT
        sb._id
        sb.mn_cd,
        sb.mn_dt,
        sb.evtext,
        sb._start_date,
        sb._end_date
    FROM prd.post.kk_subevt AS sb
) AS sb
    ON sb._id = summary._id
LEFT OUTER JOIN (
    SELECT DISTINCT
        re._id
        re.rronbt,
        re.nn_cd
    FROM prd.post.lg_nbetr AS re
) AS re
    ON re._id = summary._id
LEFT OUTER JOIN (
    SELECT DISTINCT
        rp._id
        rp.rp_cd,
        rp.rp_t_cd,
        rp.rnme
    FROM    
 prd.post.xx_rpopo AS rp
) AS rp
    ON rp._id = summary._id
 LEFT OUTER JOIN(
    SELECT DISTINCT
        pp._id
        pp.fnbr,
        pp.fdesc_cd
    FROM prd.post.vv_kjiu AS pp
) AS pp
    ON pp._id = summary._id
LEFT OUTER JOIN (
    SELECT DISTINCT
        ip._id
        ip.fl_dt,
        ip.fl_dttypcd
    FROM prd.post.ll_jjhhhip AS ip
) AS ip
    ON ip._id = summary._id
LEFT OUTER JOIN (
    SELECT DISTINCT
        xp._id
        xp.jj_dt,
        xp.oo_cd
    FROM prd.post.uu_ghgghj AS xp
) AS xp  
    ON xp._id = summary._id 
LEFT OUTER JOIN (
    SELECT DISTINCT
        op._id,
        op.org_ref,
        op.fl_nbr
    FROM prd.post.qq_bhbhggg AS op
) AS op
    ON op._id = summary._id
LEFT OUTER JOIN (
    SELECT DISTINCT
        kp._id
        kp.evk_cd,
        kp.evjk_dt
    FROM prd.post.tt_hjhhsy AS kp
) AS kp
    ON kp._id = summary._id;

所以这应该快得多。

【讨论】：

【解决方案2】：

查询运行缓慢的原因有很多，JOIN ORDER、数据倾斜、错误的基数估计、仓库大小等等。

由于您有这么多 JOIN，如果不查看查询配置文件，就很难说。

最好的方法是打开支持票以供审核。

【讨论】：