JavaScript 内存不足错误：超出 UDF 线程内存限制-Snowflake

Question

我正在尝试使用 javascript UDF 合并两个变体行。但是，我的每个变体行都有大约 12500 个键。 我的udf定义如下：

CREATE OR REPLACE FUNCTION merge_json(EXT_ROW VARIANT, STG_ROW VARIANT)
    RETURNS variant
    LANGUAGE JAVASCRIPT
    AS 
    $$
    function extend(ext, stg) {
      if(ext == null)ext=stg
      for (var key in stg) {
          if (stg.hasOwnProperty(key)) ext[key] = stg[key];
      }
      return ext;
    }
    return extend(EXT_ROW, STG_ROW)
    $$;

从雪花文档中，我知道如果脚本使用太多内存或运行到无限循环然后 udf 失败。所以我尝试在上面的函数中删除循环并使其如下：

 CREATE OR REPLACE FUNCTION merge_json_v1(EXT_ROW VARIANT, STG_ROW
 VARIANT)
     RETURNS variant
     LANGUAGE JAVASCRIPT
     AS 
     $$
     function extend(ext, stg) {
       if(ext == null)ext=stg
       let merged_row = Object.assign(ext, stg);
       return merged_row;
     }
     return extend(EXT_ROW, STG_ROW)
     $$;

函数仍然抛出错误。有人可以帮我解决这个问题吗？

Answer 1

将 VARIANT 替换为 OBJECT 并消除内部包装函数可能会减少一些开销。

例如：

CREATE OR REPLACE FUNCTION merge_json_v1(EXT_ROW OBJECT, STG_ROW OBJECT)
RETURNS OBJECT
LANGUAGE JAVASCRIPT
AS 
$$
 return EXT_ROW ? Object.assign(EXT_ROW, STG_ROW) : STG_ROW
$$;

否则，您可以增加仓库大小。还要检查查询配置文件，以防其他原因导致问题。