如何使用 SQL 从字典查找值中获取平均值？

Question

我的数据框如下所示：

id            value
a       0:3,1:0,2:0,3:4
a       0:0,1:0,2:2,3:0
a       0:0,1:5,2:4,3:0

我想编写一个查询来获取列 value 中键的平均值？

例如对于0:3,1:0,2:0,3:4，它必须是(0+0+0+3+3+3+3)/7 = 1.71。

对于0:0,1:0,2:2,3:0，它必须是(2+2)/2=2。

对于0:0,1:5,2:4,3:0，它必须是(1+1+1+1+1+2+2+2+2)/9 = 1.44。

所以想要的结果是：

id            value
a              1.71
a              2.00
a              1.44

如何做到这一点？有没有 sql 函数可以得到这个结果？

Answer 1

看到这个DBFIDDLE

代码：

CREATE  PROCEDURE `avg_dict`(s varchar(100))
BEGIN
  SET @result = CONCAT('SELECT (', replace(replace(s, ":","*"),",","+"), ')/(',regexp_replace(s,",?[0-9]:","+"),')');
  PREPARE stmt FROM @result;
  EXECUTE stmt  ;
  DEALLOCATE PREPARE stmt;
END

结果：

stmt	output
CALL avg_dict("0:3,1:0,2:0,3:4");	1.1743
CALL avg_dict("0:0,1:0,2:2,3:0");	2.0000
CALL avg_dict("0:0,1:5,2:4,3:0");	1.4444

Answer 2

通过split's、transforms 和repeat 的某种组合，您可以实现您的目标：

WITH dataset(id, value) AS (
    values ('a', '0:3,1:0,2:0,3:4'),
        ('a', '0:0,1:0,2:2,3:0'),
        ('a', '0:0,1:5,2:4,3:0')
)

SELECT id,
    reduce(arr, 0.0, (s, x)->s + x, s->s) / cardinality(arr)
FROM(
        SELECT *,
            flatten(
                transform(
                    transform(
                        split(value, ','),
                        s->split(s, ':')
                    ),
                    arr->repeat(
                        cast(arr [ 1 ] as INTEGER),
                        cast(arr [ 2 ] as INTEGER)
                    )
                )
            ) as arr
        FROM dataset
    )

输出：

id	_col1
a	1.7142857142857142
a	2.0
a	1.4444444444444444

注意：

外部选择可以替换为array_average，但我使用了他选择，因为 Athena 的 Presto 版本不支持它。

UPD

另一个性能更高的版本：

SELECT id,
    reduce(
        arr,
        CAST(ROW(0.0, 0) AS ROW(sum DOUBLE, count INTEGER)),
        (s, r)->CAST(
            ROW(r.num * r.count + s.sum, s.count + r.count) AS ROW(sum DOUBLE, count INTEGER)
        ),
        s->IF(s.count = 0, NULL, s.sum / s.count)
    )
FROM(
        SELECT *,
            transform(
                split(value, ','),
                s->CAST(
                    ROW(
                        CAST(split(s, ':') [ 1 ] AS DOUBLE),
                        (CAST(split(s, ':') [ 2 ] AS INTEGER))
                    ) AS ROW(num DOUBLE, count INTEGER)
                )
            ) as arr
        FROM dataset
    )