在连接上使用扇出进行 SUM 的更简单方法

Question

注意：SQL后端无所谓，任何主流关系型数据库都可以（postgres、mysql、oracle、sqlserver）

有一个有趣的article on Looker 讲述了当 JOIN 导致扇出时他们用来提供正确总计的技术，大致如下：

# In other words, using a hash to remove any potential duplicates (assuming a Primary Key).
SUM(DISTINCT big_unique_number + total) - SUM(DISTINCT big_unique_number)

一种模拟扇出的好方法，只需执行以下操作：

WITH Orders AS (
    SELECT 10293 AS id, 2.5 AS rate UNION ALL 
    SELECT 210293 AS id, 3.5
),
     Other AS (
    SELECT 1 UNION ALL SELECT 2
)
SELECT SUM(rate) FROM Orders CROSS JOIN Other
-- Returns 12.0 instead of 6.0

他们的例子做了这样的事情，我认为这只是一种通过所有花哨的步法来获取md5(PK) 以绕过 8 字节限制的长形式（所以他们先是 LEFT(...) 然后是 @987654328 @：

 (COALESCE(CAST( ( SUM(DISTINCT (CAST(FLOOR(COALESCE(users.age ,0)
 *(1000000*1.0)) AS DECIMAL(38,0))) + 
 CAST(STRTOL(LEFT(MD5(CONVERT(VARCHAR,users.id )),15),16) AS DECIMAL(38,0))
 * 1.0e8 + CAST(STRTOL(RIGHT(MD5(CONVERT(VARCHAR,users.id )),15),16) AS DECIMAL(38,0)) ) 
 - SUM(DISTINCT CAST(STRTOL(LEFT(MD5(CONVERT(VARCHAR,users.id )),15),16) AS DECIMAL(38,0))
 * 1.0e8 + CAST(STRTOL(RIGHT(MD5(CONVERT(VARCHAR,users.id )),15),16) AS DECIMAL(38,0))) ) 
 AS DOUBLE PRECISION) 
 / CAST((1000000*1.0) AS DOUBLE PRECISION), 0) 

还有其他通用方法可以做到这一点吗？也许使用相关的子查询或其他东西？或者上述方式是最知名的方式吗？

两个相关的答案：

• https://stackoverflow.com/a/14140884/651174
• https://stackoverflow.com/a/3333574/651174

---

无需担心通用散列函数（例如，可能采用字符串），以下工作：

WITH Orders AS (
    SELECT 10293 AS id, 2.5 AS rate UNION ALL 
    SELECT 210293 AS id, 3.5
),
Other AS (
    SELECT 1 UNION ALL SELECT 2
)
SELECT SUM(DISTINCT id + rate) - SUM(DISTINCT id) FROM Orders CROSS JOIN Other
-- 6.0

但这仍然引出了一个问题：是否有另一种/更好的方法可以以非常通用的方式做到这一点？

Answer 1

连接破坏聚合的典型示例如下：

select
  posts.id,
  count(likes.id) as likes_total,
  count(dislikes.id) as dislikes_total
from posts
left join likes on likes.post_id = posts.post_id
left join dislikes on dislikes.post_id = posts.post_id
group by posts.id;

两个计数结果相同，因为每个计数都被另一个相乘。有 2 个喜欢和 3 个不喜欢，两个计数都是 6。

简单的解决方案是：加入前聚合。如果您想知道每个帖子的喜欢和不喜欢计数，请将喜欢和不喜欢计数加入帖子。

select posts.id, l.likes_total, d.dislikes_total
from posts
left join
(
  select post_id, count(*) as likes_total
  from likes
  group by post_id
) l on l.post_id = posts.post_id
left join
(
  select post_id, count(*) as dislikes_total
  from dislikes
  group by post_id
) d on d.post_id = posts.post_id
group by posts.id;

如果您想看到零而不是空值，请使用 COALESCE。

不要试图蒙混过关。只需聚合，然后加入。如果 DBMS 支持，您当然可以将连接替换为横向连接（它们是相关的子查询）。或者对于示例中的单个聚合，甚至将相关的子查询移动到 select 子句。这主要是个人喜好，但取决于 DBMS 的优化器，一种解决方案可能比另一种更快。 （理想情况下，优化器当然会为所有这些查询提供相同的执行计划。）

Answer 2

使用更大的数据类型将值移开。这与第一个示例类似，没有发生冲突的可能性。由于不必执行两个不同的不同求和，它可能还具有较小的性能优势。

 sum(distinct id * 1000000000 + value) % 1000000000

原则是将值打包成一个单元。为了获得最大的灵活性，您希望将其转换为宽十进制类型以适应整个范围。使用字符串很容易通过 dense_rank() 生成新的代理 id 这也可以让您根据预期键值的数量折叠键宽度。

不过，我认为最终的答案是否定的。没有一种万能的方法，尤其是在各种聚合函数的范围内，超出了混合数据类型的变化范围。

Answer 3

我认为最好的选择始终是 SUM 数据，然后再通过子查询或 cte 加入

WITH 
Orders AS (
    SELECT 10293 AS id, 2.5 AS rate 
    UNION ALL 
    SELECT 210293 AS id, 3.5
),
Other AS (
    SELECT 1 other
    UNION ALL 
    SELECT 2
)
select *
from (
    SELECT SUM(rate) rate
    FROM Orders 
) OrdersSummed 
CROSS JOIN Other

或

WITH 
Orders AS (
    SELECT 10293 AS id, 2.5 AS rate 
    UNION ALL 
    SELECT 210293 AS id, 3.5
),
Other AS (
    SELECT 1 other
    UNION ALL 
    SELECT 2
),
OrdersSummed AS (
    SELECT SUM(rate) rate
    FROM Orders 
) s
select *
from OrdersSummed 
CROSS JOIN Other

Answer 4

--接近解决方案，使扇出现象成为交叉连接的自然结果。

    ;WITH Orders AS (
        SELECT 10293 AS id, 2.5 AS rate UNION ALL 
        SELECT 210293 AS id, 3.5
    ),  Other AS (
        SELECT 1 as oth_id UNION ALL SELECT 2 as oth_id
    )
    ,   FanDepth AS (
        SELECT count(*) as depth from Other
    )
    SELECT  SUM(rate) / depth 
    FROM 
    Orders CROSS JOIN Other CROSS JOIN FanDepth 
    Group by depth