获取 n 个分组类别并将其他类别加起来为一个

Question

我有一个结构如下的表：

Contents (
  id
  name
  desc
  tdate
  categoryid
  ...
)

我需要对这张表中的数据做一些统计。例如，我想通过分组和该类别的 id 来获取具有相同类别的行数。此外，我想按降序限制n 行，如果有更多可用类别，我想将它们标记为“其他”。到目前为止，我已经对数据库进行了 2 个查询：

按降序选择n 行：

SELECT COALESCE(ca.NAME, 'Unknown') AS label
    ,ca.id AS catid
    ,COUNT(c.id) AS data
FROM contents c
LEFT OUTER JOIN category ca ON ca.id = c.categoryid
GROUP BY label
    ,catid
ORDER BY data DESC LIMIT 7

选择其他行为一：

SELECT 'Others' AS label
    ,COUNT(c.id) AS data
FROM contents c
LEFT OUTER JOIN category ca ON ca.id = c.categoryid
WHERE c.categoryid NOT IN ($INCONDITION)

但是当我在 db 表中没有留下任何类别组时，我仍然会得到“其他”记录。是否可以在一个查询中进行，并使“其他”记录可选？

Answer 1

这里的具体困难：在SELECT 列表中具有一个或多个聚合函数且没有GROUP BY 子句的查询产生恰好一行，即使没有找到行 strong> 在基础表中。

您无法在WHERE 子句中执行任何操作来抑制该行。您必须在事后排除这样的行，即在HAVING 子句或外部查询中。

Per documentation:

如果查询包含聚合函数调用，但没有GROUP BY 子句， 分组仍然发生：结果是单个组行（或者可能没有 行，如果单行随后被HAVING 消除）。相同 如果它包含 HAVING 子句，则为真，即使没有任何聚合 函数调用或GROUP BY 子句。

应该注意的是，添加一个只有一个常量表达式的GROUP BY 子句（否则完全没有意义！）也可以。 请参阅下面的示例。但我宁愿不使用那个技巧，即使它简短、便宜且简单，因为它的作用几乎不明显。

以下查询只需要一次单表扫描，并返回按计数排序的前 7 个类别。如果（且仅当）有更多类别，则将其余类别汇总为“Others”：

WITH cte AS (
   SELECT categoryid, count(*) AS data
        , row_number() OVER (ORDER BY count(*) DESC, categoryid) AS rn
   FROM   contents
   GROUP  BY 1
   )
(  -- parentheses required again
SELECT categoryid, COALESCE(ca.name, 'Unknown') AS label, data
FROM   cte
LEFT   JOIN category ca ON ca.id = cte.categoryid
WHERE  rn <= 7
ORDER  BY rn
)
UNION ALL
SELECT NULL, 'Others', sum(data)
FROM   cte
WHERE  rn > 7         -- only take the rest
HAVING count(*) > 0;  -- only if there actually is a rest
-- or: HAVING  sum(data) > 0

• 如果多个类别在第 7 位/第 8 位排名中的计数相同，则您需要打破平局。在我的示例中，categoryid 较小的类别会赢得这样的比赛。

• UNION 查询的单个分支需要在括号中包含 LIMIT 或 ORDER BY 子句。

• 您只需加入表 category 即可获得前 7 个类别。在这种情况下，先聚合然后再加入通常更便宜。所以不要在名为cte 的CTE (common table expression) 中加入基本查询，只加入UNION 查询的第一个SELECT，这样更便宜。

• 不知道为什么需要COALESCE。如果你有一个从contents.categoryid 到category.id 的外键，并且contents.categoryid 和category.name 都被定义为NOT NULL（可能应该是这样），那么你就不需要它了。

奇怪的GROUP BY true

这也可以：

...

UNION ALL
SELECT NULL , 'Others', sum(data)
FROM   cte
WHERE  rn > 7
GROUP BY true; 

我什至可以得到稍微快一点的查询计划。但这是一个相当奇怪的 hack ...

SQL Fiddle 演示全部。

有关UNION ALL/LIMIT技术的更多解释的相关答案：

• Sum results of a few queries and then find top 5 in SQL

Answer 2

使'Others' 成为条件行的快速修复方法是向该查询添加一个简单的HAVING 子句。

HAVING COUNT(c.id) > 0

（如果contents 表中没有其他行，则COUNT(c.id) 将为零。）

这仅回答了一半的问题，即如何使该行的返回有条件。

---

问题的后半部分涉及更多一点。

要在一个查询中获取整个结果集，您可以这样做

（尚未测试过；只检查了桌面。我不确定 postgresql 是否在内联视图中接受 LIMIT 子句...如果不是，我们需要实现不同的机制来限制返回的行数。

  SELECT IFNULL(t.name,'Others') AS name
       , t.catid                 AS catid
       , COUNT(o.id)             AS data 
    FROM contents o
    LEFT 
    JOIN category oa
      ON oa.id = o.category_id
    LEFT
    JOIN ( SELECT COALESCE(ca.name,'Unknown') AS name
                , ca.id                       AS catid
                , COUNT(c.id)                 AS data
             FROM contents c
             LEFT
             JOIN category ca
               ON ca.id = c.categoryid
            GROUP 
               BY COALESCE(ca.name,'Unknown')
                , ca.id
            ORDER
               BY COUNT(c.id) DESC
                , ca.id DESC
            LIMIT 7
         ) t
      ON ( t.catid = oa.id OR (t.catid IS NULL AND oa.id IS NULL)) 
   GROUP
      BY ( t.catid = oa.id OR (t.catid IS NULL AND oa.id IS NULL)) 
       , t.catid
   ORDER
      BY COUNT(o.id) DESC
       , ( t.catid = oa.id OR (t.catid IS NULL AND oa.id IS NULL)) DESC
       , t.catid DESC
   LIMIT 7

内联视图t 基本上得到与第一个查询相同的结果，从类别表中获得（最多）7 个id 值的列表，或者从类别表中获得6 个id 值和一个NULL。

外部查询基本上做同样的事情，将content 与category 连接起来，但还会检查t 中是否有匹配的行。因为t 可能返回 NULL，所以我们有一个稍微复杂的比较，我们希望 NULL 值与 NULL 值匹配。 （MySQL 方便地为此提供了速记运算符，即 null 安全比较运算符 <=>，但我认为 postgresql 中没有，因此我们必须以不同的方式表达。

     a = b OR (a IS NULL AND b IS NULL)

下一点是让 GROUP BY 起作用，我们希望按内联视图 t 返回的 7 个值进行分组，或者，如果来自 t 的值不匹配，则将“其他”行组合在一起.我们可以通过在 GROUP BY 子句中使用布尔表达式来实现这一点。

我们基本上是在说“如果有来自 t 的匹配行，则按 '分组”（真或假），然后按来自 't' 的行分组。获取一个计数，然后按计数降序排列。

这未经测试，仅在桌面检查。

Answer 3

您可以使用嵌套聚合来解决此问题。内部聚合计算计数以及序号。您想取所有编号为 7 或更少的所有内容，然后将其他所有内容合并到 others 类别中：

SELECT (case when seqnum <= 7 then label else 'others' end) as label,
       (case when seqnum <= 7 then catid end) as catid, sum(cnt)
FROM (SELECT ca.name AS label, ca.id AS catid, COUNT(c.id) AS cnt,
             row_number() over (partition by ca.name, catid order by count(c.id) desc) as seqnum
      FROM contents c LEFT OUTER JOIN
           category ca
           ON ca.id = c.categoryid
      GROUP BY label, catid
     ) t
GROUP BY (case when seqnum <= 7 then label else 'others' end),
         (case when seqnum <= 7 then catid end) 
ORDER BY cnt DESC ;