计算列中不同值（包括 NULL 值）的最快方法

Question

Transact-Sql Count Distinct 操作对列中的所有非空值进行计数。我需要计算一组表中每列的不同值的数量，包括空值（所以如果列中有空值，结果应该是(Select Count(Distinct COLNAME) From TABLE) + 1。

这将在数据库中每个表的每一列中重复。包括数百个表，其中一些表超过 1M 行。因为这需要在每一列上完成，所以为每一列添加索引不是一个好的选择。

这将作为 ASP.net 站点的一部分完成，因此与代码逻辑的集成也可以（即：这不必作为一个查询的一部分完成，但如果可以以良好的性能完成的话，然后更好）。

最有效的方法是什么？

---

测试后更新

我根据一张具有代表性的表格给出的答案测试了不同的方法。该表有 320 万条记录，几十列（少数有索引，大多数没有）。一列有 320 万个唯一值。其他列的范围从所有 Null（一个值）到最多 40K 个唯一值。对于每种方法，我进行了四次测试（每次尝试多次，平均结果）：一次 20 列，一次 5 列，1 列有很多值（3.2M）和 1 列有少量值（ 167)。以下是结果，按从快到慢的顺序排列

1. Count/GroupBy (Cheran)
2. CountDistinct+SubQuery (Ellis)
3. dense_rank (Eriksson)
4. Count+Max (Andriy)

测试结果（以秒为单位）：

   Method          20_Columns   5_Columns   1_Column (Large)   1_Column (Small)
1) Count/GroupBy      10.8          4.8            2.8               0.14       
2) CountDistinct      12.4          4.8            3                 0.7         
3) dense_rank        226           30              6                 4.33 
4) Count+Max          98.5         44             16                12.5        

注意事项：

• 有趣的是，最快的两种方法（到目前为止，两者之间只有很小的差异）都是为每列提交单独查询的方法（在结果 #2 的情况下，查询包括一个子查询，因此每列实际上提交了两个查询）。可能是因为与内存需求方面的性能损失相比，通过限制表扫描次数获得的收益很小（只是猜测）。
• 虽然dense_rank方法绝对是最优雅的，但它似乎并不能很好地扩展（见20列的结果，这是迄今为止四种方法中最差的），即使是小规模也不能与Count 的表现一较高下。

感谢您的帮助和建议！

Answer 1

SELECT COUNT(*)
FROM (SELECT ColumnName
      FROM TableName
      GROUP BY ColumnName) AS s;

GROUP BY 选择不同的值，包括 NULL。 COUNT(*) 将包含 NULL，而 COUNT(ColumnName) 会忽略 NULL。

Answer 2

我认为您应该尽量减少表扫描次数，并一次性计算一张表中的所有列。这样的事情值得一试。

;with C as
(
  select dense_rank() over(order by Col1) as dnCol1,
         dense_rank() over(order by Col2) as dnCol2
  from YourTable
)
select max(dnCol1) as CountCol1,
       max(dnCol2) as CountCol2
from C       

在SE-Data 测试查询

Answer 3

OP 自己的解决方案的开发：

SELECT
  COUNT(DISTINCT acolumn) + MAX(CASE WHEN acolumn IS NULL THEN 1 ELSE 0 END)
FROM atable

Answer 4

运行一个查询，计算不同值的数量，如果列中有任何 NULL，则加 1（使用子查询）

Select Count(Distinct COLUMNNAME) +
       Case When Exists 
                 (Select * from TABLENAME Where COLUMNNAME is Null) 
            Then 1 Else 0 End
From TABLENAME

Answer 5

你可以试试：

count(
distinct coalesce(
    your_table.column_1, your_table.column_2
    -- cast them if you want replace value from column are not same type
    )
) as COUNT_TEST

函数coalesce 帮助您将两列合并为replace not null 值。

我在我的案例中使用了这个，并成功获得了正确的结果。

Answer 6

不确定这是否是最快的，但可能值得测试。用例给 null 一个值。显然，您需要为实际数据中不会出现的空值选择一个值。根据查询计划，这将是 Cheran S 提出的 count(*) (group by) 解决方案的死胡同。

    SELECT 
        COUNT( distinct
                 (case when [testNull] is null then 'dbNullValue' else [testNull] end)
             )
    FROM [test].[dbo].[testNullVal]

用这种方法也可以统计多列

    SELECT 
        COUNT( distinct
                 (case when [testNull1] is null then 'dbNullValue' else [testNull1] end)
             ),
        COUNT( distinct
                 (case when [testNull2] is null then 'dbNullValue' else [testNull2] end)
             )
    FROM [test].[dbo].[testNullVal]