【问题标题】:Random selection in SQL ServerSQL Server 中的随机选择
【发布时间】:2018-12-04 01:08:01
【问题描述】:

我有两组,对于第一组中的每个值,我想应用第二组中的一些随机值。我选择的方法使用第一个选择和第二个交叉应用。一个简化的 MWE 如下:

DROP TABLE IF EXISTS #S;
CREATE TABLE #S (c CHAR(1));
INSERT INTO #S VALUES ('A'), ('B');
DROP TABLE IF EXISTS #T;
WITH idGen(id) AS (
    SELECT 1 
    UNION ALL 
    SELECT id + 1 FROM idGen WHERE id < 1000
) 
SELECT id INTO #T FROM idGen OPTION(MAXRECURSION 0);
DROP TABLE IF EXISTS #R;
SELECT c, id INTO #R FROM #S
CROSS APPLY (
    SELECT id, ROW_NUMBER() OVER (
        /* 
        -- this gives 100% overlap
        PARTITION BY c
        ORDER BY RAND(CHECKSUM(NEWID()))
        */
        -- this gives the expected ~10% overlap
        ORDER BY RAND(CHECKSUM(NEWID()) + CHECKSUM(c))
    ) AS R
    FROM #T 
) t
WHERE t.R <= 100;
SELECT COUNT(*) AS PercentOverlap -- ~10%
FROM #R rA JOIN #R rB
ON rB.id = rA.id AND rB.c = 'B'
WHERE rA.c = 'A';

虽然此解决方案有效,但我想知道为什么更改为(已注释的)分区方法不起作用?此外,使用此解决方案是否有任何注意事项,因为添加两个校验和感觉有点脏?

在实际问题中,第一个集合中还有一个计数,其中包含要从第二个集合中选择的随机值的数量,它替换了上面示例中的静态 100。但是,使用固定的 100 可以很容易地验证预期的重叠。

【问题讨论】:

  • 为什么不能使用 ...ORDER BY NEWID() 实现随机排序

标签: sql sql-server tsql random


【解决方案1】:

RAND() 函数是 SQL Server 中的运行时常量。这意味着通常会为查询评估一次。当您将值传递给 RAND 时,该值将用作起始种子。

您需要检查执行计划,然后您会看到优化器对函数进行评估的位置。如果没有产生预期结果,很可能优化器过于激进地对其进行了优化,并将所有“随机性”移到了循环之外。

此外,将NEWID() 包装成CHECKSUM() 和RAND() 是没有意义的。 简单的NEWID() 就足够了。或者,更好的是,设计用于产生随机数的函数,例如CRYPT_GEN_RANDOM()

您的查询的任何一个版本看起来都有些奇怪。我会这样写:

SELECT c, id INTO #R 
FROM #S
CROSS APPLY 
(
    SELECT TOP(100) -- or #S.SomeField instead of 100
        id
    FROM #T 
    ORDER BY CRYPT_GEN_RANDOM(4) -- generate 4 random bytes, usually it is enough
) AS t
;

这为来自#S 的每一行提供来自#T 的100 个随机行。

其实上面的查询不好。优化器再次看到内部查询(在CROSS APPLY 内)不依赖于外部查询并将其优化掉。 最终结果是随机行只被选中一次。

我们需要一些东西来让优化器为#S 的每一行运行内部查询。 一种方法是这样的:

SELECT c, id INTO #R 
FROM #S
CROSS APPLY 
(
    SELECT TOP(100) -- or #S.SomeField instead of 100
        id
    FROM #T 
    ORDER BY CRYPT_GEN_RANDOM(4) + CHECKSUM(c)
) AS t
;

内部查询中的某些内容以引用外部查询中的行。如果你输入TOP(#S.SomeField) 而不是常量TOP(100),则不需要+ CHECKSUM(c)。

这是第一个变体的计划。可以看到#T被扫描了一次(读取了1000行)。

这是第二个变体的计划。可以看到#T被扫描了两次(读取了2000行)。

【讨论】:

    猜你喜欢
    • 2012-04-15
    • 1970-01-01
    • 2010-10-25
    • 2012-04-05
    • 1970-01-01
    • 1970-01-01
    • 2016-06-17
    • 1970-01-01
    • 2011-02-13
    相关资源
    最近更新 更多