随机化大型数据集

Question

我正在尝试找到一种从大型数据集中随机选择的方法。

我们预计数据集将增长到约 50 万条记录，因此找到一种在数据集增长时保持良好表现的方法非常重要。

我尝试了一种来自 http://forums.mysql.com/read.php?24,163940,262235#msg-262235 的技术，但它并不是完全随机的，而且它不能很好地与 LIMIT 子句配合使用，你并不总能得到你想要的记录数。

所以我想，由于 PK 是 auto_increment，我只需生成一个随机 id 列表并使用 IN 子句来选择我想要的行。这种方法的问题在于，有时我需要一组随机数据，其中记录具有特定状态，这种状态最多占总组的 5%。要完成这项工作，我首先需要找出我可以使用的具有特定状态的 ID，所以这也行不通。

我使用的是 mysql 5.1.46，MyISAM 存储引擎。
重要的是要知道选择随机行的查询将非常频繁地运行，并且它正在从中选择的表被频繁地附加到。

任何帮助将不胜感激！

Answer 1

你可以通过一些非规范化来解决这个问题：

• 构建一个包含与数据表相同的 pkey 和状态的辅助表
• 添加并填充状态组列，该列将是一种您自己自动编号的子键（相对于单个状态的基于 1 的自动增量）

Pkey    Status    StatusPkey
1       A         1
2       A         2
3       B         1
4       B         2
5       C         1
...     C         ...
n       C         m (where m = # of C statuses)

当您不需要过滤时，您可以如上所述在 pkey 上生成 rand #s。当您确实需要过滤时，然后针对您感兴趣的特定状态的 StatusPkeys 生成 rands。

有几种方法可以构建此表。您可以有一个定期运行的程序，也可以实时执行。后者会影响性能，因为计算 StatusPkey 可能会很昂贵。

Answer 2

查看 Jan Kneschke 的 this article...它很好地解释了解决此问题的不同方法的优缺点...

Answer 3

您可以有效地执行此操作，但您必须在两个查询中执行此操作。

首先获得一个随机偏移量，按符合您的 5% 条件的行数缩放：

SELECT ROUND(RAND() * (SELECT COUNT(*) FROM MyTable WHERE ...conditions...))

这将返回一个整数。接下来，在LIMIT 表达式中使用整数作为偏移量：

SELECT * FROM MyTable WHERE ...conditions... LIMIT 1 OFFSET ?

并非所有问题都必须在单个 SQL 查询中解决。