MySQL“IN”运算符在（大？）个值上的性能

Question

我最近一直在尝试使用 Redis 和 MongoDB，似乎经常会在 MongoDB 或 Redis 中存储 id's 数组。因为我在询问 MySQL IN 运算符，所以我会坚持使用 Redis 来回答这个问题。

我想知道在 IN 运算符中列出大量 (300-3000) 的 id 的性能如何，看起来像这样：

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)

想象一下像 products 和 categories 表这样简单的东西，您通常可以将它们连接在一起以从某个 获取 products类别。在上面的示例中，您可以看到在 Redis (category:4:product_ids) 中的给定类别下，我从 id 4 的类别中返回所有产品 id，并将它们放在上述 SELECT 查询中的 IN 运算符中。

性能如何？

这是“视情况而定”的情况吗？或者是否有具体的“这是（不）可接受的”或“快”或“慢”，或者我应该添加LIMIT 25，还是没有帮助？

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)
LIMIT 25

或者我应该修剪 Redis 返回的产品 ID 数组以将其限制为 25，并且只将 25 个 ID 添加到查询中，而不是 3000 和 LIMIT-ing 从查询内部将其添加到 25？

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 25)

非常感谢任何建议/反馈！

Answer 1

一般来说，如果IN 列表变得太大（对于一些定义不明确的“太大”值，通常在 100 或更小的区域内），使用连接会变得更有效，创建一个如果需要，可以使用临时表来保存数字。

如果数字是一个密集的集合（没有间隙 - 样本数据表明），那么您可以使用 WHERE id BETWEEN 300 AND 3000 做得更好。

但是，假设集合中存在间隙，此时最好使用有效值列表（除非间隙的数量相对较少，在这种情况下您可以使用：

WHERE id BETWEEN 300 AND 3000 AND id NOT BETWEEN 742 AND 836

或者任何差距。

Answer 2

我一直在做一些测试，as David Fells says in his answer，优化得很好。作为参考，我创建了一个包含 1,000,000 个寄存器的 InnoDB 表，并使用带有 500,000 个随机数的“IN”运算符进行选择，在我的 MAC 上只需要 2.5 秒；仅选择偶数寄存器需要 0.5 秒。

我遇到的唯一问题是我必须从my.cnf 文件中增加max_allowed_packet 参数。如果没有，就会产生一个神秘的“MYSQL has gone away”错误。

这是我用来进行测试的 PHP 代码：

$NROWS =1000000;
$SELECTED = 50;
$NROWSINSERT =15000;

$dsn="mysql:host=localhost;port=8889;dbname=testschema";
$pdo = new PDO($dsn, "root", "root");
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

$pdo->exec("drop table if exists `uniclau`.`testtable`");
$pdo->exec("CREATE  TABLE `testtable` (
        `id` INT NOT NULL ,
        `text` VARCHAR(45) NULL ,
        PRIMARY KEY (`id`) )");

$before = microtime(true);

$Values='';
$SelValues='(';
$c=0;
for ($i=0; $i<$NROWS; $i++) {
    $r = rand(0,99);
    if ($c>0) $Values .= ",";
    $Values .= "( $i , 'This is value $i and r= $r')";
    if ($r<$SELECTED) {
        if ($SelValues!="(") $SelValues .= ",";
        $SelValues .= $i;
    }
    $c++;

    if (($c==100)||(($i==$NROWS-1)&&($c>0))) {
        $pdo->exec("INSERT INTO `testtable` VALUES $Values");
        $Values = "";
        $c=0;
    }
}
$SelValues .=')';
echo "<br>";


$after = microtime(true);
echo "Insert execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);  
$sql = "SELECT count(*) FROM `testtable` WHERE id IN $SelValues";
$result = $pdo->prepare($sql);  
$after = microtime(true);
echo "Prepare execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);

$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Random selection = $c Time execution time =" . ($after-$before) . "s<br>";



$before = microtime(true);

$sql = "SELECT count(*) FROM `testtable` WHERE id %2 = 1";
$result = $pdo->prepare($sql);
$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Pairs = $c Exdcution time=" . ($after-$before) . "s<br>";

结果：

Insert execution time =35.2927210331s
Prepare execution time =0.0161771774292s
Random selection = 499102 Time execution time =2.40285992622s
Pairs = 500000 Exdcution time=0.465420007706s

Answer 3

您可以创建一个临时表，您可以在其中放置任意数量的 ID 并运行嵌套查询 示例：

CREATE [TEMPORARY] TABLE tmp_IDs (`ID` INT NOT NULL,PRIMARY KEY (`ID`));

然后选择：

SELECT id, name, price
FROM products
WHERE id IN (SELECT ID FROM tmp_IDs);

Answer 4

在大型记录列表上使用带有大型参数集的IN 实际上会很慢。

在我最近解决的案例中，我有两个 where 子句，一个有 2,50 个参数，另一个有 3,500 个参数，查询包含 4000 万条记录的表。

使用标准 WHERE IN，我的查询花费了 5 分钟。通过对 IN 语句使用子查询（将参数放在它们自己的索引表中），我将查询缩短到两秒。

根据我的经验，曾为 MySQL 和 Oracle 工作过。

Answer 5

IN 很好，并且优化得很好。确保在索引字段上使用它就可以了。

它在功能上等同于：

(x = 1 OR x = 2 OR x = 3 ... OR x = 99)

就数据库引擎而言。

编辑：请注意此答案写于 2011 年，请参阅此答案的 cmets 讨论最新的 MySQL 功能。

Answer 6

当您为IN 运算符提供许多值时，它首先必须对其进行排序以删除重复项。至少我怀疑这一点。所以提供太多值是不好的，因为排序需要 N log N 时间。

我的经验证明，将一组值分割成更小的子集并组合应用程序中所有查询的结果可以提供最佳性能。我承认我在不同的数据库（Pervasive）上收集了经验，但同样的情况可能适用于所有引擎。我每组的值是 500-1000。或多或少明显变慢了。