PHP 一般原则：一个大的 SQL 调用更好还是很多小的 SQL 调用更好

Question

这是一个优化问题 RE：第一原则.. 想象一下我正在做一个大的繁重比较.. 30k 文件与 30k 数据库条目.. 将一个大 MySQL 放入一个数组然后循环遍历物理是最有效的吗？文件检查与数组还是更好地循环文件然后一次执行一行 MySQL 调用..

这里有一些伪代码来帮助解释：

 //is this faster?
 foreach($recursiveFileList as $fullpath){
     $Record = $db->queryrow("SELECT * FROM files WHERE fullpath='".$fullpath."'");
     //do some $Record logic           
 }


 //or is this faster
 $BigList = array();
 $db->query("SELECT * FROM files");
 while($Record = $db->rows()){
     $BigList[$Record['fullpath']] = $Record;
 }

 foreach($recursiveFileList as $fullpath){
     if (isset($BigList[$fullpath])){
         $Record = $BigList[$fullpath];
         //do some $Record logic
     }   
 }

Answer 1

更新：如果您始终知道您的 $recursiveFileList 是表的 100%，那么每行执行一次查询将是不必要的开销。在这种情况下，只需使用SELECT * FROM files。

我不会使用您展示的两种样式中的任何一种。

第一种样式为每个单独的完整路径运行一个单独的 SQL 查询。这会导致一些 SQL 解析、优化等开销。请记住，MySQL 没有能力记住从类似查询的一次调用到下一次的查询优化。它每次都分析并执行查询优化。开销相对较小，但会增加。

第二种样式显示从表中获取所有行，并在应用程序层对其进行排序。这会产生 很多 开销，因为通常您的 $recursiveFileList 可能仅匹配表中行的 1% 或 0.1% 甚至更小的部分。我已经看到通过网络传输大量数据实际上耗尽了 1Gbps 网络交换机的情况，这为应用程序的每秒请求设置了上限。

明智地使用查询条件和索引，让 RDBMS 检查并仅返回匹配的行。

您展示的两种样式并不是唯一的选择。我的建议是使用 range 查询来匹配单个查询中的多个文件 fullpath 值。

$sql = "SELECT * FROM files WHERE fullpath IN (" 
    . array_fill(0, count($recursiveFileList), "?") . ")";
$stmt = $pdo->prepare($sql);
$stmt->execute($recursiveFileList);
while ($row = $stmt->fetch()) {
    //do some $Record logic           
}

注意，我还使用带有? 参数占位符的准备查询，然后在调用execute() 时分别传递完整路径值的数组。 PDO 非常适合这一点，因为您可以只传递一个数组，并且数组元素与参数占位符匹配。

这也解决了这种情况下SQL注入的风险。