如何更新mysql数据库中的数千行

Question

我试图更新我的数据库中的 100.000 行，下面的代码应该这样做，但我总是得到一个错误：

错误：命令不同步；你现在不能运行这个命令

因为它是一个更新，所以我不需要结果，只想摆脱它们。使用 $count 变量是为了让我的数据库获得大量更新而不是一次大更新。 （由于数据库的某些限制，一个大更新无法正常工作）。

我尝试了很多不同的东西，比如 mysqli_free_result 等等......没有任何效果。

    global $mysqliObject;

    $count = 0;    
    $statement = "";

    foreach ($songsArray as $song) {

        $id = $song->getId();
        $treepath = $song->getTreepath();

        $statement = $statement."UPDATE songs SET treepath='".$treepath."' WHERE id=".$id."; ";
        $count++;

        if ($count > 10000){

            $result = mysqli_multi_query($mysqliObject, $statement);

            if(!$result) {
                 die('<br/><br/>Error1: ' . mysqli_error($mysqliObject));    
            }



            $count = 0;

            $statement = ""; 
        }


    }

Answer 1

按照 DaveRandom 和 StevenVI 的建议，使用准备好的查询将减少 mysqld 进程中的 CPU 负载。但是在这种情况下，我怀疑使用准备好的查询会对您的运行时产生重大影响。您面临的挑战是您尝试更新 songs 表中的 100K 行，这将涉及物理磁盘子系统上的大量物理 I/O。正是这些物理延迟（比如每个 PIO 约 10 毫秒）将主导运行时。诸如每行中包含的内容、您在表上使用多少索引（尤其是那些涉及树路径的索引）等因素都将融入这种组合。

准备一个简单语句的实际 CPU 成本

UPDATE songs SET treepath="some treepath" WHERE id=12345;

将在整个物理 I/O 延迟中丢失，其相对大小在很大程度上取决于您存储数据的物理子系统的性质：单个 SATA 磁盘；固态硬盘；一些具有大缓存和 SSD 支持的 NAS ...

您需要在这里重新考虑您的整体策略，特别是如果您同时使用songs 表作为通过网络前端进行交互式请求的资源。更新 100K 行将需要一些时间——如果您按存储顺序更新 100K 中的 100K，则时间会更少，因为这将更符合 MYD 组织，并且写入缓存会更好；如果您在 1M 行中以随机顺序更新 100K 行，则更多，其中 PIO 的数量会更多。

当你这样做时，你的 D/B 的整体性能会严重下降。

• 您是想尽量减少对并行使用数据库的影响，还是只是尝试将其作为专用批处理操作与其他服务离线？

• 您的目标是最小化总运行时间，还是在某些整体影响约束下保持合理的短，或者甚至只是在不死的情况下完成。

我建议您有两种明智的方法：(i) 将此作为适当的批处理活动，将 D/B 离线到其他服务。在这种情况下，您可能希望对表进行锁定，并使用 ALTER TABLE ... DISABLE/ENABLE KEYS 将更新括起来。 (ii) 以小得多的更新集和每组之间的延迟以允许 D/B 刷新到磁盘的方式进行涓流更新。

无论如何，我会降低批量大小。 multi_query 从本质上优化了调用进程外 mysqld 所涉及的 RPC 开销。一批 10 人说减少了 90%。在此之后您的收益会递减——尤其是说更新将是物理 I/O 密集型的。

Answer 2

使用准备好的语句试试这段代码：

// Create a prepared statement
$query = "
  UPDATE `songs`
  SET `treepath` = ?
  WHERE `id` = ?
";
$stmt = $GLOBALS['mysqliObject']->prepare($query); // Global variables = bad

// Loop over the array
foreach ($songsArray as $key => $song) {

  // Get data about this song
  $id = $song->getId();
  $treepath = $song->getTreepath();

  // Bind data to the statement
  $stmt->bind_param('si', $treepath, $id);

  // Execute the statement
  $stmt->execute();

  // Check for errors
  if ($stmt->errno) {
    echo '<br/><br/>Error: Key ' . $key . ': ' . $stmt->error;
    break;
  } else if ($stmt->affected_rows < 1) {
    echo '<br/><br/>Warning: No rows affected by object at key ' . $key;
  }

  // Reset the statment
  $stmt->reset();

}

// We're done, close the statement
$stmt->close();

Answer 3

我会这样做：

  $link = mysqli_connect('host');
  if ( $stmt = mysqli_prepare($link, "UPDATE songs SET treepath=? WHERE id=?") ) {

    foreach ($songsArray as $song) {

        $id = $song->getId();
        $treepath = $song->getTreepath();

        mysqli_stmt_bind_param($stmt, 's', $treepath); // Assuming it's a string...
        mysqli_stmt_bind_param($stmt, 'i', $id);
        mysqli_stmt_execute($stmt);
    }
    mysqli_stmt_close($stmt);
  }
  mysqli_close($link);

或者当然你是普通的mysql_query，但包含在事务中。

Answer 4

我找到了另一种方法...

由于这不是生产服务器 - 更新 100k 行的最快方法是删除所有行并使用新的计算值从头开始插入 100k。删除所有内容并插入所有内容而不是更新似乎有点奇怪，但它更快。

之前：小时 现在：秒！

Answer 5

我建议在执行多次更新之前锁定表并禁用键。 这将避免数据库引擎停止（至少在我的 300,000 行更新的情况下）。

LOCK TABLES `TBL_RAW_DATA` WRITE;
/*!40000 ALTER TABLE `TBL_RAW_DATA` DISABLE KEYS */;

UPDATE TBL_RAW_DATA SET CREATION_DATE = ADDTIME(CREATION_DATE,'01:00:00') WHERE ID_DATA >= 1359711;

/*!40000 ALTER TABLE `TBL_RAW_DATA` ENABLE KEYS */;
UNLOCK TABLES;