插入 6000 条记录，执行时间增加 5-10 秒 [重复]

Question

我的应用程序是数字标牌播放器。我们需要定期将远程播放证明数据发送回云端。缓存播放证明数据以帮助解决网络中断问题。

玩家一天可以轻松创建 6,000 条 POP 记录。当网络恢复正常时，这可能会导致从一个演示文稿转移到另一个演示文稿时出现相当严重的延迟。

我正在考虑使用 MySql 的异步模式来尝试缓解这种延迟......但我认为它并没有像我想的那样做。

我正在循环一个大型结果集，我仍然需要等待该循环完成。我是否捆绑了 6,000 个插页并一次全部发送？如果我仍在等待异步数据库调用，我的 AJAX 会在什么时候返回结果？它只是不能以这种方式工作吗？ Google 返回的结果不到一页，而 Docs 并没有真正说明任何问题。

$sql = "SELECT MAX(time) from `pop` where `displayId` = ".$_GET['id'];
$res = $local->query($sql);
$row = $res->fetch_row();
//$log->lwrite("Last Updated is ".$row[0]);

$sql = "SELECT * FROM `pop` 
   WHERE `displayId` = ".$_GET['id']
   ." AND `time` > '".$row[0]."' LIMIT 1000";
$local->query($sql, MYSQLI_ASYNC);
if ($res = $local->reap_async_query()) {
    while ($row = $res->fetch_row()) {
        $log->lwrite(print_r($row, 1));
        $sql = "INSERT INTO `pop` 
          (`displayId`, `time`, `duration`, `presId`) 
          VALUES ('".$row[1]."', '".$row[2]."', '".$row[3]."', '".$row[4]."')";
        $remote->query($sql, MYSQLI_ASYNC);
    }
}

我已经接受了我将不得不以不同的方式来做这件事的想法。现在我只是好奇。 :)

我错过了什么吗？

感谢您的时间和帮助。

Answer 1

您的代码的第一个问题是您不应该在循环中执行 INSERT 语句。正确的做法是在单个 INSERT 语句中将多条记录插入数据库。这仅受 MySQL 的 max_allowed_pa​​cket 设置限制，该设置限制了查询的长度。通常这是相当大的，可以轻松容纳 6000 条记录。

$sql = "SELECT * FROM `pop` 
   WHERE `displayId` = ".(int)$_GET['id']
   ." AND `time` > '".$local->real_escape_string($row[0])."' LIMIT 1000";
$res = $local->query($sql) or die($local->error);// no async
$sql = '';
while ($row = $res->fetch_row()) {
    $row = array_map(array($local, 'real_escape_string'), $row);// must have sanitization
    if ($sql) $sql.= ',';// separate each record with a comma
    $sql.= "('".$row[1]."', '".$row[2]."', '".$row[3]."', '".$row[4]."')"
    $log->lwrite(print_r($row, 1));
}

$sql = "INSERT INTO `pop` 
  (`displayId`, `time`, `duration`, `presId`) 
  VALUES $sql";
$remote->query($sql, MYSQLI_ASYNC);// Do only one INSERT query instead of thousands

如果您在此处使用 MYSQLI_ASYNC，PHP 将不会等待插入完成，并且您的 AJAX 调用将在不等待远程数据库查询完成的情况下完成。

Answer 2

您是在谈论您的 php 服务器和 DBMS 之间的网络吗？那样的话你还真的不了解 async mysqli。

使用异步查询的目的是应用 DML 而不会阻塞您的 PHP 代码。它不打算将命令排队到可能定期脱机的系统。您也不应该直接在 Internet 上公开 DBMS。它提供了一个窗口，您可以在其中使用 php 代码执行其他操作（例如运行其他查询或向客户端发送数据）。不打算在脚本完成后对数据进行操作。

有很多方法可以解决这个问题，其中大多数涉及在连接的两端运行守护程序 - 这可能是大多数人的主要限制。你还没有说你在每一端对系统有什么控制权。一个折衷的解决方案是使用卫星系统上的作业。当然，您不应该尝试在处理程序中为 Web 请求复制数据。

您是否尝试在本地复制整个表？如果是这样，为什么不使用 MySQL 的内置复制（通过 VPN 链接）。