从 DB2 数据库填充 MySQL 数据库答案

【问题标题】：Populating a MySQL database from a DB2 database从 DB2 数据库填充 MySQL 数据库
【发布时间】：2013-05-22 00:09:59
【问题描述】：

我目前有一个用于从 DB2 服务器填充 MySQL 数据库的脚本。它可以工作，但似乎以极慢的速度将行插入 MySQL。脚本运行时，服务器进程以大约 1% 的 CPU 执行，我想知道如何加快插入速度。

出于安全原因，DB2 数据库的管理员只为我们提供了数据库中所需表的只读视图。

这是我的脚本：

<?php

$selectQuery = "SELECT 
                    PK AS COL1,
                    COL2,
                    COL3,
                    COL4,
                    CASE WHEN DATE > '" . date('Y-m-d') . "'
                      THEN 1
                      ELSE 0
                      END AS COL5
                FROM table1";

$insertQuery = "INSERT INTO `table1` (
                    `fk`,
                    `col2`,
                    `col3`,
                    `col4`,
                    `col5`,
                    `last_updated`
                )
                SELECT :col1, f.`fid`, :col3, :col4, :col5, NOW()
                    FROM f
                    WHERE f.`code` = :col2
                    LIMIT 1
                ON DUPLICATE KEY UPDATE
                    `col2` = VALUES(col2),
                    `col3` = VALUES(col3),
                    `col4` = VALUES(col4),
                    `col5` = VALUES(col5),
                    `last_updated` = NOW();";

$paramTypes = array(
    'col1' => PDO::PARAM_STR,
    'col2' => PDO::PARAM_STR,
    'col3' => PDO::PARAM_STR,
    'col4' => PDO::PARAM_STR,
    'col5' => PDO::PARAM_BOOL
);

$sync->populate($selectQuery, $insertQuery, $paramTypes);

在同步类中（$sync 是其实例的类）：

<?php

class SyncObject {
    private $db2;
    private $db2_user = '...';
    private $db2_pass = '...';
    private $db2_dbname = '...';
    private $db2_host = 'secure.example.net';
    private $db2_port = ...;

    private $mysql;

    public function __construct() {
        // Establish a DB2 connection
        $this->db2 = db2_pconnect("DATABASE={$this->db2_dbname};HOSTNAME={$this->db2_host};PORT={$this->db2_port};PROTOCOL=TCPIP;UID={$this->db2_user};PWD={$this->db2_pass};", '', '');

        // Establish a MySQL connection
        $this->mysql = new PDO('mysql:host=secure-mysql.example.net;port=...;dbname=...', '...', '...', array(PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION));
}

    public function populate($selectQuery, $insertQuery, $paramTypes = array()) {

        $insStmt = $this->mysql->prepare($insertQuery);

        foreach ($paramTypes as $parameterName => $parameterType) {

            $$parameterName = '';

            $insStmt->bindParam(":$parameterName", $$parameterName, $parameterType);
        }

        // Retrieve the data

        $stmt = db2_exec($this->db2, $selectQuery);

        while ($row = db2_fetch_assoc($stmt)) {
            foreach ($row as $fieldName => &$fieldValue) {

                $fieldName = strtolower($fieldName);

                $$fieldName = trim($fieldValue);

                $insStmt->execute();
            }
        }
    }
}

顺便说一下，这个populate 方法被调用了六次，每个表一次。我在这里只展示了一张桌子。表的大小从 20 行到 2100 万行不等。

我在想我可以在查询中绑定大写参数以避免foreach 中的strtolower 函数，但是除了那个微小的变化之外，还有关于如何提高脚本性能的建议吗？

【问题讨论】：

标签： php mysql performance db2 database-performance

【解决方案1】：

无论您做什么，按行插入数据都不会很好地执行。在我看来，更好的方法是使用 DB2 EXPORT 命令将 DB2 表数据提取到 CSV 文件中，然后使用 MySQL LOAD DATA 将它们加载到目标数据库中。我对 PHP 不是很熟悉，但我认为它应该允许您使用 exec() 运行外部命令。

您至少需要安装 DB2 Data Server Runtime Client，才能运行 DB2 命令行处理器以进行 EXPORT。

【讨论】：

目前这对我们来说不是一个选项，因为我们对服务器的控制很少，但是当我们迁移到更新的服务器时，我会记住这个建议。谢谢！

【解决方案2】：

尝试将整个数据导出为 csv 文件格式，然后使用加载数据实用程序将其加载到您的 MySQL 数据库中。加载和导出实用程序的执行速度肯定比获取单行并逐一插入要快。

【讨论】：

【解决方案3】：

在简要调查了 InnoDB 如何执行操作之后，我做了以下操作以加快插入速度：

使用transactions（即关闭自动提交）：$this->mysql->beginTransaction()。每个事务的查询量是有限的，尽管我很确定当 InnoDB 缓冲区填满时 MySQL 会提交
Disable foreign key checks：SET foreign_key_checks = 0。 DB2 数据库具有相当高的完整性，因此这是一个安全的操作。
禁用唯一密钥检查：SET unique_checks = 0。 DB2 数据库已经强制使用唯一键，因此这是安全的。
Enable uncommitted reads: SET SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED.

要考虑的其他事项是 InnoDB system variables，但由于对服务器的访问受限，这些内容无法真正更改。

此页面也可能有所帮助，尽管它列出了此处列出的大部分内容：http://dev.mysql.com/doc/refman/5.6/en/optimizing-innodb-bulk-data-loading.html

【讨论】：