最佳实践：在 PHP 中导入 mySQL 文件；拆分查询

Question

我有一种情况，我必须在共享托管服务提供商上更新网站。该网站有一个CMS。使用 FTP 上传 CMS 的文件非常简单。

我还必须导入一个大的（相对于 PHP 脚本的范围）数据库文件（大约 2-3 MB 未压缩）。 Mysql 已关闭，无法从外部访问，所以我必须使用 FTP 上传文件，然后启动 PHP 脚本来导入它。遗憾的是，我无法访问mysql 命令行函数，因此我必须使用本机 PHP 对其进行解析和查询。我也不能使用 LOAD DATA INFILE。我也不能使用任何类型的交互式前端，如 phpMyAdmin，它需要以自动化方式运行。我也不能用mysqli_multi_query()。

是否有人知道或有一个已经编码的简单解决方案，该解决方案可靠将此类文件拆分为单个查询（可能有多行语句）并运行查询。我想避免自己开始摆弄它，因为我可能会遇到很多问题（如何检测字段分隔符是否是数据的一部分；如何处理备忘录字段中的换行符；等等在）。 必须为此提供现成的解决方案。

Answer 1

http://www.ozerov.de/bigdump/ 在导入 200+ MB sql 文件时对我非常有用。

注意： SQL 文件应该已经存在于服务器中，以便可以毫无问题地完成该过程

Answer 2

首先感谢这个话题。这为我节省了很多时间:) 让我对你的代码做些小修改。 有时，如果 TRIGGERS 或 PROCEDURES 在转储文件中，仅检查 ; 是不够的。分隔符。 在这种情况下可能是 sql 代码中的 DELIMITER [something]，表示语句不会以 ; 结尾但是[某事]。比如xxx.sql中的一段：

    DELIMITER //
    CREATE TRIGGER `mytrigger` BEFORE INSERT ON `mytable`
    FOR EACH ROW BEGIN
         SET NEW.`create_time` = NOW();
    END
    //
    DELIMITER ;

所以首先需要有一个 falg，以检测该查询不以 ; 结尾。 并删除未量化的查询块，因为 mysql_query 不需要分隔符 （分隔符是字符串的结尾） 所以 mysql_query 需要这样的东西：

    CREATE TRIGGER `mytrigger` BEFORE INSERT ON `mytable`
    FOR EACH ROW BEGIN
         SET NEW.`create_time` = NOW();
    END;

所以做一点工作，这里是固定的代码：

    function SplitSQL($file, $delimiter = ';')
    {
        set_time_limit(0);            
        $matches = array();
        $otherDelimiter = false;
        if (is_file($file) === true) {
            $file = fopen($file, 'r');
            if (is_resource($file) === true) {
                $query = array();
                while (feof($file) === false) {
                    $query[] = fgets($file);
                    if (preg_match('~' . preg_quote('delimiter', '~') . '\s*([^\s]+)$~iS', end($query), $matches) === 1){     
                        //DELIMITER DIRECTIVE DETECTED
                        array_pop($query); //WE DON'T NEED THIS LINE IN SQL QUERY
                        if( $otherDelimiter = ( $matches[1] != $delimiter )){
                        }else{
                            //THIS IS THE DEFAULT DELIMITER, DELETE THE LINE BEFORE THE LAST (THAT SHOULD BE THE NOT DEFAULT DELIMITER) AND WE SHOULD CLOSE THE STATEMENT                                
                            array_pop($query);
                            $query[]=$delimiter;
                        }                                                                                    
                    }                        
                    if ( !$otherDelimiter && preg_match('~' . preg_quote($delimiter, '~') . '\s*$~iS', end($query)) === 1) {                            
                        $query = trim(implode('', $query));
                        if (mysql_query($query) === false){
                            echo '<h3>ERROR: ' . $query . '</h3>' . "\n";
                        }else{
                            echo '<h3>SUCCESS: ' . $query . '</h3>' . "\n";
                        }
                        while (ob_get_level() > 0){
                            ob_end_flush();
                        }
                        flush();                        
                    }
                    if (is_string($query) === true) {
                        $query = array();
                    }
                }                    
                return fclose($file);
            }
        }
        return false;
}

我希望我也可以帮助别人。 祝你有美好的一天！

Answer 3

如果不进行解析，就无法可靠地拆分查询。这是无法使用正则表达式正确拆分的有效 SQL。

SELECT ";"; SELECT ";\"; a;";
SELECT ";
    abc";

我用 PHP 编写了一个包含查询标记器的小型 SqlFormatter 类。我向它添加了一个 splitQuery 方法，可以可靠地拆分所有查询（包括上面的示例）。

https://github.com/jdorn/sql-formatter/blob/master/SqlFormatter.php

如果不需要，可以删除格式和突出显示方法。

一个缺点是它需要整个 sql 字符串都在内存中，如果您正在处理巨大的 sql 文件，这可能是一个问题。我敢肯定，只要稍加修改，您就可以让 getNextToken 方法在文件指针上工作。

Answer 4

已经回答：Loading .sql files from within PHP 另外：

• http://webxadmin.free.fr/article/import-huge-mysql-dumps-using-php-only-342.php
• http://www.phpbuilder.com/board/showthread.php?t=10323180
• http://forums.tizag.com/archive/index.php?t-3581.html

Answer 5

导出

第一步是以合理的格式获取输入，以便在导出时进行解析。从你的问题 看来您可以控制此数据的导出，但不能控制导入。

~: mysqldump test --opt --skip-extended-insert | grep -v '^--' | grep . > test.sql

这会将排除所有注释行和空白行的测试数据库转储到 test.sql 中。它还禁用 扩展插入，意味着每行有一个 INSERT 语句。这将有助于限制内存使用 在导入期间，但以导入速度为代价。

导入

导入脚本就这么简单：

<?php

$mysqli = new mysqli('localhost', 'hobodave', 'p4ssw3rd', 'test');
$handle = fopen('test.sql', 'rb');
if ($handle) {
    while (!feof($handle)) {
        // This assumes you don't have a row that is > 1MB (1000000)
        // which is unlikely given the size of your DB
        // Note that it has a DIRECT effect on your scripts memory
        // usage.
        $buffer = stream_get_line($handle, 1000000, ";\n");
        $mysqli->query($buffer);
    }
}
echo "Peak MB: ",memory_get_peak_usage(true)/1024/1024;

这将使用非常少的内存，如下所示：

daves-macbookpro:~ hobodave$ du -hs test.sql 
 15M    test.sql
daves-macbookpro:~ hobodave$ time php import.php 
Peak MB: 1.75
real    2m55.619s
user    0m4.998s
sys 0m4.588s

这说明您在不到 3 分钟的时间内处理了一个 15MB 的 mysqldump，其 RAM 使用量峰值为 1.75 MB。

备用导出

如果您有足够高的 memory_limit 并且速度太慢，您可以使用以下导出尝试：

~: mysqldump test --opt | grep -v '^--' | grep . > test.sql

这将允许扩展插入，即在单个查询中插入多行。以下是同一数据库的统计数据：

daves-macbookpro:~ hobodave$ du -hs test.sql 
 11M    test.sql
daves-macbookpro:~ hobodave$ time php import.php 
Peak MB: 3.75
real    0m23.878s
user    0m0.110s
sys 0m0.101s

请注意，它在 3.75 MB 时使用了超过 2 倍的 RAM，但需要大约 1/6 的时间。我建议尝试这两种方法，看看哪种方法适合您的需求。

编辑：

我无法使用任何 CHAR、VARCHAR、BINARY、VARBINARY 和 BLOB 字段类型在任何 mysqldump 输出中逐字显示换行符。如果您确实有 BLOB/BINARY 字段，请使用以下内容以防万一：

~: mysqldump5 test --hex-blob --opt | grep -v '^--' | grep . > test.sql

Answer 6

您可以使用 phpMyAdmin 来导入文件。即使它很大，只需使用 UploadDir 配置目录，将其上传到那里并从 phpMyAdmin 导入页面中选择它。一旦文件处理接近 PHP 限制，phpMyAdmin 会中断导入，再次向您显示导入页面，其中预定义的值指示继续导入的位置。

Answer 7

我遇到了同样的问题。我使用正则表达式解决了它：

function splitQueryText($query) {
    // the regex needs a trailing semicolon
    $query = trim($query);

    if (substr($query, -1) != ";")
        $query .= ";";

    // i spent 3 days figuring out this line
    preg_match_all("/(?>[^;']|(''|(?>'([^']|\\')*[^\\\]')))+;/ixU", $query, $matches, PREG_SET_ORDER);

    $querySplit = "";

    foreach ($matches as $match) {
        // get rid of the trailing semicolon
        $querySplit[] = substr($match[0], 0, -1);
    }

    return $querySplit;
}

$queryList = splitQueryText($inputText);

foreach ($queryList as $query) {
    $result = mysql_query($query);
}

Answer 8

这是一个内存友好的函数，应该能够在单个查询中拆分一个大文件，而无需一次打开整个文件：

function SplitSQL($file, $delimiter = ';')
{
    set_time_limit(0);

    if (is_file($file) === true)
    {
        $file = fopen($file, 'r');

        if (is_resource($file) === true)
        {
            $query = array();

            while (feof($file) === false)
            {
                $query[] = fgets($file);

                if (preg_match('~' . preg_quote($delimiter, '~') . '\s*$~iS', end($query)) === 1)
                {
                    $query = trim(implode('', $query));

                    if (mysql_query($query) === false)
                    {
                        echo '<h3>ERROR: ' . $query . '</h3>' . "\n";
                    }

                    else
                    {
                        echo '<h3>SUCCESS: ' . $query . '</h3>' . "\n";
                    }

                    while (ob_get_level() > 0)
                    {
                        ob_end_flush();
                    }

                    flush();
                }

                if (is_string($query) === true)
                {
                    $query = array();
                }
            }

            return fclose($file);
        }
    }

    return false;
}

我在一个大型 phpMyAdmin SQL 转储上对其进行了测试，它运行良好。

---

部分测试数据：

CREATE TABLE IF NOT EXISTS "test" (
    "id" INTEGER PRIMARY KEY AUTOINCREMENT,
    "name" TEXT,
    "description" TEXT
);

BEGIN;
    INSERT INTO "test" ("name", "description")
    VALUES (";;;", "something for you mind; body; soul");
COMMIT;

UPDATE "test"
    SET "name" = "; "
    WHERE "id" = 1;

以及相应的输出：

SUCCESS: CREATE TABLE IF NOT EXISTS "test" ( "id" INTEGER PRIMARY KEY AUTOINCREMENT, "name" TEXT, "description" TEXT );
SUCCESS: BEGIN;
SUCCESS: INSERT INTO "test" ("name", "description") VALUES (";;;", "something for you mind; body; soul");
SUCCESS: COMMIT;
SUCCESS: UPDATE "test" SET "name" = "; " WHERE "id" = 1;

Answer 9

单页 PHPMyAdmin - 管理员 - 只有一个 PHP 脚本文件。 检查：http://www.adminer.org/en/

Answer 10

当 StackOverflow 以 XML 格式发布他们每月的数据转储时，我编写了 PHP 脚本将其加载到 MySQL 数据库中。我在几分钟内导入了大约 2.2 GB 的 XML。

我的技术是prepare() 一个INSERT 语句，其中列值的参数占位符。然后使用XMLReader 循环XML 元素和execute() 我准备好的查询，插入参数值。我选择 XMLReader 是因为它是一个流式 XML 阅读器；它以增量方式读取 XML 输入，而不需要将整个文件加载到内存中。

您还可以使用 fgetcsv() 一次读取 CSV 文件一行。

如果您要导入 InnoDB 表，我建议显式启动和提交事务，以减少自动提交的开销。我每 1000 行提交一次，但这是任意的。

我不打算在这里发布代码（因为 StackOverflow 的许可政策），而是在伪代码中：

connect to database
open data file
PREPARE parameterizes INSERT statement
begin first transaction
loop, reading lines from data file: {
    parse line into individual fields
    EXECUTE prepared query, passing data fields as parameters
    if ++counter % 1000 == 0,
        commit transaction and begin new transaction
}
commit final transaction

用 PHP 编写这段代码不是火箭科学，当使用准备好的语句和显式事务时，它运行得非常快。这些功能在过时的mysql PHP 扩展中不可用，但如果您使用mysqli 或PDO_MySQL，则可以使用它们。

我还添加了一些方便的东西，例如错误检查、进度报告以及当数据文件不包含某个字段时对默认值的支持。

我在一个abstract PHP 类中编写了我的代码，我为我需要加载的每个表进行了子类化。每个子类声明它要加载的列，并按名称（如果数据文件是 CSV，则按位置）将它们映射到 XML 数据文件中的字段。

Answer 11

你不能安装 phpMyAdmin，gzip 文件（这应该使它更小）并使用 phpMyAdmin 导入它吗？

编辑：好吧，如果你不能使用 phpMyAdmin，你可以使用 phpMyAdmin 的代码。我不确定这个特定的部分，但总体来说结构很好。

Answer 12

你怎么看：

system("cat xxx.sql | mysql -l username database"); 

Answer 13

你可以使用LOAD DATA INFILE?

如果您使用 SELECT INTO OUTFILE 格式化您的 db 转储文件，这应该正是您所需要的。没有理由让 PHP 解析任何东西。