如何在没有 LOAD DATA INFILE 的情况下在 MySQL 表中插入大量数据？答案

【问题标题】：How to insert large amount of data in a MySQL table without LOAD DATA INFILE?如何在没有 LOAD DATA INFILE 的情况下在 MySQL 表中插入大量数据？
【发布时间】：2012-12-19 15:31:19
【问题描述】：

我有一个包含大约 180 万行的 CSV 文件。我需要将它们从我的 PHP 脚本插入到 MySQL 表中。我分批插入 10,000 个值。脚本运行了很长时间并且在插入 80-95 个批次后崩溃。我也试过 mysql_unbuffered_query() 但没用。

if ($fp) {
        $batch = 1;
        $row_count = 1;
        $bucket_counter = 1;
        $mobile_numbers = array();
        $row_count_for_DB_write = 0;
        foreach ($campaign_numbers as $value) {
            $number = array($value);
            fputcsv($fp, $number);
            $row_count_for_DB_write++;
            $value_row = new stdClass();
            $value_row->number = $value;
            $value_row->bucket_number = $bucket_counter;
            $mobile_numbers[] = $value_row;
            if ($row_count == $bucket_size && $bucket_counter < $bucket_count) {
                $bucket_counter++;
                $row_count = 1;
                fclose($fp);
                $fp = fopen($directory . "/cn_$bucket_counter.csv", 'w');
                $logger->debug('Created csv file : ' . $directory . '/cn_$bucket_counter.csv');
            }

            if ($row_count_for_DB_write == CONSTANTS::BATCH_SIZE) {
                $logger->debug($batch." Batch insert starting at: ".date('d-m-Y_H-i-s', time()));
                $insert_count = $data_service->add_to_mobile_numbers_table($mobile_numbers_table, $mobile_numbers);
                $batch++;
                $logger->debug("Batch insert ending at: ".date('d-m-Y_H-i-s', time()));
                $row_count_for_DB_write = 1;
                unset($mobile_numbers);
                $mobile_numbers = array();
            }
            $row_count++;
        }
    }
    fclose($fp);
    $data_service->add_to_mobile_numbers_table($mobile_numbers_table, $mobile_numbers);
    $zip_file = "/$directory_name.zip";
    $logger->debug('Creating zipped file');
    Util::create_zip(Util::get_list_of_files($directory), $directory . $zip_file);

【问题讨论】：

您遇到了什么错误？您使用的是哪个 PHP 版本？
这是一个 1 次过程还是您需要不时上传 csv 文件？如果不是，为什么不将包含 csv 文件中所有记录的插入查询的 .sql 文件上传到服务器，然后从 mysql 控制台调用该 .sql 文件以插入数据库
这个过程的频率适中。就像一周两次左右。我正在使用 PHP 5

标签： php mysql

【解决方案1】：

以下步骤解决了这个问题：

将表引擎从 InnoDB 更改为 MyISAM
禁用按键
插入数据
重新启用密钥

【讨论】：