【发布时间】：2013-01-18 11:14:18
【问题描述】：
我一直在导入大型 CSV 数据文件；通常少于 100,000 条记录。我正在使用 PHP 和 MySQL（InnoDB 表）。我需要在 MySQL INSERTs 之前使用 PHP 转换一些字段并进行一些文本处理（下面代码中 process_note_data() 的一部分）。 MySQL的LOAD DATA不可行，请勿推荐。
我最近尝试通过使用START TRANSACTION 和COMMIT 的MySQL 事务来提高此过程的速度。性能提升令人惊讶。处理时间减少了 20 倍。因此，20 分钟的处理只需要大约 1 分钟。
问题。
1.) 有谁明白为什么会有这样的性能提升（20 分钟到 1 分钟）？
2.) 我是否应该关心 100,000 条记录的交易量有多大？
3.) 我应该关心事务中的大量插入和/或更新吗？
/*
* Customer Notes Data:
* Rows are either a meeting, call or note!
*/
$row = 1;
$data = array();
$fields = array();
$line = '';
$db->query('SET autocommit=0;');
$db->query('START TRANSACTION;');
if (($handle = fopen("modules/".$currentModule."/Data/customernote.csv", "r")) !== FALSE) {
while (($data = fgetcsv($handle, 4096, ',', '"')) !== FALSE && $row < 999000) {
//Row 1 - CSV header row with field names
if ($row == 1) {
$csv_fields = $data;
} elseif ($row > 1) {
$fields = $this->process_note_data($data, $csv_fields, $row);
}
$row++;
} // end while
fclose($handle);
}
$db->query('COMMIT;');
$db->query('SET autocommit=1;');
注意：文本/字段处理在调用$this->process_note_data() 时完成，然后调用另一个具有INSERT 语句代码的助手类。我没有足够的空间来包含所有代码。 $db->query() 是 MySQL 查询的典型数据库对象。
【问题讨论】：
-
我在这里看不到任何更新/插入，也许删除这些会导致执行速度更快；）
-
文本/字段处理在调用 $this->process_note_data() 中完成，然后调用另一个具有 INSERT 的帮助器类。我没有足够的空间来包含所有代码。请注意，它正在正确插入所有记录。
-
交易 ~=
in memory processing;提交 ~=flush to storage -
您不需要（也不应该）
SET autocommit=0;并再次返回；来自here：“使用START TRANSACTION，自动提交保持禁用状态，直到您使用COMMIT 或ROLLBACK 结束事务。”
标签： php mysql csv transactions innodb