PhpMyAdmin 数据导入性能问题

Question

最初，我的问题与 PhpMyAdmin 的 SQL 部分无法正常工作有关。正如 cmets 中所建议的，我意识到这是无法处理的输入量。但是，这并没有为我提供一个有效的解决方案，说明如何处理具有 (CSV) 格式的文件（在我的情况下 - 35,000 条记录行）：

...
20120509,126,1590.6,0
20120509,127,1590.7,1
20120509,129,1590.7,6
...

PhpMyadmin 中的 Import 选项与 SQL 部分中的基本复制粘贴输入一样苦苦挣扎。这一次，和以前一样，需要 5 分钟，直到调用最大执行时间，然后停止。有趣的是，它在表中添加了 6-7 千条记录。所以这意味着输入实际上通过并且几乎成功地做到了。我还尝试将文件中的数据量减半。然而什么都没有改变。

现在显然有问题。当简单的数据导入不起作用时，不得不在 php 脚本中处理数据是很烦人的。

Answer 1

更改您的 php 上传最大大小。

你知道你的 php.ini 文件在哪里吗？

首先，尝试将此文件放入您的网络根目录：

phpinfo.php

（见http://php.net/manual/en/function.phpinfo.php）

包含：

<?php

phpinfo();

?>

然后导航到http://www.yoursite.com/phpinfo.php

寻找“php.ini”。

要上传大文件，您需要 max_execution_time、post_max_size、upload_max_filesize

另外，您知道您的 error.log 文件在哪里吗？希望它可以为您提供有关问题所在的线索。

编辑：

这是我用于文件导入的查询：

$query = "LOAD DATA LOCAL INFILE '$file_name' INTO TABLE `$table_name` FIELDS TERMINATED BY ',' OPTIONALLY
    ENCLOSED BY '\"' LINES TERMINATED BY '$nl'";

其中 $file_name 是来自 php 全局变量 $_FILES 的临时文件名，$table_name 是已经准备好导入的表，$nl 是 csv 行结尾的变量（默认为 windows 行结尾，但我可以选择选择 linux 行尾）。

另一件事是我的脚本中的表（$table_name）是预先准备好的，首先扫描csv以确定列类型。在确定适当的列类型后，它会创建 MySQL 表来接收数据。

我建议您先尝试创建 MySQL 表定义，以匹配文件中的内容（数据类型、字符长度等）。然后尝试上面的查询，看看它运行的速度有多快。我不知道 MySQL 表定义对速度的影响有多大。

另外，在加载数据之前，我没有在表中定义索引。索引会减慢数据加载速度。