PHP：在不改变 memory_limit 和 max_execution_time 的情况下读取和导出大数据

Question

我有很多数据可以导出到 csv 文件中。我的函数循环到每个字段并执行一个函数以从 sql 表中获取数据。 现在我有一个非常大的数据库，我想在不更改 memory_limit 配置的情况下导出一些数据，因为我不想阻止其他用户。

如何执行我的功能？

例如： 我有 100000 人，每个人都有很多版本的一些数据。他们每天都会保存这样的信息：

Person Table
+-----------+-------------+-------------+
| id_person | name_person | city_person |
+-----------+-------------+-------------+
| 1         | Jack        | Paris       |
+-----------+-------------+-------------+
| 2         | John        | London      |
+-----------+-------------+-------------+
| ...       | ...         | ...         |
+-----------+-------------+-------------+
| 99999     | Rose        | Madrid      |
+-----------+-------------+-------------+
| 100000    | Jackie      | Rome        |
+-----------+-------------+-------------+

Field Table
+----------+------------+-------------------+
| id_field | name_field | label_field       |
+----------+------------+-------------------+
| 1        | Location   | Visited location  |
+----------+------------+-------------------+
| 2        | Article    | Count of articles |
+----------+------------+-------------------+
| ...      | ...        | ...               |
+----------+------------+-------------------+
| 289      | Distance   | Distance          |
+----------+------------+-------------------+
| 299      | Pause      | Time of pause     |
+----------+------------+-------------------+

Field Value Table
+----------+----------+-----------+----------------+------------+
| id_value | id_field | id_person | value          | Date       |
+----------+----------+-----------+----------------+------------+
| 1        | 1        | 148       | Hanover Street | 2015-05-10 |
+----------+----------+-----------+----------------+------------+
| 2        | 66       | 57962     | 20             | 2015-05-10 |
+----------+----------+-----------+----------------+------------+
| ...      | ...      | ...       | ...            |            |
+----------+----------+-----------+----------------+------------+
| 3475992  | 105      | 847       | 17,5           | 2018-02-01 |
+----------+----------+-----------+----------------+------------+
| 3475993  | 15       | 66359     | 44             | 2018-02-01 |
+----------+----------+-----------+----------------+------------+

每个字段都有特定的功能来获取数据。

如何在不更改限制内存的情况下将所有数据导出到 csv 文件中？

谢谢

Answer 1

使用无缓冲查询、隐式刷新、将数据直接发送到输出缓冲区（用于下载）、使用 CLI（用于文件导出）。关闭/增加时间限制（如果需要），仅针对此脚本，而不是全局。

http://php.net/manual/en/mysqlinfo.concepts.buffering.php

http://php.net/manual/en/wrappers.php.php

How to flush output after each `echo` call?（@Roger 的回答）

http://php.net/manual/en/function.set-time-limit.php

我写的代码太多了，还有太多的未知数。比如你使用什么数据库（MySQL、MsSQL 等）、什么数据库类、PDO 或 MySqli？您是导出到服务器上的文件还是下载。您是否希望数据为 CSV、SQL 等格式。

• 不缓冲查询会花费更多网络成本，花费更长的时间，但更好地管理内存并更好地处理更大的表。
• 隐式刷新使输出缓冲区保持较小（管理内存）。
• 发送数据到php://output更好的内存管理，效率更高。
• 时间限制应该很明显。

我的函数循环到每个字段并执行一个函数从 sql 表中获取数据。

使用联接而不是重复调用数据库，在表上使用适当的索引。

可以使用ini_set('memory_limit' ...) 和set_time_limit，因为它们只影响当前的PHP 进程，而不是全局的。如果可以的话，显然最好避免它们，但有时这是不可能的。

最快的导出方式是mysqldump:

https://dev.mysql.com/doc/refman/8.0/en/mysqldump.html

但它有局限性（例如）

https://dba.stackexchange.com/questions/4654/is-it-possible-to-mysqldump-a-subset-of-a-database-required-to-reproduce-a-query

你不能使用JOIN导出，复杂的查询会变得非常困难，因为我认为你只能使用基本的--where调用，没有聚合..等等。

Answer 2

有两种方法可以读取和导出大数据

• 通过批处理 - 将批量数据拆分成块并使用 sleep 然后继续下一个要处理的块。
• 通过队列项目进入数据库

示例代码

$con = 'mysql:host=localhost;dbname=example';
$username = 'example';
$password = 'example';
$pdo = new PDO($con, $username, $password);

$i = !empty($_GET['pass']) ? (int) $_GET['pass'] : 0;

$string = "SELECT * FROM users LIMIT $i,10";
$query = $pdo->prepare("$string");
$query->execute();
// This would not fill memory anymore.
$results = $query->fetchAll();
// Nothing to do, we have finished.
if (!count($results)) {
  return;
}
foreach ($results as $result) {
  // Perform lengthy operation.
  sleep(1);
}

$i++;
// Send request back to process next execution.
$redirect = $_SERVER['DOCUMENT_URI'] . '?pass=' . $i;
header("Location: $redirect");
exit();

Answer 3

通过命令尝试此导出

mysqldump -p -u username database_name > dbname.csv