调试内存泄漏、PHP 和 MySQL Blob 流文件下载

Question

在 Mac 上使用 MAMP v2.0 __ Apache/2.0.64 (Unix) -- PHP/5.3.5 -- DAV/2 mod_ssl/2.0.64 -- OpenSSL/0.9。 7l -- MySQL 5.5.9

我有一个要运行的脚本，它似乎给我带来了严重的内存泄漏，我试图调试它，但无法解决。

基本上，脚本是文件管理器模块的一部分。它在给定 ID 时处理文件的下载。

整个文件以 64kb 块（每条记录）的 BLOB 形式存储在数据库表中，并根据请求流式传输到客户端。

数据库：file_management

表格：file_details、file_data

file_details：
FileID - int(10) AUTO_INCREMENT
FileTypeID - int(10)
文件类型 - varchar(60)
文件名 - varchar(255)
文件描述 - varchar(255)
文件大小 - bigint(20)
FileUploadDate - 日期时间
FileUploadBy - int(5)

file_details：
FileDataID - int(10) AUTO_INCREMENT
FileID - int(10)
文件数据 - BLOB

我实际得到的错误是这个（来自 php 错误日志）：

[2011 年 10 月 31 日 09:47:39] PHP 致命错误：第 150 行 /root/htdocs/file_manager/file_manager_download.php 中允许的内存大小为 134217728 字节已用尽（尝试分配 63326173 字节）

现在，如果文件足够小，则实际的下载功能可以工作，在这种情况下，小于 40mb，但是一旦超过了，就像上面错误中的 60mb 文件一样，它就会失败。它所做的只是下载一个 0kb 的文件。

显然，134217728 字节大于 63326173 字节（128mb vs 60mb）。

允许的内存大小为 134217728 字节是 php.ini 中的指令："memory_limit = 128M ; 脚本可能消耗的最大内存量"

如果我将其设置为 256M，它允许我下载 60mb 的文件，以及最多大约 80mb 的文件。

另外，如果我将其设置为 1024M，它允许我下载 260mb 甚至更大的文件。

因此，您可以看到问题在于脚本中某处的泄漏占用了所有内存。

这里是下载脚本：

ini_set('display_errors',1); error_reporting(E_ALL & ~E_NOTICE); $strDB=mysql_connect("localhost","username","password")or die ("Error connecting to mysql.. Error: (" . mysql_errno() . ") " . mysql_error()); $database=mysql_select_db("file_management",$strDB); if (isset($_GET["id"])) { // List of nodes representing each 64kb chunk $nodelist = array(); // Pull file meta-data $sql_GetFileDetails = " SELECT FileID, FileTypeID, FileType, FileName, FileDescription, FileSize, FileUploadDate, FileUploadBy FROM file_details WHERE FileID = '".$_GET["id"]."';"; $result_GetFileDetails = mysql_query($sql_GetFileDetails) or die ("No results for this FileID.
Your Query: " . $sql_GetFileDetails . "
Error: (" . mysql_errno() . ") " . mysql_error()); if (mysql_num_rows($result_GetFileDetails) != 1) { die ("A MySQL error has occurred.
Your Query: " . $sql_GetFileDetails . "
Error: (" . mysql_errno() . ") " . mysql_error()); } // Set the file object to get details from $FileDetailsArray = mysql_fetch_assoc($result_GetFileDetails); // Pull the list of file inodes $sql_GetFileDataNodeIDs = "SELECT FileDataID FROM file_data WHERE FileID = ".$_GET["id"]." order by FileDataID"; if (!$result_GetFileDataNodeIDs = mysql_query($sql_GetFileDataNodeIDs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataNodeIDs . "
Error: (" . mysql_errno() . ") " . mysql_error()); } while ($row_GetFileDataNodeIDs = mysql_fetch_assoc($result_GetFileDataNodeIDs)) { $nodelist[] = $row_GetFileDataNodeIDs["FileDataID"]; } $FileExtension = explode(".",$FileDetailsArray["FileName"]); $FileExtension = strtolower($FileExtension[1]); // Determine Content Type switch ($FileExtension) { case "mp3": $ctype="audio/mp3"; break; case "wav": $ctype="audio/wav"; break; case "pdf": $ctype="application/pdf"; break; //case "exe": $ctype="application/octet-stream"; break; case "zip": $ctype="application/zip"; break; case "doc": $ctype="application/msword"; break; case "xls": $ctype="application/vnd.ms-excel"; break; case "ppt": $ctype="application/vnd.ms-powerpoint"; break; case "gif": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. case "png": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. case "jpeg": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. case "jpg": $ctype="application/force-download"; break; // This forces download, instead of viewing in browser. default: $ctype="application/force-download"; // This forces download, instead of viewing in browser. } // Send down the header to the client header("Date: ".gmdate("D, j M Y H:i:s e", time())); header("Cache-Control: max-age=2592000"); //header("Last-Modified: ".gmdate("D, j M Y H:i:s e", $info['mtime'])); //header("Etag: ".sprintf("\"%x-%x-%x\"", $info['ino'], $info['size'], $info['mtime'])); header("Accept-Ranges: bytes"); //header("Cache-Control: Expires ".gmdate("D, j M Y H:i:s e", $info['mtime']+2592000)); header("Pragma: public"); // required header("Expires: 0"); header("Cache-Control: must-revalidate, post-check=0, pre-check=0"); header("Cache-Control: private",false); // required for certain browsers header("Content-Description: File Transfer"); header("Content-Disposition: attachment; filename=\"".$FileDetailsArray["FileName"]."\""); header("Content-Transfer-Encoding: binary"); header("Content-Type: ".$FileDetailsArray["FileSize"]); ob_end_clean(); ob_start(); ob_start("ob_gzhandler"); $sql_GetFileDataBlobs = "SELECT FileData FROM file_data WHERE FileID = ".$_GET["id"]." ORDER BY FileDataID ASC;"; if (!$result_GetFileDataBlobs = mysql_query($sql_GetFileDataBlobs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataBlobs . "
Error: (" . mysql_errno() . ") " . mysql_error()); } while ($row_GetFileDataBlobs = mysql_fetch_array($result_GetFileDataBlobs)) { echo $row_GetFileDataBlobs["FileData"]; } ob_end_flush(); header('Content-Length: '.ob_get_length()); ob_end_flush(); }

我使用了 Xdebug 并输出了内存使用峰值的结果，但似乎没有任何东西接近限制，页面的总内存使用峰值约为 900kb。

所以我认为它将文件块聚合到内存中并且不让它们离开，或类似的东西，但文件块是唯一会达到该内存量的东西，导致脚本失败。

我可以提供将文件上传到数据库的脚本，如果您愿意，您可以测试我的脚本，请告诉我

为任何帮助干杯！

米克

---

* ///////// 已解决 ///////// *

我只想对 hafichuk 表示感谢，得到了很好的回应并解决了我的整个问题。

问题有两个方面。

1 - 我没有在 while 循环中使用 ob_flush()。我添加了它，它似乎释放了很多内存，可以进行更大的下载，但不是无限的。

例如，如果 memory_limit = 128M，我现在可以下载超过 40mb，实际上我现在可以下载到大约 200mb。但这又是它失败的地方。不过第一个内存问题已经解决了。

第 1 课：冲洗你的物体！

2 - 我使用 mysql_query 来检索我的 SQL 查询的结果。问题是它缓冲了这些结果，这增加了我的内存限制问题。

我最终改用了 mysql_unbuffered_query，现在它可以完美运行了。

但这确实有一些限制，它会在读取结果时锁定您的表格。

第 2 课：如果不需要，不要缓冲 mysql 结果！ （在程序限制内）

最后一课：

所有这些修复都有效，但是，它需要进行更多测试以确保它们的组合没有问题。

另外，我学到了很多关于对象和 php 内存分配的知识，我只是希望有一种比 xdebug 提供的更好的可视化调试过程的方法。如果有人对 xdebug 如何真正阐明这个过程有任何想法，请在 cmets 中告诉我。

希望这对将来的其他人有所帮助。

干杯

米克

Answer 1

您应该只需要在您的 while 循环中执行“ob_flush()”。这将清除页面的缓冲区。需要删除列出内容长度的最后一个标头，因为在数据开始后您无法发送标头。这不应该是下载文件的问题，只是更新下载进度表。