在 PHP 中读取文件的最小内存占用方式

Question

我正在使用 PHP 中的 file() 函数读取一个包含大约 50k 行的文件。但是，由于文件的内容作为数组存储在内存中，因此会出现内存不足错误。有没有其他办法？

此外，存储的行的长度是可变的。

这是代码。该文件也是 700kB 而不是 mB。

private static function readScoreFile($scoreFile)
{
    $file = file($scoreFile);
    $relations = array();

    for($i = 1; $i < count($file); $i++)
    {
        $relation = explode("\t",trim($file[$i]));
        $relation = array(
                        'pwId_1' => $relation[0],
                        'pwId_2' => $relation[1],
                        'score' => $relation[2],
                        );
        if($relation['score'] > 0)
        {
            $relations[] = $relation;
        }
    }

    unset($file);
    return $relations;
}

Answer 1

使用fopen、fread和fclose依次读取文件：

$handle = fopen($filename, 'r');
if ($handle) {
    while (!feof($handle)) {
        echo fread($handle, 8192);
    }
    fclose($handle);
}

Answer 2

EDIT更新问题后和comments to answer of fabjoa:

如果一个 700kb 的文件使用您提供的代码占用 140MB 的内存，那肯定有问题（尽管您可以在每次迭代结束时 unset$relation）。考虑使用调试器单步执行它以查看会发生什么。您可能还想考虑重写代码以同时使用SplFileObject's CSV functions (or their procedural cousins)

SplFileObject::setCsvControl example

$file = new SplFileObject("data.csv");
$file->setFlags(SplFileObject::READ_CSV);
$file->setCsvControl('|');
foreach ($file as $row) {
    list ($fruit, $quantity) = $row;
    // Do something with values
}

---

对于迭代文件的 OOP 方法，请尝试 SplFileObject：

SplFileObject::fgets example

$file = new SplFileObject("file.txt");
while (!$file->eof()) {
    echo $file->fgets();
}

SplFileObject::next example

// Read through file line by line
$file = new SplFileObject("misc.txt");
while (!$file->eof()) {
    echo $file->current();
    $file->next();
}

甚至

foreach(new SplFileObject("misc.txt") as $line) {
    echo $line;
}

非常相关（如果不重复）：

• How to save memory when reading a file in Php?

Answer 3

如果您不知道最大行长度，并且您不习惯使用幻数作为最大行长度，那么您需要对文件进行初始扫描并确定最大行长度。

除此之外，以下代码应该可以帮助您：

    // length is a large number or calculated from an initial file scan
    while (!feof($handle)) {
        $buffer = fgets($handle, $length);
        echo $buffer;
    }

Answer 4

老问题，但由于我没有看到有人提到它，PHP generators 是减少节省内存消耗的好方法。

例如：

function read($fileName)
{
    $fileHandler = fopen($fileName, 'rb');

    while(($line = fgets($fileHandler)) !== false) {
        yield rtrim($line, "\r\n");
    }

    fclose($fileHandler);
}

foreach(read(__DIR__ . '/filenameHere') as $line) {
    echo $line;
}

Answer 5

在操作过程中分配更多内存，可能类似于 ini_set('memory_limit', '16M');。操作完成后不要忘记返回初始内存分配