将 Access 表转储到 CSV 时减少内存使用量

Question

我正在使用这个简单的代码来读取一个 80 MB 的 .mdb 文件并在 WAMP 环境中将其转换为 CSV，但是我遇到了令人惊讶的高内存使用率（超过 512 MB）

有什么方法可以将加载分成几部分或其他方式来避免如此高的内存使用？

$conn = odbc_connect("Driver={Microsoft Access Driver (*.mdb)};Dbq=$mdbFilename", $user, $password);

$qry = "SELECT * FROM data";

$result = odbc_exec($conn,$qry);

$theArray = array();

while ( ($row = odbc_fetch_array($result)) )
   {
      array_push($theArray, $row);
   }

$fp = fopen('dispo_e.csv', 'w');
foreach ($theArray as $lines) 
{
    fputcsv($fp, $lines, ";");
}

Answer 1

最简单的选择是不将其分配给数组，而是直接写入 CSV。

$conn = odbc_connect(
    "Driver={Microsoft Access Driver (*.mdb)};Dbq=$mdbFilename",
    $user,
    $password
);

$result = odbc_exec($conn, 'SELECT * FROM data');

$fp = fopen('dispo_e.csv', 'w');
while (($row = odbc_fetch_array($result))) {
    fputcsv($fp, $lines, ';');
}

fclose($fp);

Answer 2

你可以试试这个功能（用法如下）：

<?php
    function query_to_csv($db_conn, $query, $filename, $attachment = false, $headers = true) {

        if($attachment) {
            // send response headers to the browser
            header( 'Content-Type: text/csv' );
            header( 'Content-Disposition: attachment;filename='.$filename);
            $fp = fopen('php://output', 'w');
        } else {
            $fp = fopen($filename, 'w');
        }

        $result = mysql_query($query, $db_conn) or die( mysql_error( $db_conn ) );

        if($headers) {
            // output header row (if at least one row exists)
            $row = mysql_fetch_assoc($result);
            if($row) {
                fputcsv($fp, array_keys($row));
                // reset pointer back to beginning
                mysql_data_seek($result, 0);
            }
        }

        while($row = mysql_fetch_assoc($result)) {
            fputcsv($fp, $row);
        }

        fclose($fp);
    }

    // Using the function
    $sql = "SELECT * FROM table";
    // $db_conn should be a valid db handle

    // output as an attachment
    query_to_csv($db_conn, $sql, "test.csv", true);

    // output to file system
    query_to_csv($db_conn, $sql, "test.csv", false);
?>