Yii大型SQL查询消耗大量内存

Question

我在 centos 6 上使用 Yii 1.1.14 和 php 5.3，我使用 CDbCommand 从一个非常大的表中获取数据，结果集是超过 10 列的约 90,000 条记录我将它导出到一个 csv 文件和文件大小约为15MB， 脚本总是在没有任何错误消息的情况下崩溃，只有经过一些研究后，我才发现我需要提高 php.ini 中的 memory_limit 才能成功执行脚本。 唯一的问题是，为了成功执行，我必须将内存限制提高到 512MB（！），这是很多！如果 10 个用户将执行相同的脚本，我的服务器将不会很好地响应......

我想知道是否有人知道使用 Yii 减少 sql 查询的内存消耗的方法？ 我知道我可以使用限制和偏移量将查询拆分为多个查询，但是 15MB 的查询会消耗 512MB 似乎不合逻辑。

代码如下：

set_time_limit(0);
$connection = new CDbConnection($dsn,$username,$password);
$command = $connection->createCommand('SELECT * FROM TEST_DATA');
$result = $command->queryAll(); //this is where the script crashes
print_r($result);

任何想法将不胜感激！

谢谢，

Answer 1

而不是使用 readAll 将返回单个数组中的所有行（真正的内存问题在这里），您应该简单地使用 foreach 循环（看看CDbDataReader），例如：

$command = $connection->createCommand('SELECT * FROM TEST_DATA');
$rows = $command->query();
foreach ($rows as $row)
{

}

编辑：使用限制

$count = Yii::app()->db->createCommand('SELECT COUNT(*) FROM TEST_DATA')->queryScalar();
$maxRows = 1000:
$maxPages = ceil($count / $maxRows);

for ($i=0;$i<$maxPages;$i++)
{
    $offset = $i * $maxRows;
    $rows = $connection->createCommand("SELECT * FROM TEST_DATA LIMIT $offset,$maxRows")->query();
    foreach ($rows as $row)
    {
      // Here your code
    }
}