是否可以加快 phpQuery？

Question

我正在尝试读取一个 12MB 以上的文件，该文件有一个大的 HTML 表格，如下所示：

<table>
    <tr>
        <td>a</td>
        <td>b</td>
        <td>c</td>
        <td>d</td>
        <td>e</td>
    </tr>
    <tr>
        <td>a</td>
        <td>b</td>
        <td>c</td>
        <td>d</td>
        <td>e</td>
    </tr>
    <tr>..... up to 20,000+ rows....</tr>
</table>

现在我是这样刮的：

<?

require_once 'phpQuery-onefile.php';

$d = phpQuery::newDocumentFile('http://localhost/test.html');

$last_index = 20000;

for ($i = 1; $i <= $last_index; $i++)
{
    $set['c1']  = $d['tr:eq('.$i.') td:eq(0)']->text();
    $set['c2']  = $d['tr:eq('.$i.') td:eq(1)']->text();
    $set['c3']  = $d['tr:eq('.$i.') td:eq(2)']->text();
    $set['c4']  = $d['tr:eq('.$i.') td:eq(3)']->text();
    $set['c5']  = $d['tr:eq('.$i.') td:eq(4)']->text();
}

// code to insert to db here... 

?>

我的基准测试表明大约需要 5.25 小时才能将 1,000 行数据抓取并插入到数据库中。鉴于这些数据，完成全部 20,000 多行大约需要 5 天时间。

我的本​​地机器正在运行：

• XAMPP
• 赢 7
• 处理器，i3 2100 3.1GHz
• 内存，G.Skill RipJaws X 4GB 双
• 硬盘，旧 SATA

有什么方法可以加快这个过程吗？也许我刮错了？请注意，该文件可在本地访问，因此我使用了http://localhost/test.html

稍微快一点的解决方案：

for ($i = 1; $i <= $last_index; $i++)
{
    $r = $d['tr:eq('.$i.')'];

    $set['c1']  = $r['td:eq(0)']->text();
    $set['c2']  = $r['td:eq(1)']->text();
    $set['c3']  = $r['td:eq(2)']->text();
    $set['c4']  = $r['td:eq(3)']->text();
    $set['c5']  = $r['td:eq(4)']->text();
}

// code to insert to db here... 

?>

Answer 1

我从未使用过 phpQuery，但这看起来是一种非常 次优化的解析大型文档的方法：phpQuery 可能每次加载时都必须遍历整个内容一行使用tr:eq('.$i.')。

更直接（也可能更快）的方法是简单地遍历文档的每个tr 元素，并在foreach 循环中处理每个元素的子元素。你甚至不需要 phpQuery。

请参阅How to Parse XML File in PHP 了解各种解决方案。