无法从 html 页面获取表格数据

Question

我正在尝试在 html 网页的表格中获取一些数据字段。该网页是在发布某些内容时动态生成的。我使用php-curl 获取网页，然后使用xpath 从某些字段获取数据。我能够获取页面而不是特定字段。代码是这样的

$url="http://www.rtu.ac.in/results/reformat.php";
$post="rollnumber=08epccs060&filename=fetchmodulesem_4_btech410m.php&button=Submit";
$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_POST,1);
curl_setopt($ch,CURLOPT_POSTFIELDS,$post);
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$content=curl_exec($ch);
curl_close($ch);

$totalPath="html/body/table[4]/tbody/tr[3]/td[4]";
$page=new DOMDocument();
$xpath=new DOMXPath($page);
$page->loadHTML($content);
$page->saveHTML();  // this shows the page contents

$total=$xpath->query($totalPath);
echo $total->length;    //shows 0
echo $total->item(0)->nodeValue;   //shows nothing

xpath 是正确的，因为我已经用FirePath 进行了检查。我从中了解到$xpath->query 不是在做工作。

Answer 1

你写：

echo $total->length;    //shows 0

这意味着 xpath 返回了 0 个元素。所以它实际上并没有做你想做的事情。

//html/body/table[4]/tr[3]/td[4]

或者以其他方式检查您没有出错的 xpath 查询的语法。

另外，我会先加载 HTML 文档，然后初始化 xpath 对象。

$totalPath="//html/body/table[4]/tr[3]/td[4]";
$page=new DOMDocument();
$page->loadHTML($content);
$xpath=new DOMXPath($page);    
$total=$xpath->query($totalPath);

编辑：按照 Wrikken 的建议删除了 tbody。

编辑：启用错误报告，包括。警告，以便您可以确保 a) HTML 已正确加载到 DomDocument 中，并且 b) 如果您看到的 XPath 存在问题。

---

让它运行。这是我的代码：

<?php

$url="http://www.rtu.ac.in/results/reformat.php";
$post="rollnumber=08epccs060&filename=fetchmodulesem_4_btech410m.php&button=Submit";
$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_POST,1);
curl_setopt($ch,CURLOPT_POSTFIELDS,$post);
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$content=curl_exec($ch);
curl_close($ch);

echo 'Size: ', strlen($content), "\n";
echo 'Beginning: ', substr($content, 0, 512), "\n\n";

$page=new DOMDocument();
$page->recover=false;
$page->loadHTML($content);

echo "\nLoaded XML:\n", $page->saveXML($page), "\n";


$xpath=new DOMXPath($page);
$totalPath="html/body/table[4]/tbody/tr[3]/td[4]";

$paths = array(
    '//body',
    '//body/table',
    '//body/table[4]',
    '//body/table[4]/tr',
    '//body/table[4]/tr[3]',
    '//body/table[4]/tr[3]/td',
    '//body/table[4]/tr[3]/td[4]',
    '//html/body/table[4]/tr[3]/td[4]',
);


foreach($paths as $path) {
    $result=$xpath->query($path);
    echo $path, ': ', $result->length, "\n";
}

这是输出（剪切了仅用于加载验证的顶部输出）：

//body: 1
//body/table: 4
//body/table[4]: 1
//body/table[4]/tr: 3
//body/table[4]/tr[3]: 1
//body/table[4]/tr[3]/td: 4
//body/table[4]/tr[3]/td[4]: 1
//html/body/table[4]/tr[3]/td[4]: 1

总是返回一个长度，表示至少有一个节点。

Answer 2

不查看 HTML：/tbody 不存在，只是由 Firefox 添加。删除该部分，并对该工具产生健康的不信任；）

---

编辑：

事实上，顺序应该是：

$page=new DOMDocument();
$page->loadHTML($content);
$xpath=new DOMXPath($page);

当 DOMXpath 拍摄快照时，它不会跟踪之后的 DOM 更改。