仅当两个节点都存在时，XPath 从 HTML 中抓取两个节点值答案

【问题标题】：XPath scraping two nodes values from HTML only if both exist仅当两个节点都存在时，XPath 从 HTML 中抓取两个节点值
【发布时间】：2012-10-15 20:55:51
【问题描述】：

我正在使用 Curl、XPath 和 PHP 来从 HTML 源代码中抓取产品名称和价格。这是一个类似于我正在检查的源代码的示例：

<div class="Gamesdb">
  <p class="media-title">
    <a href="/Games/Console/4-/105/Bluetooth-Headset/">Bluetooth Headset</a>
  </p>
  <p class="sub-title"> Console </p>
  <p class="rating star-50">
    <a href="/Games/Console/4-/105/Bluetooth-Headset/ProductReviews.html">(1)</a>
  </p>
  <p class="mt5">
    <span class="price-preffix">
      <a href="/Games/Console/4-/105/Bluetooth-Headset/">1 New</a>
      from 
    </span>
    <a class="wt-link" href="/Games/Console/4-/105/Bluetooth-Headset/">
      <span class="price">
        <em>£34</em>
        .99
      </span>
      <span class="free-delivery"> FREE delivery</span>
    </a>
  </p>
  <p class="mt10">
    <a class="primary button" href="/Games/Console/4-/105/Bluetooth-Headset/">
      Product Details
      <span style="color: rgb(255, 255, 255); margin-left: 6px; font-size: 16px;">»</span>
    </a>
  </p>
</div>

我想提取媒体标题，即：

<p class="media-title">
    <a href="/Games/Console/4-/105/Bluetooth-Headset/">Bluetooth Headset</a>
    </p>

仅当以下价格等级也存在时：

<span class="price">
    <em>£34</em>
    .99
    </span>

列出的许多其他产品不包括它。我需要提取产品名称和价格，或者什么都不提取，然后转到下一个产品。

这是我当前使用的代码示例，无论其他条件如何，它都能有效地获取所有结果：

$results=file_get_contents('SCRAPEDHTML.txt');

$html = new DOMDocument();
@$html->loadHtml($results);
$xpath = new DOMXPath($html);
$nodelist = $xpath->query('//p[@class="media-title"]|//span[@class="price"]');

foreach ($nodelist as $n){

$results2[]=$n->nodeValue;

}

我相信使用正确的 xpath 查询可以做到这一点，但到目前为止还无法实现。非常感谢。

【问题讨论】：

鉴于 html 示例和代码示例，您现在使用的 XPath 不应返回 any 结果...
为了避免不必要的冗长，源示例被稍微简化了，我编辑了我的代码示例，添加了分隔符“|”到由于我的错误而被省略的 xpath 查询。
您要提取什么？节点或只是文本 Bluetooth Headset 和 £34.99 ？
只是文字：蓝牙耳机和 34.99 英镑。但前提是两者都存在，因为这只是网站上列出的许多其他产品的一小部分，其中许多不包括价格。
试试这个表达式//div[p/@class='media-title'][//span/@class='price']//*[@class='media-title' or @class='price']//text() 它并不完美，它的工作方式取决于代码在实际页面上的结构。它应该让您足够接近解决方案。它选择了一些不必要的文本节点，这些节点可以通过使用 XPath 2.0 函数或通过处理 php 中的结果集来删除。

标签： php xpath web-scraping

【解决方案1】：

我假设每个 div.Gamesdb 只有一个“项目”。如果没有，则源 html 中可能没有足够的结构来单独使用 xpath。您可能需要为产品名称编制索引并寻找匹配产品名称附近的价格。

您可以使用单个巨大的 XPath 来完成此操作，但我建议您使用多个 XPath。我会展示两种方式。

首先创建您的DOMXPath 并注册助手以匹配类名。

// This helper is the equivalent to the XPath:
// contains(concat(' ',normalize-space(@attr),' '), ' $token ')
// It's not necessary, but it's a bit easier to read and more
// bulletproof than @ATTR="TOKEN"
function has_token($attr, $token)
{
    $attr = $attr[0];
    $regex = '/(?:^|\s)'.preg_quote($token,'/').'(?:\s|$)/Su';
    return (bool) preg_match($regex, $attr->value);
}

$xp = new DOMXPath($d);
$xp->registerNamespace("php", "http://php.net/xpath");
$xp->registerPHPFunctions("has_token");

然后您可以使用一个巨大的 XPath：

$xp_container = '/html/body//div[php:function("has_token", @class, "Gamesdb")]';
$xp_title = 'p[php:function("has_token", @class, "media-title")]';
$xp_price = '//span[php:function("has_token", @class, "price")]';

$xp_titles_prices = "$xp_container[{$xp_title}][{$xp_price}]/{$xp_title} | $xp_container[{$xp_title}][{$xp_price}]{$xp_price}";


$nodes = $xp->query($xp_items);

$items = array();

$i = 0; // enumerator
foreach ($nodes as $node) {
    $key = ($node->nodeName==='p') ? 'title' : 'price';
    $value = '';
    switch ($key) {
        case 'price':
            // remove inner whitespace
            $value = preg_replace('/\s+/Su', '', trim($node->textContent));
            break;
        case 'title':
            $value = preg_replace('/\s+/Su', ' ', trim($node->textContent));
            break;
    }
    $items[(int) floor($i/2)][$key] = $value;
    $i += 1;
}

但是，整体代码脆弱且不清晰。 XPath 联合运算符 (|) 按文档顺序返回节点，因此我们无法将列表一分为二。 PHP 代码必须遍历节点列表中的每个项目，并使用 DOM 确定与该数据对应的字段。想想如果你想扩展代码以收集第三个项目（例如价格），你必须做出的改变。现在想象一下在三个月后进行这些更改，那时这段代码在您的脑海中不再新鲜。

我建议您改为使用多个 XPath 调用，并在 PHP 而不是 XPath 中执行“我们是否有价格和标题的数据”检查：

$xpitems = '/html/body//div[php:function("has_token", @class, "Gamesdb")]';
// below use $xpitems context:
$xptitle = 'normalize-space(p[php:function("has_token", @class, "media-title")])';
$xpprice = 'normalize-space(//span[php:function("has_token", @class, "price")])';

$nodeitems = $xp->query($xpitems);

$items = array();
foreach ($nodeitems as $nodeitem) {
    $item = array(
        'title' => $xp->evaluate($xptitle, $nodeitem),
        'price' => str_replace(' ', '', $xp->evaluate($xpprice, $nodeitem)),
    );
        // Only add this item if we have data for *all* fields:
    if (count(array_filter($item)) === count($item)) {
        $items[] = $item;
    }
}

这更容易阅读和理解，也更容易在未来扩展。

【讨论】：

谢谢这让我思考了很多，我会尝试并分析结果。非常感谢您在这里提出的所有建议。

【解决方案2】：

您不能有一个 XPath 既返回产品名称又返回其价格，而不返回其他任何内容。我的建议是首先获取包含这两种信息的所有div 节点：

//div[p[@class='media-title'] and //span[@class='price']]

('所有div 具有p 子节点和media-title 子节点和span 子节点和price 子节点的节点');然后在所有返回的节点上循环，并使用另外两个 XPath 提取产品名称和价格：

p[@class='media-title']

和

//span[@class='price']

【讨论】：