如何选择所有子文本但不包括带有 Scapy 的 XPath 的标签？

Question

我有这个 html：

<div id="content">
    <h1>Title 1</h1><br><br>

    <h2>Sub-Title 1</h2>
    <br><br>
    Description 1.<br><br>Description 2.
    <br><br>

    <h2>Sub-Title 2</h2>
    <br><br>
    Description 1<br>Description 2<br>
    <br><br>

    <div class="infobox">
        <font style="color:#000000"><b>Information Title</b></font>
        <br><br>Long Information Text
    </div>
</div>

我想在 Scrapy 中使用 XPath 获取 <div id="content"> 中的所有文本，但不包括 <div class="infobox"> 的内容，所以预期的结果是这样的：

Title 1


Sub-Title 1


Descripton 1.

Descripton 2.


Sub-Title 2


Descripton 1.
Descripton 2.

但是我还没有达到排除部分，我还在努力从<div id="content">中抓取文字。

我试过这个：

response.xpath('//*[@id="content"]/text()').extract()

但它只从两个子标题返回 Description 1. 和 Description 2.。

然后我尝试了：

response.xpath('//*[@id="content"]//*/text()').extract()

它只返回Title 1、Sub-Title 1、Sub-Title 2、Information Title和Long Information Text。

所以这里有两个问题：

1. 如何从content div 获取所有儿童文本？
2. 如何从选择中排除infobox div？

Answer 1

使用descendant:: 轴查找后代文本节点，并明确声明这些文本节点的父节点不能是div[@class='infobox'] 元素。

把上面的变成XPath表达式：

//div[@id = 'content']/descendant::text()[not(parent::div/@class='infobox')]

然后，结果类似于（我使用在线 XPath 工具测试）如下。如您所见，div[@class='infobox'] 的文本内容不再出现在结果中。

-----------------------
Title 1
-----------------------
-----------------------
Sub-Title 1
-----------------------
-----------------------
Description 1.
-----------------------
Description 2.
-----------------------
-----------------------
Sub-Title 2
-----------------------
-----------------------
Description 1
-----------------------
Description 2
-----------------------
-----------------------
-----------------------

你的方法有什么问题？

你的第一次尝试：

//*[@id="content"]/text()

用简单的英语表示：

在文档中的任意位置查找具有@id 属性的任何元素（不一定是div），其值为“内容”。对于此元素，返回其所有直接子文本节点。

问题：您正在丢失不是外部div 的直接子元素的文本节点，因为它们位于该div 的子元素内。

---

您的第二次尝试：

//*[@id="content"]//*/text()

翻译为：

在文档中的任何位置查找具有@id 属性的任何元素（不一定是div），其值为“内容”。对于该元素，查找任何后代元素节点并返回该后代元素的所有文本节点。

问题：您正在丢失div 的直接子文本节点，因为您只查看作为div 后代元素的子元素的文本节点。

---

编辑：

回复您的评论：

//div[@id = 'content']/descendant::text()[not(ancestor::div/@class='infobox')]

对于您未来的问题，请确保您显示的 HTML 代表您的实际问题。