Xpath：html中两个元素之间的所有内容

Question

我正在尝试使用 xpath 来获取两个节点之间每个节点的文本，但这有点棘手。结构有点像这样：

<table class="infobox biography vcard">
<p>
  <b>Mark Hamill</b>
  <span> was born in ...</span>
  <i> in the early 1980s he...</i>
  <a href="/some/place">Luke Skywalker</a>
</p>
<div class="toc">

我需要该段落中恰好位于表格和 div 之间的所有文本，这是我的查询 xpath 到目前为止： //table[@class="infobox biography vcard"]/following-sibling::node()[following-sibling::div[@class="toc"]]/text() 它不会带来某些标签中的所有文本，我该如何实现？ 注意： p 标签没有任何道具，但该文档中还有其他一些 p 标签

Answer 1

已编辑：

wiki-page 在表格和 div 之间有 2 个 p 元素，如下所示：

<table class="infobox biography vcard">
<!-- Content of table -->
</table>

<p>Here all kinds of mixed content</p>
<p>Here other kinds of mixed content</p>

<div class="toc">
<!-- Content of toc -->
</div>

要获取表格和 div 之间 p 中的所有文本，请使用此 XPath：

normalize-space(//p[preceding-sibling::table[@class='infobox biography vcard'] and following-sibling::div[@class='toc']])

规范化空间只是为了满足您的“预期输出将是 P 标签之间的所有文本”，但根据您的需要也可以使用

//p[preceding-sibling::table[@class='infobox biography vcard'] and following-sibling::*div[@class='toc']]//text()

如果您想完全控制从这些 p 中使用什么，您可以从像这样获取 p 开始：

//p[preceding-sibling::table[@class='infobox biography vcard'] and following-sibling::*div[@class='toc']]

并遍历这些 p 的混合内容，也可能使用 XPath 来获得您需要的内容。

Answer 2

如果您想要传记，您可以使用相邻的同级组合器使用 bs4 获取表格旁边的 2 个段落。它比 xpath 快。

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://en.wikipedia.org/wiki/Mark_Hamill')
soup = bs(r.content, 'lxml')
print(' '.join([i.text.strip() for i in soup.select('.biography + p, .biography + p + p')]))