Python 库进行类似 jQuery 的文本提取？

Question

我的 html 包含这样的条目：

<div class="entry">
  <h3 class="foo">
    <a href="http://www.example.com/blog-entry-slug"
    rel="bookmark">Blog Entry</a>
  </h3>
  ...
</div>

我想提取文本“博客条目”（以及许多其他属性，所以我正在寻找一个通用的答案）。

在 jQuery 中，我会这样做

$('.entry a[rel=bookmark]').text()

我在 Python 中最接近的是：

from BeautifulSoup import BeautifulSoup
import soupselect as soup

rawsoup = BeautifulSoup(open('fname.html').read())

for entry in rawsoup.findAll('div', 'entry'):
    print soup.select(entry, 'a[rel=bookmark]')[0].string.strip()

soupselect from http://code.google.com/p/soupselect/.

Soupselect 不像 jQuery 那样理解完整的 CSS3 选择器语法。 Python中有这样的野兽吗？

Answer 1

您可能还想看看 pyquery。 pyquery 是一个类似 jquery 的 python 库。 找到它here

Answer 2

BeautifulSoup 允许（基本）CSS 选择器：http://www.crummy.com/software/BeautifulSoup/bs4/doc/#css-selectors

但是，如果您需要更精细的 CSS 选择器，他们会在文档中引用 lxml (http://lxml.de/)。

Answer 3

您可能想看看lxml 的CSSSelector 类，它尝试按照w3c 规范中的描述实现CSS 选择器。作为旁注，manyfolksrecommendlxml 现在用于通过 BeautifulSoup 解析 HTML/XML，出于性能和其他原因。

我认为 lxml 的 CSSSelector 使用 XPath 进行元素选择，但您可能需要自己查看文档。这是您使用 lxml 的示例：

>>> from lxml.cssselect import CSSSelector
>>> from lxml.html import fromstring
>>> html = '<div class="entry"><h3 class="foo"><a href="http://www.example.com/blog-entry-slug" rel="bookmark">Blog Entry</a></h3></div>'
>>> h = fromstring(html)
>>> sel = CSSSelector("a[rel=bookmark]")
>>> [e.text for e in sel(h)]
['Blog Entry']

Answer 4

使用关键字参数真的很容易。

>>> from BeautifulSoup import BeautifulSoup
>>> soup = BeautifulSoup('''<div class="entry">
...   <h3 class="foo">
...     <a href="http://www.example.com/blog-entry-slug"
...     rel="bookmark">Blog Entry</a>
...   </h3>
...   ...
... </div>
... ''')
>>> soup.find('div', 'entry').find(rel='bookmark').text
u'Blog Entry'

或者，

>>> for entry in soup('div', 'entry'):
...     for bookmark in entry(rel='bookmark'):
...         print bookmark.text
...
Blog Entry

您也可以使用attrs 来影响.entry 而不是div.entry 的选择器：

>>> for entry in soup(attrs={'class': 'entry'}):
...     for bookmark in entry(rel='bookmark'):
...         print bookmark.text
...
Blog Entry

（注意调用汤或汤的一部分相当于.findAll()。）

作为一个列表理解，这是[b.text for e in soup('div', 'entry') for b in e(rel='bookmark')]（产生[u'Blog Entry']）。

如果你想要真正的 CSS3 选择器，我不知道 BeautifulSoup 有什么这样的东西。所有（或几乎所有）都可以通过简单的嵌套、条件和正则表达式来完成（你也可以使用entry(rel=re.compile('^bookmark$'))）。如果您想要类似的东西，请将其视为您的下一个项目！它对于扁平化代码和让网络人更容易理解很有用。