在 HTML 页面中查找与特定 URL 模板匹配的所有链接

Question

假设我有以下基本网址http://example.com/Stuff/preview/v/{id}/fl/1/t/。正在解析的页面上有许多具有不同 {id} 的 url。我想在 HTML 页面中找到与此模板匹配的所有链接。

我可以使用 xpath 仅匹配模板的一部分//a[contains(@href,preview/v] 或仅使用正则表达式，但我想知道是否有人知道使用 xpath 和正则表达式匹配整个模板的更优雅的方法，因此它快速且匹配绝对正确。

谢谢。

编辑。我在示例页面上对其进行了计时。通过我的互联网连接和 100 次试验，迭代平均需要 0.467 秒，BeautifulSoup 需要 0.669 秒。

另外，如果你有 Scrapy，它可以使用 Selectors。

  data=get(url).text
  sel = Selector(text=data, type="html")
  a=sel.xpath('//a[re:test(@href,"/Stuff/preview/v/\d+/fl/1/t/")]//@href').extract()

平均时间也是 0.467

Answer 1

您不能在使用lxml 的xpath 表达式中使用正则表达式，因为lxml supports xpath 1.0 和xpath 1.0 doesn't support regular expression search。

相反，您可以使用iterlinks() 查找页面上的所有链接，遍历它们并检查href 属性值：

import re
import lxml.html

tree = lxml.html.fromstring(data)

pattern = re.compile("http://example.com/Stuff/preview/v/\d+/fl/1/t/")
for element, attribute, link, pos in tree.iterlinks():
    if not pattern.match(link):
        continue
    print link

---

另一种选择是使用BeautifulSoup html 解析器：

import re
from bs4 import BeautifulSoup

data = "your html"
soup = BeautifulSoup(data)

pattern = re.compile("http://example.com/Stuff/preview/v/\d+/fl/1/t/")
print soup.find_all('a', {'href': pattern})

要使BeautifulSoup 解析更快，您可以let it use lxml：

soup = BeautifulSoup(data, "lxml")

此外，您还可以使用 SoupStrainer 类，让您只解析特定网页部分而不是整个页面。

希望对您有所帮助。