如何使用 Python 从网站获取某些文本？

Question

我正在使用 python 脚本从网站 (http://www.opensiteexplorer.org/) 获取特定文本。例如尝试这个搜索：http://www.opensiteexplorer.org/links?site=www.google.com

我想获得“页面授权”和“根域”并将它们过滤掉。我正在使用 lxml。

我正在使用此代码：

response = br.open( 'http://www.opensiteexplorer.org/links?site=' + blog)
tree = html.fromstring(response.read())
authority = int (tree.xpath('//span[@class="metrics-authority"]/text()')[1].strip())
if authority>1:
    print blog
    print 'This blog is ready to be registered'
    print authority
    f.write(blog +' '+ str(authority) +'\n')

我在这里过滤大于 1 的 PA，我还想过滤大于 5 的链接根域。我该怎么做？

Answer 1

您可以使用 metrics-authority 类获得所有 2 个跨度，第一个是 Domain Authority，第二个是 Page Authority。此外，您可以从div 和id="metrics-page-link-metrics" 获得Root Domains：

import urllib2
from lxml import html

tree = html.parse(urllib2.urlopen('http://www.opensiteexplorer.org/links?site=www.google.com'))

spans = tree.xpath('//span[@class="metrics-authority"]')
data = [item.text.strip() for item in spans]
print "Domain Authority: {0}, Page Authority: {1}".format(*data)

div = tree.xpath('//div[@id="metrics-page-link-metrics"]//div[@class="has-tooltip"]')[1]
print "Root Domains: {0}".format(div.text.strip())

打印：

Domain Authority: 100, Page Authority: 97 
Root Domains: 680

希望对您有所帮助。