使用 Xpath 从网页中获取字符串

Question

我正在尝试从此网页获取 uniprot ID：ENSEMBL。但是我在使用 xpath 时遇到了麻烦。现在我得到一个空列表，我不明白为什么。

我的想法是编写一个小函数，它接受 ENSEMBL ID 并返回 uniprot ID。

import requests
from lxml import html
ens_code = 'ENST00000378404'
webpage = 'http://www.ensembl.org/id/'+ens_code

response = requests.get(webpage)
tree = html.fromstring(response.content)

path = '//*[@id="ensembl_panel_1"]/div[2]/div[3]/div[3]/div[2]/p/a'

uniprot_id = tree.xpath(path)

print uniprot_id

任何帮助将不胜感激:)

它只打印现有列表，但仍返回 Nonetype 列表。

def getUniprot(ensembl_code):

    ensembl_code = ensembl_code[:-1]
    webpage = 'http://www.ensembl.org/id/'+ensembl_code
    response = requests.get(webpage)
    tree = html.fromstring(response.content)
    path = '//div[@class="lhs" and text()="Uniprot"]/following-sibling::div/p/a/text()'

    uniprot_id = tree.xpath(path)
    if uniprot_id:
        print uniprot_id
        return uniprot_id

Answer 1

为什么你得到一个空列表是因为看起来你使用了 xpath 当你右键单击并选择 copy xpath 时 chrome 提供，您的 xpath 不返回任何内容的原因是标签不在源中，它是动态生成的，因此请求返回的内容不包含该元素。

In [6]: response = requests.get(webpage)

In [7]: "ensembl_panel_1" in response.content
Out[7]: False

您应始终检查页面源以查看实际返回的内容，您在开发者控制台中看到的不一定是您下载源时获得的。

如果页面上有其他http://www.uniprot.org/uniprot/，您还可以使用特定的xpath，在div中搜索带有"lhs"和文本Uniprot的类，然后从以下第一个锚标记中获取文本：

 path = '//div[@class="lhs" and text()="Uniprot"]/following::a[1]/text()'

这会给你：

['Q8TDY3']

您还可以选择以下同级 div，其中锚点位于其子 p 标签内：

path =  '//div[@class="lhs" and text()="Uniprot"]/following-sibling::div/p/a/text()'