在这里获取href的xpath是什么？

Question

我正在寻找从

获取 href 的 xpath

<a class="a-link-normal s-access-detail-page a-text-normal" title="Nikon Coolpix L330 - 20.2 MP Digital Camera with 26x zoom 35mm NIKKOR VR lens and FULL HD 720p (Black)" href="https://rads.stackoverflow.com/amzn/click/com/B00HQDBLDO" rel="nofollow noreferrer"><h2 class="a-size-base s-inline s-access-title a-text-normal">Nikon Coolpix L330 - 20.2 MP Digital Camera with 26x zoom 35mm NIKKOR VR lens and FULL HD 720p (Black)</h2></a>

我尝试了以下代码：

url = "http://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords=digital+camera&rh=i%3Aaps%2Ck%3Adigital+camera"
page = requests.get(url)
tree = html.fromstring(page.text)
hrefs = tree.xpath('//*/a/@href')
for href in hrefs:
    if "keywords=digital+camera" in href:
        print href

这里没有打印任何内容。

我不确定 xpath 是否可以做到这一点？这是链接：http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=digital+camera

Answer 1

试试这个。但如果你尝试不同的东西然后问你是否在某个地方受到打击，那总是好的。

//a[@title='Nikon Coolpix L330 - 20.2 MP Digital Camera with 26x zoom 35mm NIKKOR VR lens and FULL HD 720p (Black)']

Answer 2

真正的问题不是“如何通过xpath获取链接”，而是“如何获取包含需要通过xpath检索的链接的HTML代码”。

您在浏览器中看到的亚马逊页面是由它通过几个额外的异步调用和执行 javascript 构建的。您在page.text 中获得的 HTML 与您在浏览器中看到的完全不同。它不包含所需的链接，因为requests 不是浏览器，至少没有内置 javascript 引擎。

这里最简单的解决方案是在 selenium 的帮助下自动化真正的浏览器：

from selenium import webdriver

driver = webdriver.Firefox()
driver.get('http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=digital+camera')

for link in driver.find_elements_by_xpath('//a[contains(@href, "keywords=digital+camera")]'):
    print link.get_attribute('href')

driver.close()