scrapy xpath：无法获取谷歌下一页

Question

我想在https://www.google.com.tw/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=test 中获取下一页

但我的代码不起作用。
请指导我。非常感谢。

  scrapy shell "https://www.google.com.tw/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=test"
 response.xpath("//a[@id='pnnext']/@href")

Answer 1

您可以尝试使用下面的 x 路径并让我知道结果是什么。看起来使用的 xpath 没有指向 DOM 中 web 元素的确切位置。

//a[@id='pnnext']//span[2]

Answer 2

这是工作代码

scrapy shell "https://www.google.com.tw/search?q=test"
response.xpath("//a[@id='pnnext']/@href")

问题在于您向 Google 发出请求的方式。

在任何情况下都应注意处理 Google 搜索的政策。

可在http://www.google.com/cse/docs/tos.html 找到 Google 的自定义搜索服务条款 (TOS)。

更新： 我写了一个蜘蛛来更深入地测试这个问题。

根本不是pythonic（欢迎改进），但我对处理谷歌结果的机制很感兴趣。

正如之前的 cmets 所建议的，需要对接口的国际化进行测试。

class googleSpider(CrawlSpider):
    name = "googlish"
    allowed_domains = ["google.com"]
    start_urls = ["http://www.google.com"]

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)      
        login_form = self.driver.find_element_by_name('q')        
        login_form.send_keys("scrapy\n")
        time.sleep(4)
        found = False
        while not found:
            try :
                for element in self.driver.find_elements_by_xpath("//div[@class='rc']"):
                    print element.text + "\n"
                for i in self.driver.find_elements_by_id('pnnext'):
                    i.click()
                time.sleep(5)        
            except NoSuchElementException:
                found = True
                pass

        self.driver.close()