broswer = webdriver.Firefox()
        broswer.get("https://www.smzdm.com/p/20765776/#hfeeds")

                # self.logger.info(broswer.page_source)

        goods_scrapy_selector = Selector(text=broswer.page_source)

        title_selector = goods_scrapy_selector.css(".J_title")

        title = title_selector.get()

        self.logger.info(title)

        broswer.get("https://www.smzdm.com/p/20769796/#hfeeds")

        goods_scrapy_selector = Selector(text=broswer.page_source)

        title_selector = goods_scrapy_selector.css(".J_title")

        title = title_selector.get()

不知道问什么,broswer只有在执行第一句的get时浏览器才会去加载页面,第二句不会去加载导致第二句的title是第一个地址的值。后来发现是url中#hfeeds这个锚的问题,去掉#feeds就好了,具体什么原因还不清楚。

相关文章:

  • 2021-12-18
  • 2021-05-22
  • 2021-11-25
  • 2021-08-13
  • 2018-02-01
  • 2021-09-12
  • 2021-08-10
  • 2022-01-03
猜你喜欢
  • 2022-12-23
  • 2021-12-16
  • 2022-12-23
  • 2022-12-23
  • 2021-05-09
  • 2022-12-23
相关资源
相似解决方案