【问题标题】:Selenium and Goodreads' paginationSelenium 和 Goodreads 的分页
【发布时间】:2017-11-11 09:33:48
【问题描述】:

我正在尝试从 Goodreads 中提取信息。问题是如果我进入如下网址:

https://www.goodreads.com/shelf/show/programming?page=2

使用 Selenium chrome webdriver 或 BeautifulSoup,它仍然显示第一页,而不是第二页。
使用 chrome 网络驱动程序的示例:



在普通浏览器上,它会显示这些书籍:

【问题讨论】:

    标签: python selenium selenium-webdriver web-scraping beautifulsoup


    【解决方案1】:

    看起来发生这种情况是因为您没有在 selenium 会话中登录,您必须在重新启动之间登录并保存 cookie。

    查看this stackoverflow 的答案以了解如何提取 cookie。

    【讨论】:

    • 有趣。谢谢!
    猜你喜欢
    • 2018-01-03
    • 1970-01-01
    • 2020-01-03
    • 1970-01-01
    • 2017-08-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-12-30
    相关资源
    最近更新 更多