【发布时间】:2017-11-11 09:33:48
【问题描述】:
我正在尝试从 Goodreads 中提取信息。问题是如果我进入如下网址:
使用 Selenium chrome webdriver 或 BeautifulSoup,它仍然显示第一页,而不是第二页。
使用 chrome 网络驱动程序的示例:
【问题讨论】:
标签: python selenium selenium-webdriver web-scraping beautifulsoup
我正在尝试从 Goodreads 中提取信息。问题是如果我进入如下网址:
使用 Selenium chrome webdriver 或 BeautifulSoup,它仍然显示第一页,而不是第二页。
使用 chrome 网络驱动程序的示例:
【问题讨论】:
标签: python selenium selenium-webdriver web-scraping beautifulsoup
看起来发生这种情况是因为您没有在 selenium 会话中登录,您必须在重新启动之间登录并保存 cookie。
查看this stackoverflow 的答案以了解如何提取 cookie。
【讨论】: