如何使用 Python 解析无限滚动页面（例如 Wallbase.cc/search/sky）？答案

【问题标题】：How do I parse through an infinite scrolling page (ex. Wallbase.cc/search/sky) with Python?如何使用 Python 解析无限滚动页面（例如 Wallbase.cc/search/sky）？
【发布时间】：2011-12-30 15:47:49
【问题描述】：

不确定 Mechanize 或 BeautifulSoup 是否有任何帮助。任何建议将不胜感激！

【问题讨论】：

标签： python html-parsing beautifulsoup mechanize

【解决方案1】：

Mechanize and Beautiful soup无法与用于无限滚动的javascript接口。

硒罐。

此外，如果您在使用无限滚动时查看 ajax 请求，您会看到带有请求数据的对 http://wallbase.cc/search/160 的发布请求：

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

160对应图片范围，所以之前的请求是wallbase.cc/searc/128。

【讨论】：

因此，如果我想抓取壁纸并将每个壁纸写入一个文件夹，我将如何通过用于加载无限滚动的 javascript 来加载下一页壁纸？目前我只能一直抓取壁纸，直到加载 javascript。