如何下载无限滚动的网页答案

【问题标题】：How to download infinitely-scrolling web page如何下载无限滚动的网页
【发布时间】：2014-10-16 14:27:58
【问题描述】：

使用WebClient.DownloadString 方法，将普通网页源加载到字符串相当简单。

但是有没有什么简单的方法可以加载那些在您向下滚动到末尾时扩展并加载新内容的页面？

【问题讨论】：

我已经编辑了你的标题。请参阅“Should questions include “tags” in their titles?”，其中的共识是“不，他们不应该”。
不，您不能使用 webclient 执行此操作.. 但您可以尝试 Internet Explorer 或 webkit.net 或查看使用向下滚动事件创建的 ajax 请求

【解决方案1】：

您不能“下载”这样的页面，因为它不存在完整的形式。此类页面需要用户交互。

您可以使用WebBrowser 控件的一种形式浏览网站并以编程方式与网站交互。

【讨论】：

【解决方案2】：

嘿，如果你想做 webclient，你可以试试这个方法。 See 这里.. 基本上他使用的是scrapy 但我认为可以在 webclient 的情况下采用这种方法。

基本上他是在使用 firebug 或 chrome 开发工具来跟踪 ajax web 请求，在知道 web 请求后你可以使用 webclient 获取内容。

【讨论】：