C# - 使用 webcrawler 为 ajax 页面下载网站答案

【问题标题】：C# - Downloading website with webcrawler for ajax pageC# - 使用 webcrawler 为 ajax 页面下载网站
【发布时间】：2011-03-11 10:48:50
【问题描述】：

我用 C#（使用 Microsoft WebCrawler）编写了一个简单的网络爬虫项目，用于下载特定站点的内容。

我已经注册了DocumentCompleted 的活动并等待页面的ReadyState 完成。

当我使用任何浏览器导航到该页面时，该网站工作得非常好。当我尝试在整个代码中执行相同操作时，页面的 ajax 部分无法正确加载。

正如 Marcom 所建议的，我使用 fiddler 查看了来自我的网络爬虫和网络浏览器的响应。当我的网络爬虫导航到网页时，他在与网页相反的参数之一上收到错误消息。

有什么线索吗？

【问题讨论】：

【解决方案1】：

您可能必须模拟 ajax 完成的请求才能下载其余数据。

使用 fiddler 之类的工具来查看幕后发生的事情。

【讨论】：