HttpWebRequest 返回的结果与 Web 浏览器不同答案

【问题标题】：HttpWebRequest returns different results than web browserHttpWebRequest 返回的结果与 Web 浏览器不同
【发布时间】：2012-09-23 09:32:59
【问题描述】：

我正在尝试抓取一个网站并获取其页面数据。一切都很顺利，直到我开始获得与视图源中的数据不同的数据（我所期望的数据）。我正在使用 html-agility-pack 但也尝试使用 HttpWebRequest，以更改它的所有标题，但没有运气。由于视图源中的数据，我知道这不是 JavaScript 技巧。我希望有人对可能的解释或解决方案有想法。

【问题讨论】：

您是否将用户代理与浏览器的用户代理相匹配？
@spender 是的，我用我在“网络”=>“标题”=>“标题”下的“浏览器检查元素”中检查的那个标题属性填充了该标题属性。

标签： c# httpwebrequest html-agility-pack

【解决方案1】：

有很多因素可能会影响服务器发送给您的 html。我建议您使用诸如 fiddler 之类的工具来更仔细地检查请求标头。

根据我的经验，此类问题的常见罪魁祸首是 cookie 和会话信息，它们作为隐藏字段存储在文档中，并作为请求正文的一部分随每个请求一起发送。

【讨论】：