【发布时间】:2011-06-28 04:21:28
【问题描述】:
我有一个简单的函数可以从特定页面的以下代码中抓取突然出现 503 错误的网页:
try
{
WebClient client = new WebClient();
client.Proxy = null;
string webhtml = client.DownloadString(strURL);
client.Dispose();
return (webhtml);
}
当我在 IE 或 FF 中输入 URL 时,该 URL 有效,但运行此代码时返回错误。其他网址工作正常。我猜来自 .net 的 http 请求与来自任何一个浏览器的请求有所不同。有什么方法可以更好地模拟基于浏览器的 http 请求?
谢谢。
【问题讨论】:
-
他们可能会禁止您的请求,因为他们不希望自己的网站被抓取。
-
可以发网址吗?如果有的话,我可以提供更多帮助。
标签: .net webclient httprequest downloadstring