从返回 403 禁止的网站解析答案

【问题标题】：parsing from website which return 403 forbidden从返回 403 禁止的网站解析
【发布时间】：2013-12-14 08:17:36
【问题描述】：

实际上，我正在编写一个 Windows 商店应用程序，我尝试解析一个网站，但不需要返回它在请求中有错误的响应。我有一张快照可能会帮助我们找到解决方案此代码适用于我尝试过的所有网站，但没有工作。

我使用这个源代码：

private async void parsingActualites()
    {
        HttpClient http = new System.Net.Http.HttpClient();
        HttpClientHandler newClientHandler = new HttpClientHandler();
        System.Net.Http.HttpClient client = new System.Net.Http.HttpClient();
        ***var reponse = await http.GetByteArrayAsync("http://.........../");***
        str3 = Encoding.UTF8.GetString(reponse, 0, reponse.Length - 1);
        var strdecodet = System.Net.WebUtility.HtmlDecode(str3);
        HtmlAgilityPack.HtmlDocument document2 = new HtmlAgilityPack.HtmlDocument();
        document2.LoadHtml(str3);

显示给我的错误是：

响应状态码不表示成功：403（禁止）。

解决

这是描述更多错误的图片，请您帮帮我:)

【问题讨论】：

你能浏览到url来访问吗？
是的，我可以，它正在 100% 工作

标签： c# parsing xaml windows-8 store

【解决方案1】：

有些网络服务器希望在请求中收到User-Agent 标头（如果没有看到，它们会返回 403）。您可以添加User-Agent 标头，例如如下：

HttpClient httpClient = new HttpClient();
HttpRequestMessage requestMessage = new HttpRequestMessage(HttpMethod.Get,"http://example.com");
// Add our custom headers
requestMessage.Headers.Add("User-Agent", "User-Agent-Here");
HttpResponseMessage response = await httpClient.SendAsync(requestMessage);

【讨论】：

【解决方案2】：

您遇到的问题可能有多种原因。例如 - 该站点可能需要您的程序不执行但您在浏览时手动执行的身份验证。或者网站需要您的程序未提供的标头。

解决此问题的正确方法是了解浏览器做什么，而您不做什么。下载Fiddler，运行它，然后浏览到该网址。 Fiddler 将显示您的浏览器发出的实际请求。这是一个示例 - 。

如您所见，浏览器会发送更多的标头，您应该这样做（实际上您应该找到有效的最小集）。要添加标题 - 请查看 http://massivescale.com/pages/custom-headers-with-httpclient/ 或 How do you set the Content-Type header for an HttpClient request?

【讨论】：

同样的问题，使用用户代理不是解决方案！相同的消息 403 禁止
@MedMans - 1. 您是否添加了浏览器发送的所有标头？ 2. 网站是否需要认证？ 3. 可以在浏览网站（除了标题之外的所有内容）和您的代码时发布 fiddler 的屏幕截图吗？
我验证了我的代码，现在问题解决了，我只是把put方法改成了get方法，非常感谢！ (y)