WebRequest 加载 HTMLDocument 并返回 SSL 站点的所有特殊字符

Question

非常标准的 HttpWebRequest 实现，每当我通过某个 URL 来获取 html 时，它返回的只是特殊字符。下面是一个返回的示例。

现在这个网站是 SSL，所以我想知道这是否与它有关，但我以前从未遇到过这个问题，我已经将它用于其他 SSL 网站。

�


       ServicePointManager.ServerCertificateValidationCallback = new System.Net.Security.RemoteCertificateValidationCallback(AcceptAllCertifications);
        var request = (HttpWebRequest)WebRequest.Create(url);
        using (var response = (HttpWebResponse)request.GetResponse())
        {
            Stream data = response.GetResponseStream();
            HtmlDocument hDoc = new HtmlDocument();
            using (StreamReader readURLContent = new StreamReader(data))
            {
                html = readURLContent.ReadToEnd();
                hDoc.LoadHtml(html);
            }
        }

对于这个特定问题，我真的找不到任何东西，所以如果有人能指出我正确的方向，那我有点迷失了。

编辑：这是它的样子，因为我无法复制粘贴它

Answer 1

我的猜测是响应被压缩了。如果您使用像 Charles 或 Fiddler 这样的 WebDebugger。您可以看到请求的结构和结构以及它们包含的数据 - 这使得以后在编程时复制 http 请求变得更加容易。试试下面的代码。

try
{
    string webAddr = url;
    var httpWebRequest = (HttpWebRequest)WebRequest.Create(webAddr);
    httpWebRequest.ContentType = "text/html; charset=utf-8";
    httpWebRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0";
    httpWebRequest.AllowAutoRedirect = true;
    httpWebRequest.Method = "GET";
    httpWebRequest.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;


    var httpResponse = (HttpWebResponse)httpWebRequest.GetResponse();
    using (var streamReader = new StreamReader(httpResponse.GetResponseStream(), Encoding.UTF8))
    {
        var responseText = streamReader.ReadToEnd();
        doc.LoadHtml(responseText);
    }
}
catch (WebException ex)
{
    Console.WriteLine(ex.Message);
}

代码设置请求的编码。您还可以在读取响应时在流读取器上设置编码。并开启了自动解压功能。