如何从 403 页面获取网站图标

Question

我正在编写一个允许用户输入 URL 的工具，程序通过尝试显示该网站的图标来响应该 URL。我在许多网站上都有这个工作，但给我带来麻烦的一个网站是我的自托管 Trac 网站。似乎 Trac 的正常行为，直到最终用户被 autenticated，是显示自定义 403 页面（禁止），邀请用户登录。从 Web 浏览器访问 Trac，favicon 显示在浏览器的选项卡中，即使我'未登录（例如，Firebug 显示页面内容的 403）。如果我从浏览器查看源代码，则图标的位置就在源代码中。但是，在我的应用程序中，使用 request.GetResponse() 请求 Trac 网站会引发包含 403 的 WebException，让我没有机会阅读包含查找网站图标所需的重要信息的响应流。

我已经有代码可以下载网站的 HTML 并提取其网站图标的位置。我坚持的是下载网站的 HTML，即使它以 403 响应。

我玩过HttpWebRequest 对象的各种UserAgent、Accept 和AcceptLanguage 属性，但没有帮助。当我在某处读到 .NET 做得不好时，我也尝试自己跟踪任何重定向。仍然没有运气。

这是我所拥有的：

public static MemoryStream DownloadHtml(
        string urlParam, 
        int timeoutMs = DefaultHttpRequestTimeoutMs, 
        string userAgent = "", 
        bool silent = false
)
{
    MemoryStream result = null;

    HttpWebRequest request = null;
    HttpWebResponse response = null;

    try
    {
        Func<string, HttpWebRequest> createRequest = (urlForFunc) =>
        {
            var requestForAction = (HttpWebRequest)HttpWebRequest.Create(urlForFunc);

            // This step is now required by Wikipedia (and others?) to prevent periodic or 
            // even constant 403's (Forbidden).
            requestForAction.UserAgent = userAgent;

            requestForAction.Accept = "text/html";
            requestForAction.AllowAutoRedirect = false;
            requestForAction.Timeout = timeoutMs;

            return requestForAction;
        };

        string urlFromResponse = "";
        string urlForRequest = "";

        do
        {
            if(response == null)
            {
                urlForRequest = urlParam;
            }
            else
            {
                urlForRequest = urlFromResponse;

                response.Close();
            }

            request = createRequest(urlForRequest);
            response = (HttpWebResponse)request.GetResponse();

            urlFromResponse = response.Headers[HttpResponseHeader.Location];
        }
        while(urlFromResponse != null 
                && urlFromResponse.Length > 0 
                && urlFromResponse != urlForRequest);

        using(var stream = response.GetResponseStream())
        {
            result = new MemoryStream();
            stream.CopyTo(result);
        }
    }
    catch(WebException ex)
    {
        // Things like 404 and, well, all other web-type exceptions.

        Debug.WriteLine(ex.Message);
        if(ex.InnerException != null) Debug.WriteLine(ex.InnerException.Message);
    }
    catch(System.Threading.ThreadAbortException)
    {
        // Let ac.Thread handle some cleanup.
        throw;
    }
    catch(Exception)
    {
        if(!silent) throw;
    }
    finally
    {
        if(response != null) response.Close();
    }

    return result;
}

Answer 1

流内容存储在 Exception 对象中。

var resp = new StreamReader(ex.Response.GetResponseStream()).ReadToEnd();