使用 HtmlAgilityPack 下载网页时违反 HTTP 协议

Question

我正在尝试解析来自 www.mediafire.com 的下载页面，但是当我尝试将页面加载到 HtmlDocument 时，我确实经常收到带有以下消息的 System.Net.WebException：

服务器提交了一个协议 违反。 Section=ResponseStatusLine

这是我的代码：

HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb();

HtmlAgilityPack.HtmlDocument doc = null;

string url = www.mediafire.com/?abcdefghijkl //There are many different links

try
{
    doc = web.Load(url); //From 30 links, usually only 10 load properly
}

catch (WebException)
{

}

任何想法为什么只有 30 个链接中的 10 个有效（链接每次都会更改，因为我的程序是“搜索引擎”）以及我如何解决问题？

当我在浏览器中加载这些网站时，一切正常。

---

我尝试将以下几行添加到我的 app.config 中，但这也无济于事

<system.net>
    <settings>
        <httpWebRequest useUnsafeHeaderParsing="true" />
    </settings>
</system.net>

Answer 1

这与 Html Agility Pack 没有直接关系，而是与底层 HTTP/socket 层相关。此错误表示服务器未发回正确的 HTTP 状态行。

状态行在此处的 HTTP RFC 中定义：http://www.w3.org/Protocols/rfc2616/rfc2616-sec6.html

我引用：

响应消息的第一行 是状态行，由 协议版本后跟数字 状态码及其相关的文本 短语，每个元素由 SP 字符。不允许使用 CR 或 LF 最终的 CRLF 序列除外。

   Status-Line = HTTP-Version SP Status-Code SP Reason-Phrase CRLF

您可以添加带有完整十六进制报告的套接字跟踪来检查：

<configuration>
    <system.diagnostics>
        <sources>
            <source name="System.Net.Sockets" tracemode="includehex">
                <listeners>
                    <add name="System.Net.Sockets" type="System.Diagnostics.TextWriterTraceListener" initializeData="SocketTrace.log" />
                </listeners>
            </source>
        </sources>
        <switches>
            <add name="System.Net.Sockets" value="Verbose"/>
        </switches>
        <trace autoflush="true" />
    </system.diagnostics>
</configuration>

这将在当前执行目录中创建一个 SocketTrace.log 文件。看看那里，协议违规应该是可见的。如果它不是太大，你可以在这里发布:-)

不幸的是，如果您不拥有服务器，则无能为力（如果您已经添加了 useUnsafeHeaderParsing 设置，这很好）但在这些情况下会正常失败。

Answer 2

将 keep alive 属性设置为 false 将解决此问题。但我不确定 htmlagilitypack 是否有这个属性。所以使用 WebClient 会是更好的选择。

这对我有用。 不要直接使用 web.Load 加载 url，而是使用您的自定义 WebClient 下载所需 url 的 html。在您的自定义 WebClient 中覆盖 GetWebRequest 方法以使 HttpWebRequest.KeepAlive = false。现在在 web.Load() 中加载下载的文件。

MyWebClient client = new MyWebClient();
client.DownloadFile(searchURL, @"C:\\index.html");
var doc = web.Load("C:\\index.html");

覆盖 GetWebRequest

using System;
using System.Net;

namespace MyProject
{
    internal class CustomWebClient : WebClient
    {
        protected override WebRequest GetWebRequest(Uri address)
        {
            WebRequest request = base.GetWebRequest(address);
            if (request is HttpWebRequest)
            {
                (request as HttpWebRequest).KeepAlive = false;
            }
            return request;
        }
    }
}