如何防止 HtmlAgilityPack 中的 Stackoverflow 异常对于非常糟糕的 html

Question

我在 MVC 5 Web Api 中使用 HtmlAgilityPack。 99.99% 的时间都没有问题……网站加载并解析它们以提取我想要的文本。我的 API 每天可以被点击几十万次而没有问题。它在过去 24 小时内愉快地处理了超过 200 万次点击...

但是，有时，格式错误的网站会导致错误 500 响应。然后所有后续请求都会收到 500 个错误，并且该站点变得完全无法使用。在这种情况下，唯一的解决方案是重新启动 Web 应用程序。该站点托管在 Windows Azure 上。我使用了负载平衡的大型实例，一旦 CPU 达到峰值，它就会保持在高位。过去，这在单个中型 Azure 实例（2 核/3.5 GB RAM）上运行良好

错误是 Stackoverflow... 我知道我无法捕捉到。

请注意，此代码不会使控制台应用程序崩溃

HtmlWeb web = new HtmlWeb();
HtmlDocument doc = web.Load("http://nursingandmidwiferycareersni.com/");            
Console.Write(doc.DocumentNode.InnerText);

...但它肯定会使 MVC Web 应用程序崩溃。

但是，在一个简单的 MVC Web 应用程序中，我可以使用 http://nursingandmidwiferycareersni.com/ 之类的站点重现 stackoverflow 错误。如果您将http://nursingandmidwiferycareersni.com/ 放入https://validator.w3.org 您将设法在validator.w3.org 上获得内部服务器错误！

如有必要，我将对 HAP 源代码进行 hack 以解决此问题...目前我只使用 Nuget 包。

是否可以防止在 HAP 中发生 stackoverflow？
或者有没有办法检查糟糕的 html 并首先防止崩溃发生？

Answer 1

试试这样的东西，ParseHtml 方法和ParsedHtml 类型只是你填写的占位符：

public async Task<ParsedHtml> TryParseHtml(
    string untrustedHtml,
    CancellationToken cancellationToken)
{
    var tcs = new TaskCompletionSource<ParsedHtml>();

    var thread = new Thread(() =>
    {
        ParsedHtml result = ParseHtml(untrustedHtml);
        tcs.TrySetResult(result);
    });
    thread.Start();

    using (cancellationToken.Register(() => tcs.TrySetCanceled()))
    {
        try
        {
            return await tcs.Task;
        }
        catch (OperationCanceledException)
        {
            thread.Abort();
            throw;
        }
    }
}

通过在成功的案例中重用线程而不是为每个 HTML 页面启动和拆除一个线程，可以将这个想法扩展为更有效。