由 HtmlAgilityPack 解析的 HTML 文档返回 null

Question

我正在尝试下载网站上<code></code> 标签之间的任何内容，不幸的是，选择节点"//code" 返回null。我不知道为什么。这是我的代码：

 public void TAF_download()
        {
            var html = @"https://www.aviationweather.gov/taf/data?ids=KDEN&format=raw&metars=off&layout=off/";

            HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
            doc.LoadHtml(html);
            var TAF = doc.DocumentNode.SelectSingleNode("//code");
            Console.WriteLine(TAF.OuterHtml);
        }

Answer 1

HtmlDocument.LoadHtml(string html) 的参数必须是 HTML，而不是 URL。

你可以试试这个（不包括异常处理）：

    public void TAF_download()
    {
        var url = @"https://www.aviationweather.gov/taf/data?ids=KDEN&format=raw&metars=off&layout=off/";

        string html;

        var request = WebRequest.CreateHttp(url);

        using (var response = request.GetResponse())
        using (var reader = new StreamReader(response.GetResponseStream()))
        {
            html = reader.ReadToEnd();
        }

        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        doc.LoadHtml(html);
        var TAF = doc.DocumentNode.SelectSingleNode("//code");
        Console.WriteLine(TAF.OuterHtml);
    }

还有一个HtmlAgilityPack.HtmlWeb类支持下载网址，不过我自己一般不会用（其实我忘了）。

例如：

    public void TAF_download()
    {
        var url = @"https://www.aviationweather.gov/taf/data?ids=KDEN&format=raw&metars=off&layout=off/";

        HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb();

        HtmlAgilityPack.HtmlDocument doc = web.Load(url);
        var TAF = doc.DocumentNode.SelectSingleNode("//code");
        Console.WriteLine(TAF.OuterHtml);
    }

话虽如此，您应该寻找一个更好的数据源，一个不需要抓取 HTML 的数据源...也许是此处列出的选项之一 https://www.aviationweather.gov/dataserver