HtmlAgilityPack DocumentNode.ChildNodes 返回空节点

Question

我用 Java 为 price comparison site 构建了一个网站爬虫，并希望用 C# 重新实现它。我在 Java 中使用了 Jsoup，而 HtmlAgilityPack (HAP) 是 .NET 的一个很好的对应物。在爬取了这个site 的示例产品后，我注意到HAP 返回了空的html 节点。当我查看该站点的源代码时，它们不是原始 html 的一部分。该节点仅包含格式符号，如"\n\t\t\t\t"。 Jsoup 没有表现出这种行为，所以我很好奇 HAP 在那里做了什么。我如何检索节点的小代码示例：

using Fizzler.Systems.HtmlAgilityPack; // Without that I can't retrieve nodes 
                                      // by searching for a certain class
[...]
var client = new WebClient()
{
    Encoding = Encoding.UTF8
};
var doc = new HtmlDocument();
var html = client.DownloadString("https://www.idealo.de/preisvergleich/OffersOfProduct/5473234);
doc.LoadHtml(html);
var root = doc.DocumentNode;
var data = root.QuerySelector(".pageContent-wrapper").FirstChild;

此代码返回一个以"\n\t\t\t\t" 作为内容的空节点，而它应该返回一个带有javascript 内容的脚本节点。

关键的 html 部分：

<main class="pageContent-wrapper">
<!-- Here is nothing!-->
            <script type="application/ld+json">{...json...}</script>

为什么<script> 不是直接子节点，而是某个空节点？

Answer 1

好像你想得到这个json

var json = root.SelectSingleNode("//*[@class='pageContent-wrapper']/script").InnerText;
var jobj = JObject.Parse(json);