Html Agility Pack 如何在页面加载后获取动态生成的内容

Question

我正在尝试从“https://www.sideshow.com/collectibles?manufacturer=Hot+Toys”获取信息 特别是 Div c-ProductList 行 ss-targeted 但似乎没有检索到任何信息，任何线索

var test = page.DocumentNode.SelectNodes("//div[@class='c-ProductList row ss-targeted']");

Answer 1

您想要获取的内容是在页面加载后使用 Javascript 和 Ajax 生成的。 HAP 无法获取它，除非它在后台运行浏览器并执行页面上的脚本。

.Net Core 2.0

先决条件：您需要在 PC 上安装 Chrome 网络浏览器。

1. 创建控制台应用程序

2. 安装 Nuget 包 Install-Package HtmlAgilityPack Install-Package Selenium.WebDriver Install-Package Selenium.Chrome.WebDriver

3. 将Main方法替换为以下

代码：

    static void Main(string[] args)
    {
        string url = "https://www.sideshow.com/collectibles?manufacturer=Hot+Toys";
        var browser = new ChromeDriver(Environment.CurrentDirectory);
        browser.Manage().Timeouts().ImplicitWait = TimeSpan.FromSeconds(30);
        browser.Navigate().GoToUrl(url);

        var results = browser.FindElementByClassName("ss-results");
        var doc = new HtmlDocument();
        doc.LoadHtml(results.GetAttribute("innerHTML"));

        // Show results
        var list = doc.DocumentNode.SelectSingleNode("//div[@class='c-ProductList row ss-targeted']");
        foreach (var title in list.SelectNodes(".//h2[@class='c-ProductListItem__title ng-binding']"))
        {
            Console.WriteLine(title.InnerText);
        }
        Console.ReadLine();
    }

.Net 4.6

1. 创建控制台应用程序

2. 安装 Nuget 包Install-Package HtmlAgilityPack

3. 在Solution Explorer中添加对System.Windows.Form的引用

4. 根据需要添加using语句

5. 将Main 方法替换为以下内容

代码：

[STAThread]
static void Main(string[] args)
{
    string url = "https://www.sideshow.com/collectibles?manufacturer=Hot+Toys";

    var web = new HtmlWeb();
    web.BrowserTimeout = TimeSpan.FromSeconds(30);

    var doc = web.LoadFromBrowser(url, o =>
    {
        var webBrowser = (WebBrowser)o;

        // Wait until the list shows up
        return webBrowser.Document.Body.InnerHtml.Contains("c-ProductList");
    });

    // Show results
    var list = doc.DocumentNode.SelectSingleNode("//div[@class='c-ProductList row ss-targeted']");
    foreach (var title in list.SelectNodes(".//h2[@class='c-ProductListItem__title ng-binding']"))
    {
        Console.WriteLine(title.InnerText);
    }
    Console.ReadLine();
}

显示以：

开头的列表

钢铁侠马克L

约翰威克

惩罚者战争机器装甲

神奇女侠豪华版