为 SelectNode 获取正确的 XPath

Question

我刚开始使用 HtmlAgilityPack 从网站上抓取一些文本。我进行了实验，发现在使用 SelectNodes 方法时，某些网站比其他网站更容易获得正确的 XPath。我相信我做错了什么，但无法弄清楚。

例如，在 Google Chrome 中探索 DOM 时，我可以复制 XPath：//*[@id="page"]/span/table[7]/tbody/tr[1]/td/span[2]/a 然后我会做类似的事情。

var search = doc.DocumentNode.SelectNodes("//[@id=\"page\"]//span//table//tr//td//span//a" 在foreach loop 中使用search 时，我得到一个空引用错误，并且调试器说search 是空的。所以我假设 XPath 是错误的..（或者我正在做其他完全错误的事情）所以我的问题是我究竟如何为 HtmlAgilityPack 找到正确的 XPath 来找到这些节点？

Answer 1

跟进您在上一条评论中的要求，只有在 http get 请求返回后，html 才会完全呈现。

几个 javascript 调用将 html 块插入到文档中。

你想要它们中的以下：loadCompanyProfileData('ContactInfo')，它会生成一个如下所示的 http get 请求：

http://financials.morningstar.com/cmpind/company-profile/component.action?component=ContactInfo&t=XNAS:AAPL&region=usa&culture=en-US&cur=&_=1465809033745。

这将返回电子邮件，您可以使用如下代码提取该电子邮件： HtmlWeb w = new HtmlWeb(); var doc = w.Load("http://financials.morningstar.com/cmpind/company-profile/component.action?component=ContactInfo&t=XNAS:AAPL&region=usa&culture=en-US&cur=&_=1465809033745");

        var emails = doc.DocumentNode.CssSelect("a")
            .Where(a => a.GetAttributeValue("href")
                .StartsWith("mailto:"))
                .Select(a => a.GetAttributeValue("href")
                    .Replace("mailto:", string.Empty));

电子邮件最终包含 1 个元素，即investor_relations@apple.com。

您的问题是确定 loadCompanyProfileData javascript 函数用于每个不同公司的“cur”参数应该是什么。

我无法在代码中找到此参数的生成位置/方式。 一种替代方法是执行浏览器模拟器（如 selenium web driver port for c#），这样您就可以执行 javascript 代码 - 并针对每个公司请求运行对 loadCompanyProfileData('ContactInfo') 的调用。

但我无法让它正常工作，我的网络驱动器脚本执行看起来不工作。