使用 C# 抓取网页（html）答案

【问题标题】：Web page(html) scraping using C#使用 C# 抓取网页（html）
【发布时间】：2011-06-28 13:47:00
【问题描述】：

这只是一个一般性问题。目前我正在使用正则表达式进行网页抓取。但我认为有时很难弄清楚正则表达式，所以我在想 XSL/XPath 是 C# 中正则表达式的替代品吗？

另外，我想知道除了上面列出的两种之外，是否还有更高级的网页抓取技术。谢谢。

【问题讨论】：

【解决方案1】：

您可以查看SgmlReader 或Html Agility Pack，它们是 .NET 的 HTML 解析库。

【讨论】：

从 NuGet 包管理器中，运行：Install-Package HtmlAgilityPack 就可以了 :)
@Martinho，我个人更喜欢SgmlReader，但Html Agility Pack 也可以：-)
这是否意味着使用将 html 转换为格式良好的 xml，然后在 C# 中对该 xml 文档执行 Xpath？
@Robert，是的，您从 HTML 页面获得了一个 XmlDocument，它使您可以完全访问 DOM 树。
为了完整性：您还可以使用Fizzler 使用类似 jQuery 的 CSS 选择器进行查询。目前它适用于 HtmlAgilityPack，但我相信有计划支持其他解析库。

【解决方案2】：

从网页收集数据的简单方法是WebsiteParser。它基于 Html Agility Pack，您可以使用属性和 CSS 选择器简单地描述您的属性。

Github here

【讨论】：