从 Web Scraping C# 中提取数据

Question

我是 MVC ASP.NET 开发人员。

我已经使用 WebRequest 类从任何 url 接收内容，即 http、https 等。

我已收到该特定网址的所有内容。 （现在我拿了http://google.com）

我的下一步是提取按钮、页眉、页脚、颜色、文本等。

这是我现在的代码：

public ActionResult GetContent(UrlModel model) //model having a string URL
which is entered in a text box and method hits using submit button.
{
    //WebRequest request = WebRequest.Create(model.URL);

    WebRequest request = WebRequest.Create(model.URL);

    request.Credentials = CredentialCache.DefaultCredentials;

    WebResponse response = request.GetResponse();

    Stream dataStream = response.GetResponseStream();

    StreamReader reader = new StreamReader(dataStream);

    string responseFromServer = reader.ReadToEnd();
    ViewBag.Response = responseFromServer;

    reader.Close();
    response.Close();
    return View();
}

有人可以帮我写代码吗？

还建议我使用 C# 中的一些数据提取技术。

Answer 1

这是你要走的路 http://htmlagilitypack.codeplex.com/

有很多关于它的 stackoverflow 帖子。您可以轻松地从 html 中获取任何元素。