asp.net C# 获取网页的最终页面源答案

【问题标题】：asp.net C# get final page source of a webpageasp.net C# 获取网页的最终页面源
【发布时间】：2012-02-21 17:30:42
【问题描述】：

我正在尝试获取网页的最终来源。我正在使用 webclient openRead 方法，但此方法仅返回初始页面源。源下载后，有一个 javascript 运行并以不同的格式收集我需要的数据，我的方法将寻找完全改变的东西。我所说的是完全一样的区别：

右键单击网页 -> 选择查看源代码
访问开发者工具

查看此站点以了解我在说什么：http://www.augsburg.edu/history/fac_listing.html 并观察使用每个选项如何显示任何电子邮件。我认为发生的事情是第一个将向您显示页面的初始加载。第二个将向您显示最终页面 html。网络客户端只让我做选项#1。

这里是只返回选项 #1 的代码。哦，我需要从控制台应用程序执行此操作。谢谢！

private static string GetReader(string site)
{
    WebClient client = new WebClient();
    try
    {
        data = client.OpenRead(site);
        reader = new StreamReader(data);
    }
    catch
    {
        return "";
    }
    return reader.ReadToEnd();
}

【问题讨论】：

user1019042 ：我也有同样的问题，你能告诉我你有没有为你发布的这个要求找到任何解决方案。我正在使用相同的 HttpWebrequest 和 HttpResponse。stackoverflow.com/questions/13666087/…

标签： c# webclient

【解决方案1】：

我找到了解决问题的方法。我最终使用了 Selenium-WebDriver PageSource 属性。效果很好！

了解 Selenium 和 Webdriver。这是一件容易学习的事情。它有助于测试和这个！

【讨论】：