如何加载具有 Javascript 支持的页面服务器页面答案

【问题标题】：How to load a page Server page with Javascript support如何加载具有 Javascript 支持的页面服务器页面
【发布时间】：2013-10-14 07:24:52
【问题描述】：

我需要一种轻微/快速的方法来仅下载页面 html 的内容。比我能抓住它的元标记。这是我的实际代码：

HttpWebRequest request = WebRequest.Create(resoruce_url) as HttpWebRequest;
request.UserAgent = Request.UserAgent;

try
{
    using (WebResponse response = request.GetResponse())
    {
        using (var reader = new StreamReader(response.GetResponseStream()))
        {
            var objectText = reader.ReadToEnd();
            Response.Write(objectText);
        }
    }
}
catch (Exception e) { Response.Write(e.Message); }

问题是它不支持“Javascript”作为请求，所以带有一些控件的页面，我只得到<noscript> html 代码。

我该怎么做？我不能做客户端，因为请求的页面不在同一个域中。所以唯一的方法是服务器端。

有人说要使用WebBrowser，但我知道它是一种“浏览器模拟器”，需要很多资源。我只需要一个轻微的解决方案。有什么建议吗？

【问题讨论】：

标签： c# javascript .net webforms request

【解决方案1】：

WebClient 怎么样？

实现起来非常简单。看： http://www.hanselman.com/blog/HTTPPOSTsAndHTTPGETsWithWebClientAndCAndFakingAPostBack.aspx

【讨论】：

要设置用户代理，请参阅：stackoverflow.com/questions/11841540/…

【解决方案2】：

看看PhantomJS，它是一个可编写脚本且可移植的“无头”基于WebKit 的浏览器。我不确定它是否比 IE 的 WebBrowser 控件使用更少的资源。

【讨论】：