【问题标题】:C# Pull a webpage with HTTPWebRequest and execute the javascript from the siteC# 使用 HTTPWebRequest 拉取网页并从站点执行 javascript
【发布时间】:2012-11-05 13:39:34
【问题描述】:

有没有办法使用 HTTPWebRequest 获取网页,然后执行页面上的所有 javascriptcode 以及 ajax 调用并将结果保存到字符串?

我想解析一个网站,其中一些图像是通过 js 代码生成的,并且在 js 脚本运行之前这些图像不在网页上。

现在我在网上搜索解决方案,但我发现的只是这样的答案是不可能的,请改用网络浏览器,这对我来说不是一个选项。

问候

【问题讨论】:

  • 您能详细说明为什么不能使用 WebBrowser 类吗?
  • notions.okuda.ca/2009/06/11/… 详细说明了 alexn 的建议。如果你不能使用 a 网络浏览器,我无法从你的 Q 中判断你是否不能使用 the WebBrowser 对象。
  • WebBrowser 很慢,有时有问题,速度对我很重要。

标签: c# javascript httpwebrequest webbrowser-control


【解决方案1】:

这确实是不可能的,正如我在尝试满足急需的需求时发现的那样。 Javascript 将执行,但不会进行 Ajax 调用。

我确定的解决方案是通过代码隐藏文件(C# 代码)同步获取 Ajax 调用的所有数据,并使用脚本标签将代码隐藏变量分配给 Javascript 变量,并让 Javascript做它的工作(构建动态元素等)

【讨论】:

  • 你用什么来执行没有 ajax 调用的 javascript?
  • 同步 Javascript 无论如何都会在任何网络请求中执行。只有异步代码(ajax 调用、回调)才会失败。回答问题:我在 ASP.NET 中使用了WebRequest 类。
【解决方案2】:

您可以使用 C++ http 系统来执行此操作,它可以让您对接收的数据片段进行大量控制,但我想这并不是一个真正的答案,所以......

为什么不尝试输入webkit into your app,并从中排除事件。它有几个事件可以在下载开始和完成时通知您。

【讨论】:

  • 我认为快速简便的方法是 WebBrowser 控件,对他来说最好的方法是使用 .NET WebKit 包装器。
【解决方案3】:

我做了一些研究只是因为我觉得它很有趣。我发现了一个名为 Phantom.js 的东西,看起来它可以满足您的需求。看看这个: http://phantomjs.org/

【讨论】:

  • 有趣的项目,但它似乎更独立,不适合在 C# 中使用。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-03-25
  • 1970-01-01
  • 1970-01-01
  • 2012-07-20
  • 1970-01-01
  • 1970-01-01
  • 2011-01-23
相关资源
最近更新 更多