从asp页面获取数据答案

【问题标题】：get data from asp page从asp页面获取数据
【发布时间】：2011-03-04 23:45:57
【问题描述】：

我想知道是否有任何方法可以获取从 ASP 页面生成的 html。我试图从页面中拉出一个表，并且我愚蠢地使用了一个静态 html 页面，因此我不必在测试代码时不断地查询该页面所在的服务器。我编写的用于从页面抓取未标记表格的 javascript 代码有效。然后当我用真实的页面进行实践时，发现ASP页面并没有生成可查看的页面，在URL上带有jquery .get请求。

有什么方法可以在页面中查询我需要的表，以便 ASP 页面根据请求返回有效页面？

（我也仅限于此使用javascript和perl，它将驻留的服务器不会运行php，我不想学习ASP.NET来通过添加专有软件的问题来解决这个问题）

【问题讨论】：

标签： javascript html perl web-scraping

【解决方案1】：

使用 Perl 的 LWP 模块查询 ASP.NET 页面以获取所需的信息。我会在执行 WireShark 跟踪时在 Web 浏览器中打开目标页面，这样您就可以准确了解浏览器如何调用页面并获取表信息，然后使用 LWP 执行相同的调用。

【讨论】：

【解决方案2】：

试图获取表的页面是否在同一个域中？它需要。如果不是，您必须使用代理或 XMLHttpRequest Level 2 访问控制标头。

【讨论】：

我相信它在同一个域上。我发现我从我的 ajax 请求中收到了 401 未经授权的响应。