使用curl从一个网页到另一个涉及javascript的网页

【问题标题】：using curl to get from one webpage to another involving javascript使用curl从一个网页到另一个涉及javascript的网页
【发布时间】：2010-01-06 13:39:09
【问题描述】：

我有一个超链接，其 href="some/javascript/function/outputLink()"

现在，使用 curl（或 php 中的任何其他方法）我如何从 javascript function() 中推断出超链接（http:// 格式），以便我可以转到下一页。

谢谢

【问题讨论】：

标签： php javascript curl screen-scraping

【解决方案1】：

您必须抓取 JavaScript。找出函数的位置并查看它使用的 URL。

有时http:// 在同一页面上的链接会被省略，因此这不是一个好的搜索参考。

此时唯一有价值的事情就是尝试自己理解 JavaScript 代码，一旦找到链接，就可以使用 regex 过滤结果使用 PHP 以编程方式。

preg_match("/url + \'\/apples.html/g", "blah blah var javaScriptVar= url + '/apples.html';", $matches);

【讨论】：

【解决方案2】：

没有直截了当的方法。很少到零库可以完美地满足您的要求。我认为http://www.dapper.net/ 与您想要的很接近。我不确定它是否是理想的解决方案。 Dapper.net 将帮助您解析文本和链接，并且可能还会处理 javascript。

【讨论】：