Perl 网络爬虫如何跟踪 ASP.NET 回发？答案

【问题标题】：How can a Perl web crawler follow an ASP.NET postback?Perl 网络爬虫如何跟踪 ASP.NET 回发？
【发布时间】：2010-11-02 21:29:34
【问题描述】：

我正在使用 Perl/LWP 构建一个网络爬虫。网络爬虫如何像这样跟踪 ASP.NET 网格中的链接：

<a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__doPostBack('ctl00$MainContent$listResult$Top$LnkNextPage','')">Next</a>

【问题讨论】：

【解决方案1】：

看起来有一个名为 WWW::Scripter 的 WWW::Mechanize 子类，带有 javascript 和 ajax 插件应该能够做到这一点。没有尝试过那种特殊的方法。

另一种选择是WWW::Selenium，效果很好，但可能对您来说开销/设置太多。

【讨论】：

【解决方案2】：

见CPAN module HTML::TreeBuilderX::ASP_NET。

【讨论】：

【解决方案3】：

使用 WWW-Mechanize-Firefox，它能够检索/跟踪任何 Firefox 可以访问的链接。

您需要将 mozrepl 插件安装到 firefox，perl 模块将连接到该插件并使用 firefox 打开链接。

【讨论】：