Perl 网络爬虫框架

Question

多年来，我一直在使用 Perl 为各种不同的目的进行爬取和抓取，但一直困扰着我的一件事是，虽然有大量用于小规模抓取和爬取的出色 CPAN 模块，例如 LWP、WWW:: Mechanize、Web::Scraper、AnyEvent::HTTP 和现在的 Mojo::UserAgent，似乎没有任何爬行框架与其他语言相同。

例如 Apache Nutch (/Droids) 和 Scrapy (Python)。

有人知道 Perl 中的任何等效项目吗？

Answer 1

您可能需要查看诸如 HTML::Robot::Scraper 或 HTTP::UserAgentString::Robot，我认为还有一些以robot 命名的。