如何用 ruby​​ 编写爬虫？

Question

我正在开发一个 ROR 应用程序，在该应用程序中我需要实现一个爬虫，该爬虫可以爬取其他站点并将数据存储在我的数据库中。例如，假设我想从http://www.snapdeal.com 抓取所有交易并将它们存储到我的数据库中。如何使用爬虫实现这一点？

Answer 1

根据您的用例，有几个选项。

• Nokogiri。 Here 是帮助您入门的 RailsCast。
• Mechanize 建立在 Nokogiri 之上。请参阅Mechanize RailsCast。
• 使用ScrAPI 和ScrAPI RailsCast 进行屏幕抓取。
• Hpricot。

我在几个项目中使用了 Nokogiri 和 Mechanize 的组合，我认为它们是不错的选择。

Answer 2

你想看看mechanize。另外，从您提到的内容来看，您可能根本不需要导轨。

Answer 3

正如 Sergio 评论的那样，您检索页面、解析它们并点击它们的链接。在您的情况下，听起来您更专注于“屏幕抓取”而不是抓取深度链接网络，因此像 Scrubyt 这样的库会有所帮助（尽管它的进展已经消失）。你也可以使用像Nokogiri这样的低级解析库。