多页表单所需的最佳刮板/爬虫（Nokogiri，Scrapy，其他？）

【问题标题】：Best scraper/crawler needed for multipage forms (Nokogiri, Scrapy, other?)多页表单所需的最佳刮板/爬虫（Nokogiri，Scrapy，其他？）
【发布时间】：2015-03-30 18:27:20
【问题描述】：

我了解到，例如 Nokogiri/Mechanize (Ruby) 并不擅长遍历多个页面，但使用 Ajax 的网站可能会更好。

我要抓取的网站是多页表单，带有一些 ajax 覆盖。速度很重要。这些网站都显示价格，所以我正在做一个价格聚合器。

【问题讨论】：

抓取和抓取是不同的东西。 Scrapy 两者都擅长。

标签： web-scraping scrapy mechanize mechanize-python mechanize-ruby

【解决方案1】：

我将 Capybara 与 Webkit 一起用于无头浏览器。

您还需要安装 capybara gem 和 webkit gem。

https://github.com/thoughtbot/capybara-webkit

语法很简单。

agent.visit 'some url'
agent.execute_script 'javascript here'

gem 也有页面管理，或者你可以简单地通过执行 javascript 返回到上一页。

ag.execute_script("window.history.go(-1)")

【讨论】：