【问题标题】:Nokogiri web scraping problems?Nokogiri 网页抓取问题?
【发布时间】:2015-06-26 20:50:36
【问题描述】:

我想从example 抓取网页,只是为了玩转 nokogiri gem 的功能。

所以我现在基本上被困在一切的开始:

如何使用 nokogiri 在Select 字段中填写信息,然后循环通过第一个选择字段“选择制造商”,然后循环通过第二个选择字段“选择型号”并在每次循环中按“执行”/“确定”按钮?

【问题讨论】:

  • 我需要使用 watir 吗?或者为此机械化?听说这个可以用 PhantomJs / CasperJs 解决?

标签: ruby web-scraping nokogiri mechanize watir


【解决方案1】:

Nokogiri 用于解析 HTML 内容。它不是用来填写表格和浏览网站的。如果网站是纯 HTML(没有 JavaScript),那么 Mechanize (+ Nokogiri) 就是您想要使用的。

Mechanize 用于填写表单和导航,然后您可以使用 Nokogiri 解析生成的内容。

如果有 JavaScript,那么您可能想要使用 Watir 或者 PhantomJS,它使您能够运行无头浏览器。

【讨论】:

  • 谷歌这些术语“watir examples”和“ruby mechanize examples”,这会让你开始。从一个简单的网页开始,直到你掌握它。
猜你喜欢
  • 2020-07-03
  • 2021-07-25
  • 1970-01-01
  • 2016-02-05
  • 1970-01-01
  • 2023-03-04
相关资源
最近更新 更多