解决 Ruby 损坏的 URI.parse，遵循重定向

Question

我正在使用 Ruby 抓取有时会返回我想要关注的重定向的网页。 有很多 Ruby gem 可以做到这一点，但是有一个问题：

Ruby 的 URI.parse 会在一些技术上无效但在 "http://www.google.com/?q=<>" 等浏览器中工作的 URI 上爆炸

URI.parse("http://www.google.com/?q=<>")               #=> error

require 'addressable/uri'
Addressable::URI.parse("http://www.google.com/?q=<>")  #=> works

我尝试过的所有 HTTP 客户端库（HttParty、Faraday、RestClient）在重定向中遇到这样的 URI 时都会中断（这是在 ruby​​ 1.9.3 上）

休息客户端：

require 'rest-client'
RestClient.get("http://bitly.com/ReeuYv") #=> explodes

法拉第：

require 'faraday'
require 'faraday_middleware'
Faraday.use(FaradayMiddleware::FollowRedirects)
Faraday.get("http://bitly.com/ReeuYv")    #=> explodes

http派对：

require 'httparty'
HTTParty.get("http://bitly.com/ReeuYv")   # => explodes

打开 uri：

require 'open-uri'
open("http://bitly.com/ReeuYv")           # => explodes

我可以做些什么来完成这项工作？

Answer 1

Mechanize 是我最喜欢的网页抓取工具。

Mechanize 库用于自动与 网站。 Mechanize 自动存储和发送 cookie，如下 重定向，并且可以跟随链接和提交表单。表单域可以是 填充并提交。 Mechanize 还跟踪 您作为历史访问过。

require 'mechanize'
agent = Mechanize.new
page = agent.get('http://bitly.com/ReeuYv')
puts page.uri.to_s
=> http://www.google.com/?q=%3C%3E

它使用 nokogiri 来解析 html，因此每个 Mechanize::Page 对象都可以被视为 nokogiri 对象，因此您可以像

puts page.form('f').q
=> <>

最后一部分可能看起来像黑魔法，但你真的需要亲自尝试pp page。它使 HTML 很容易被抓取。

Here 是入门指南和文档。

Answer 2

Typhoeus 工作：

require 'typhoeus'
Typhoeus::VERSION #=> "0.5.0.rc" 
Typhoeus.get("http://bitly.com/ReeuYv", followlocation: true).body

Answer 3

Curb 似乎有效：

require 'curb'
Curl.get("http://bitly.com/ReeuYv") { |c| 
  c.follow_location = true 
}.body_str  #=>  works

Answer 4

这将起作用：

uri = URI.escape "http://www.google.com/?q=<>"


#=> "http://www.google.com/?q=%3C%3E"


URI.parse(uri) #=> no error