【发布时间】:2021-02-17 05:29:37
【问题描述】:
下载网页以在 Ruby 中解析的最快方法是什么?我试过使用 open-uri 和 HTTParty 似乎都需要大约 25 秒来下载简单的网页(我试过多个网站)。
我将站点传递给 Nokogiri,但延迟发生在将任何参数传递给 Nokogiri 之前。
【问题讨论】:
标签: ruby web-crawler httparty open-uri
下载网页以在 Ruby 中解析的最快方法是什么?我试过使用 open-uri 和 HTTParty 似乎都需要大约 25 秒来下载简单的网页(我试过多个网站)。
我将站点传递给 Nokogiri,但延迟发生在将任何参数传递给 Nokogiri 之前。
【问题讨论】:
标签: ruby web-crawler httparty open-uri
我更喜欢使用gem 'http' (https://github.com/httprb/http)。它是快速、干净的 api。
您还可以查看 http 客户端比较表: https://github.com/httprb/http#another-ruby-http-library-why-should-i-care
【讨论】: