Heroku上的机械化403错误

Question

当使用 mechanize 从 craigslist 中提取一些数据时，我在 Heroku 上不断收到以下错误：status: Net::HTTPForbidden 1.1 403 Forbidden

我想知道有什么方法可以防止这种情况发生，我的设置如下：

agent = Mechanize.new do |agent|
  agent.log              = @logger
  agent.user_agent_alias = 'Mac Safari'
  agent.robots           = false
end

有什么想法吗？

Answer 1

我想我会让这个更干净一些。我遇到了同样的问题，我可以通过请求新标头来解决：

@agent = Mechanize.new { |agent|
                      agent.user_agent_alias = 'Windows Chrome'}


@agent.request_headers

如果您还没有，您还应该包括一些错误处理。我写了以下内容来给出一个想法：

begin  #beginning of block for handling rescue
              @results_page = #getting some page and doing cool stuff
         #The following line puts mechanize to sleep when a new page is reached for 1/10 second.  This keeps you from overloading the site you're scraping and minimizing the chance of getting errors.  If you start to get '503' errors you should increase this number a little!
              @agent.history_added = Proc.new {sleep 0.1}

            rescue Mechanize::ResponseCodeError => exception
              if exception.response_code == "503"
                @agent.history_added = Proc.new {sleep .2}
              #the following line closes all active connections
                @agent.shutdown
                @agent = Mechanize.new { |agent|
                  agent.user_agent_alias = 'Windows Chrome'}
                @agent.request_headers
                @page = @agent.get('the-webpage-i-wanted.com')
                @form = @page.#GettingBackToWhereIWas
                redo 
                else
                #more error handling if needed
                end

***注意：考虑将其作为后台进程运行以避免在 heroku 上出现超时错误，因为它们只允许 15-30 秒的请求-响应周期。如果您还没有这样做，我会使用 redisToGo（heroku 插件）和 sidekiq（dl gem）！

Answer 2

使用 mechanize 和其他类似浏览器模拟器时，您必须监控您的网络，我更喜欢 Google chrome 开发者工具。

使用普通浏览器检查您的 URL 并检查以下内容：

1. 此网址有效吗？
2. 这个 URL 是公开的吗？
3. 此 URL 浏览器是否受限？
4. 此 URL 是否通过登录来保护？
5. 此 URL 在正常情况下需要哪些参数？

调试这些点，因为您访问的 URL 可能受限于：

• 公共使用
• 可能是目录路径，不允许索引
• 可能是服务器限制了某些用户代理使用它
• 可能是您没有完全复制请求

我想我使用了太多“可能”，但我的意思是，如果你不能公开发布你的链接，我只能猜到你的错误，如果你的链接直接点击一个目录并且它的索引是关闭的，那么你也不能在机械化中浏览它，如果是针对特定用户代理，那么您应该使用特定用户代理初始化您的机械化，例如：

browser = Mechanize.new
browser.user_agent_alias = 'Windows IE 7'

在任何其他情况下，如果您没有复制您的请求，或者缺少某些重要参数或您发送的请求类型错误，则可能缺少标头。

编辑：现在您已经在此处提供了链接，这就是您在处理 https 时应该做的事情

Mechanize.new{|a| a.ssl_version, a.verify_mode = 'SSLv3', OpenSSL::SSL::VERIFY_NONE};