【发布时间】：2012-07-08 11:33:21
【问题描述】：
我有一个 rake 任务，负责对数百万个 URL 进行批处理。因为这个过程需要很长时间，我有时会发现我尝试处理的 URL 不再有效 - 404、站点关闭等等。
当我最初写这篇文章时，基本上只有一个站点会在处理过程中不断停机，所以我的解决方案是使用open-uri，拯救任何产生的异常，稍等片刻，然后重试。
当数据集较小时这很好用，但现在时间过去了，我发现 URL 不再存在并产生 404。
使用 404 的情况，当这种情况发生时，我的脚本只是坐在那里并无限循环——显然很糟糕。
我应该如何处理页面未成功加载的情况，更重要的是，这如何适合我构建的“堆栈”？
我对这个和 Rails 还是很陌生，所以欢迎任何关于我在这个设计中可能出错的地方的意见！
这里有一些匿名代码，显示了我所拥有的：
调用 MyHelperModule 的 rake 任务：
# lib/tasks/my_app_tasks.rake
namespace :my_app do
desc "Batch processes some stuff @ a later time."
task :process_the_batch => :environment do
# The dataset being processed
# is millions of rows so this is a big job
# and should be done in batches!
MyModel.where(some_thing: nil).find_in_batches do |my_models|
MyHelperModule.do_the_process my_models: my_models
end
end
end
end
MyHelperModule 接受my_models 并使用 ActiveRecord 做进一步的事情。它调用SomeClass:
# lib/my_helper_module.rb
module MyHelperModule
def self.do_the_process(args = {})
my_models = args[:my_models]
# Parallel.each(my_models, :in_processes => 5) do |my_model|
my_models.each do |my_model|
# Reconnect to prevent errors with Postgres
ActiveRecord::Base.connection.reconnect!
# Do some active record stuff
some_var = SomeClass.new(my_model.id)
# Do something super interesting,
# fun,
# AND sexy with my_model
end
end
end
SomeClass 将通过WebpageHelper 访问网络并处理一个页面：
# lib/some_class.rb
require_relative 'webpage_helper'
class SomeClass
attr_accessor :some_data
def initialize(arg)
doc = WebpageHelper.get_doc("http://somesite.com/#{arg}")
# do more stuff
end
end
WebpageHelper是在404的情况下捕获异常并启动无限循环的地方：
# lib/webpage_helper.rb
require 'nokogiri'
require 'open-uri'
class WebpageHelper
def self.get_doc(url)
begin
page_content = open(url).read
# do more stuff
rescue Exception => ex
puts "Failed at #{Time.now}"
puts "Error: #{ex}"
puts "URL: " + url
puts "Retrying... Attempt #: #{attempts.to_s}"
attempts = attempts + 1
sleep(10)
retry
end
end
end
【问题讨论】：
-
那么你想用 404 做什么。默默地忽略它们，记录它们，或者别的什么？
-
我想注销它们，忽略，然后继续。
标签： ruby-on-rails ruby exception open-uri