【问题标题】:How to push back sidekiq job without retry in middleware?如何在不重试中间件的情况下推回sidekiq作业?
【发布时间】:2019-01-08 10:14:26
【问题描述】:

有没有办法将作业从 sidekiq 服务器中间件推回队列?或者只是重试而不计算它?

UDPATE:我的背景:我需要在 elasticsearch 中跟踪作业的状态(一个作业一个接一个),但是如果无法访问弹性,并且我再次重新安排同一个工人,我会失去链条(jid 更改)。

【问题讨论】:

  • 您认为您可以生成自己的 id(例如使用 SecureRandom)并将其存储在弹性搜索中而不是 sidekiq 作业 id 中吗?
  • 是的,这听起来像 的想法。我会努力做到这一点

标签: ruby sidekiq


【解决方案1】:

最简单的方法是让作业自行重新安排,然后退出。例如:

class MyJob < ApplicationJob
  queue_as :default

  def perform(*args)
    if ready_to_perform?
      # Do stuff!
    else
      MyJob.perform_later(args)
    end
  end
end

谨慎使用。您可能不希望工作被卡在永远重新安排自己的时间!

这与“在不增加重试计数器的情况下重试”(实现起来有点复杂)不太一样,但对于大多数这样的用例来说已经足够了。

【讨论】:

  • 谢谢,它看起来不错,但在我的用例中不可用。因为我需要在 elasticsearch(追随者)中跟踪作业的状态,但是如果无法访问弹性,并且我再次重新安排同一个工人,我会失去链条。
  • 能否请您更新您的问题,提供有关此要求的更多详细信息?您如何跟踪工作的状态? (为什么你需要跟踪它的状态?)我不确定我是否遵循了你真正想要实现的目标——什么是“链条”,为什么你会“失去”它?
  • 也许你想做的是实现类似this的东西,但在失败之前减少attempt_number?
【解决方案2】:

这不是一个有效的代码,但这样的东西可以帮助你实现你想要的。

您可以定义一个中间件并将其添加到 sidekiq,如下所示

Sidekiq.configure_server do |config|
  config.server_middleware do |chain|
    chain.add Sidekiq::RetryMonitoringMiddleware
  end
end

现在,您可以在中间件中定义如下:

class Sidekiq::RetryMonitoringMiddleware
  def call(worker, job_params, _queue)
    #calling the worker perform method to add it to the queue
    worker.perform(job_params['jid'], *job_params['args']) if should_retry?(job_params)
  rescue StandardError => e
    Rails.logger.error e
  ensure
    yield
  end

  private

  def should_retry?(job)
    # If worker is having a failure flag then only it should return a response
    # Need to check in which key we get a failure message
    (Integer(job['failure'])) == (1 || "true")
  end
end

希望对你有帮助!!

【讨论】:

  • 谢谢,它看起来不错,但在我的用例中不可用。因为我需要在 elasticsearch(追随者)中跟踪作业的状态,但如果无法访问 elastic,并且我再次重新安排同一个工人,我会失去链条。
猜你喜欢
  • 1970-01-01
  • 2016-06-13
  • 2018-04-03
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-03-29
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多