如何在 Kubernetes 中运行延迟作业？

Question

我可以从其中一个 pod（在 kubernetes 上）登录控制台并运行以下命令：

RAILS_ENV=production bin/delayed_job start

作业运行正常。但是，当 pod 被删除或重新启动时，作业将停止运行。

我还尝试在初始化文件（例如 config/initializers/delayed_jobs_runner.rb）中添加上述命令，但在启动应用程序时出现递归循环。

我尝试做的另一件事是创建一个名为 my-jobs.yaml 的新文件

apiVersion: batch/v1
kind: Job
metadata:
  name: job
spec:
  template:
    spec:
      containers:
      - name: job
        image: gcr.io/test-app-123/somename:latest
        command: ["/bin/bash", "-l", "-c"]
        args: ["RAILS_ENV=production bundle exec rake jobs:work"]
      restartPolicy: Never
  backoffLimit: 4

然后我执行kubectl apply -f my-jobs.yaml，但作业没有运行。

知道如何在 kubernetes 中正确运行 delay_jobs 吗？

编辑：这是我的 Dockerfile：

FROM gcr.io/google_appengine/ruby

# Install 2.5.1 if not already preinstalled by the base image
RUN cd /rbenv/plugins/ruby-build && \
    git pull && \
    rbenv install -s 2.5.1 && \
    rbenv global 2.5.1 && \
    gem install -q --no-rdoc --no-ri bundler 
    # --version 1.11.2

ENV RBENV_VERSION 2.5.1

# Copy the application files.
COPY . /app/

# Install required gems.
RUN bundle install --deployment && rbenv rehash

# Set environment variables.
ENV RACK_ENV=production \
    RAILS_ENV=production \
    RAILS_SERVE_STATIC_FILES=true

# Run asset pipeline.
RUN bundle exec rake assets:precompile


CMD ["setup.sh"]


# Reset entrypoint to override base image.
ENTRYPOINT ["/bin/bash"]




################### setup.sh ############################
cd /app && RAILS_ENV=production bundle exec script/delayed_job -n 2 start
bundle exec foreman start --formation "$FORMATION"
#########################################################

Answer 1

现在我正在这样做：

this_pid=$$
(while [[ $(ps -ef | grep delayed_job | grep -v -e grep -e tail | head -c1 | wc -c) -ne 0 ]]; do sleep 10; done; kill -- -$this_pid) &

在启动多个工人之后。在此之后，我tail -f 日志，以便将它们转到容器的标准输出。我很疯狂，所以我也在运行 logrotate 来检查日志。无论如何，rails 环境非常大，所以容器需要非常大，我们需要能够运行许多作业，我不希望运行许多 pod 来这样做。这似乎很有效，如果工人因某种原因死亡，它将停止并重新启动。

Answer 2

在一个 docker 容器中运行多个进程是有问题的，因为您无法轻易观察特定进程的生命周期 - 每个容器都需要一个“主”进程，当它退出时，容器也会退出。

在查看 Github (https://github.com/collectiveidea/delayed_job#user-content-running-jobs) 时，我强烈建议您更改一些启动命令以在前台运行它，因为现在当您使用守护程序启动 Kubernetes 作业时 - 作业将立即结束，因为 docker 容器的生命周期与“主”前台进程的生命周期直接相关，因此当您仅运行后台进程时，您的主进程和容器也会立即退出。

将您的命令更改为：

RAILS_ENV=production script/delayed_job run

在前台启动 worker 以使您的 Kubernetes 作业不会退出。另请注意，Kubernetes 作业不适用于此类不定式任务（作业应具有开始和结束），因此我建议为此使用 ReplicaSet