通过主管关闭 Docker 容器

Question

我无法关闭主管通过supervisorctl stop all 启动的 Docker 容器。即使supervisorctl status 表明容器已关闭，docker ps 和 ps 表明它们实际上仍在运行。

查阅有关supervisorctl stop <name> 操作的主管文档显示SIGTERM 被发送到进程，然后SIGKILL 如果在某个宽限期后仍在运行。我尝试手动执行此操作，发现

• SIGTERM 发送到 docker run 进程没有任何作用
• SIGKILL 确实终止了进程，但实际上并没有更新 docker。 docker ps 表示此容器仍在运行
• 主管的SIGKILL 没有关闭容器

问题是：主管如何正确关闭 Docker 容器？

---

这是我模拟主管的实验结果：

起始位置：foo-1 和 bar-1 正在运行（我将 GCE 容器留在其中，以防它们产生影响）。 ps aux 和 docker ps 同步。

me@devenv:~$ sudo docker ps
CONTAINER ID        IMAGE                   COMMAND                CREATED             STATUS              PORTS                    NAMES
5ba70bf8937f        me/app:foo              "/bin/sh -c 'supervi   5 minutes ago       Up 5 minutes                                 foo-1
e1a684bcfceb        me/app:bar              "/bin/sh -c 'supervi   5 minutes ago       Up 5 minutes                                 bar-1
fce5db0517df        google/cadvisor:0.8.0   "/usr/bin/cadvisor"    35 minutes ago      Up 35 minutes                                bbbb 
db677eed47ef        kubernetes/pause:go     "/pause"               35 minutes ago      Up 35 minutes       0.0.0.0:4194->8080/tcp   aaaa

me@devenv:~$ ps aux | grep "docker run"
root     23358  0.0  0.1 124092 11856 pts/0    Sl   02:05   0:00 docker run --rm --name foo-1 ... -i me/app:foo
root     23365  0.0  0.1 124092 11928 pts/0    Sl   02:05   0:00 docker run --rm --name bar-1 ... -i me/app:bar

通过向进程发送SIGTERM 来模拟supervisorctl stop foo-1。结果：进程仍处于活动状态。

me@devenv:~$ sudo kill -SIGTERM 23358

... <waiting> ...

me@devenv:~$ ps aux | grep "docker run"
root     23358  0.0  0.1 124092 11856 pts/0    Sl   02:05   0:00 docker run --rm --name foo-1 ... -i me/app:foo
root     23365  0.0  0.1 124092 11928 pts/0    Sl   02:05   0:00 docker run --rm --name bar-1 ... -i me/app:bar

me@devenv:~$ sudo docker ps
CONTAINER ID        IMAGE                   COMMAND                CREATED             STATUS              PORTS                    NAMES
5ba70bf8937f        me/app:foo              "/bin/sh -c 'supervi   6 minutes ago       Up 6 minutes                                 foo-1
e1a684bcfceb        me/app:bar              "/bin/sh -c 'supervi   6 minutes ago       Up 6 minutes                                 bar-1
fce5db0517df        google/cadvisor:0.8.0   "/usr/bin/cadvisor"    36 minutes ago      Up 36 minutes                                bbbb 
db677eed47ef        kubernetes/pause:go     "/pause"               36 minutes ago      Up 36 minutes       0.0.0.0:4194->8080/tcp   aaaa

主管接下来要做的是发出SIGKILL。结果：进程被杀死 (ps aux)，但仍显示为正在运行的 docker 进程 (docker ps)。

me@devenv:~$ sudo kill -SIGKILL 23358
me@devenv:~$ ps aux | grep "docker run"
root     23365  0.0  0.1 124092 11928 pts/0    Sl   02:05   0:00 docker run --rm --name bar-1 ... -i me/app:bar

me@devenv:~$ sudo docker ps
CONTAINER ID        IMAGE                   COMMAND                CREATED             STATUS              PORTS                    NAMES
5ba70bf8937f        me/app:foo              "/bin/sh -c 'supervi   19 minutes ago      Up 19 minutes                                foo-1
e1a684bcfceb        me/app:bar              "/bin/sh -c 'supervi   19 minutes ago      Up 19 minutes                                bar-1
fce5db0517df        google/cadvisor:0.8.0   "/usr/bin/cadvisor"    49 minutes ago      Up 49 minutes                                bbbb 
db677eed47ef        kubernetes/pause:go     "/pause"               49 minutes ago      Up 49 minutes       0.0.0.0:4194->8080/tcp   aaaa

在上述实验期间，Supervisor 被关闭（以避免其自动启动行为受到干扰）。主管无法实现向进程显式发送SIGKILL 的结果；该过程仍然存在（即使主管记录了其他状态）。 docker stop <container_id> 确实停止了容器。

更新

在 Docker 容器内部还有一个正在运行的 supervisord 进程，它管理某些进程。也许问题是信号没有传播，因此它不会关闭......

更新 2

我缩小了问题的范围。我能够直接从Dockerfile 启动容器进程，而不是通过启动supervisord，这会有所不同。我可以通过主管（控制容器的 docker 容器之外的那个）来控制这个容器。

更新 3

按照建议的here 设置stopasgroup=true 对我没有任何改变。

更新 4

我能够解决其中一个问题：supervisorctl 无法关闭进程。问题是我在主管配置文件中使用command=sudo docker run... 启动docker 容器，它创建了一个sudo docker run... 和一个docker run... 进程。 supervisorctl stop... 刚刚终止了 sudo docker run... 进程，而实际的 docker 进程仍在运行。当我省略 sudo 命令时，每个主管程序仅启动 1 个进程，supervisorctl stop 终止该进程。

还有一个问题是docker ps 显示容器仍在运行，而ps aux 没有。奇怪的是，容器在响应请求时似乎仍然处于活动状态。快速查看进程列表可以确认 docker 容器生成的所有进程仍然处于活动状态，但进程列表中缺少 docker run... 进程。

更新 5

向docker run 进程发送SIGTERM、SIGHUP 或SIGQUIT 似乎对该进程没有任何作用。只有SIGKILL 才能正确终止 docker 进程。 Supervisor 已正确更新，但 docker ps 仍显示 docker 进程正在运行。

Answer 1

我想我找到了问题所在。我没有意识到，但是当启动 docker 容器时，有多种启动程序的方法。

显然CMD myexec param1 param2 启动了一个外壳程序，该外壳程序又启动了myexec（实际上这两个进程在容器中可见，/bin/sh -c myexec... 在 PID 1。更好的方法是直接启动程序（在我的情况下是 supervisord )。

另一方面，CMD ["/usr/bin/python", "/usr/local/bin/supervisord", "-c", "/root/supervisord.conf", "--nodaemon"] 工作正常。我现在可以通过主管启动和停止 docker 容器。

Here's docker 文档中的相关部分：

CMD指令有三种形式：

CMD ["executable","param1","param2"]（执行形式，这是首选形式）

CMD ["param1","param2"]（作为 ENTRYPOINT 的默认参数）

CMD command param1 param2（外壳形式）

更新

示例主管文件（在 Docker 容器内）：

[program:app]
command=python run_web_server.py
stdout_logfile=/var/log/app/app.log
directory=/opt/app
autostart=true
autorestart=false
stopsignal=INT
redirect_stderr=true
startretries=0
stopasgroup=true
killasgroup=true


[unix_http_server]
file=/var/run/supervisor.sock
chmod=0700

[supervisord]
logfile=/var/log/supervisor/supervisord.log
pidfile=/var/run/supervisord.pid
childlogdir=/var/log/supervisor

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///var/run/supervisor.sock

生成 Docker（外部）主管文件的 mako 模板：

[program:container]
command=docker run --rm --name ${name} \
% if container_links is not UNDEFINED:
% for host in container_hosts:
--add-host ${host['name']}:${host['ip']} \
% endfor
% endif
% if container_links is not UNDEFINED:
% for link in container_links:
--link ${link}:${link} \
% endfor
% endif
% if port_mappings is not UNDEFINED:
% for ext in port_mappings:
-p ${ext}:${port_mappings[ext]} \
% endfor
% endif
-e "INSTANCE_NAME=${name}" \
-e "TZ=${timezone}" \
% if environ is not UNDEFINED:
% for k in environ:
-e "${k}=${environ[k]}" \
% endfor
% endif
-v ${deployment_dir}/tmp:${deployment_dir}/app/tmp \
... more -v
-i foo/app-${version}:${type}
stdout_logfile=${deployment_dir}/log/${name}.log
redirect_stderr=true
autostart=false
autorestart=false
% if priority is not UNDEFINED:
priority=${priority}
% endif
startretries=0
# stopasgroup=true
# killasgroup=true