Docker 容器消失了，工作太慢了

Question

我有一个多线程数据处理作业，在 EC2 实例上大约需要 5 小时（相同的代码）完成。但是当它在 docker 容器上运行时（我在创建容器之前将其配置为具有 7 GB 的 RAM），该作业在 docker 容器中缓慢运行大约 12 多个小时，然后 docker 容器消失了。我们如何解决这个问题？为什么 docker 容器中的作业应该很慢？ Docker 容器中的 CPU 处理速度非常慢，不仅仅是网络 I/O。网络 I/O 慢是好的。但我想知道与 EC2 实例相比，CPU 处理速度非常慢的原因可能是什么。另外，我在哪里可以找到主机操作系统中导致 docker 容器死机的详细信息。

**docker logs <container_id>**
19-Feb-2019 22:49:42.098 INFO [main] org.apache.coyote.AbstractProtocol.start Starting ProtocolHandler ["http-nio-8080"]
19-Feb-2019 22:49:42.105 INFO [main] org.apache.coyote.AbstractProtocol.start Starting ProtocolHandler ["ajp-nio-8009"]
19-Feb-2019 22:49:42.106 INFO [main] org.apache.catalina.startup.Catalina.start Server startup in 27468 ms
19-Feb-2019 22:55:12.122 INFO [localhost-startStop-2] org.apache.catalina.startup.HostConfig.deployDirectory Deploying web application directory [/usr/local/tomcat/webapps/logging]
19-Feb-2019 22:55:12.154 INFO [localhost-startStop-2] org.apache.catalina.startup.HostConfig.deployDirectory Deployment of web application directory [/usr/local/tomcat/webapps/logging] has finished in [32] ms
searchResourcePath=[null], isSearchResourceAvailable=[false]
knowledgeCommonResourcePath=[null], isKnowledgeCommonResourceAvailable=[false]
Load language resource fail...
blah blah blah some application log
bash: line 1:    10 Killed                  /usr/local/tomcat/bin/catalina.sh run
Error in Tomcat run: 137 ... failed!

继续做 dmesg -T | grep docker，这就是我所看到的。什么是 500 dockerd？ -500 码头代理？如何解释下面的内容？

[Tue Feb 19 14:49:04 2019] docker0: port 1(vethc30f313) entered blocking state
[Tue Feb 19 14:49:04 2019] docker0: port 1(vethc30f313) entered forwarding state
[Tue Feb 19 14:49:04 2019] docker0: port 1(vethc30f313) entered disabled state
[Tue Feb 19 14:49:07 2019] docker0: port 1(vethc30f313) entered blocking state
[Tue Feb 19 14:49:07 2019] docker0: port 1(vethc30f313) entered forwarding state
**[Wed Feb 20 04:09:23 2019] [10510]     0 10510   197835    12301     111        0          -500 dockerd
[Wed Feb 20 04:09:23 2019] [11241]     0 11241    84733     5434      53        0             0 docker
[Wed Feb 20 04:09:23 2019] [11297]     0 11297    29279      292      18        0          -500 docker-proxy**
[Wed Feb 20 04:09:30 2019] docker0: port 1(vethc30f313) entered disabled state
[Wed Feb 20 04:09:30 2019] docker0: port 1(vethc30f313) entered disabled state
[Wed Feb 20 04:09:30 2019] docker0: port 1(vethc30f313) entered disabled state

在 04:09:23，从上面，它显示 500 dockerd 等，从下面，在 04:09:24，它执行 Kill 11369 Java process score 等。这是什么意思？它没有杀死docker进程吗？它杀死了在 docker 容器内运行的 Java 进程？

demsg -T | grep java 2019 年 2 月 20 日星期三 04:09:23] [ 3281] 503 3281 654479 38824 145 0 0 java [2019 年 2 月 20 日星期三 04:09:23] [11369] 0 11369 3253416 1757772 4385 0 0 java [Wed Feb 20 04:09:24 2019] 内存不足：杀死进程 11369 (java) 得分 914 或牺牲孩子 [2019 年 2 月 20 日星期三 04:09:24] 杀死进程 11369 (java) total-vm:13013664kB, anon-rss:7031088kB, file-rss:0kB, shmem-rss:0kB

Answer 1

TL；DR，您需要增加 VM/主机上的内存，或减少应用程序的内存使用量。

操作系统正在杀死在容器内运行的 Java，因为主机内存不足。当容器内的进程终止时，容器本身进入退出状态。您可以使用docker ps -a 查看这些未运行的容器。

默认情况下，docker 不限制容器的 CPU 或内存。您可以在容器上添加这些限制，如果您的容器超出容器内存限制，docker 将终止该容器。当您检查已停止的容器时，该结果将以 OOM 状态显示。

您在 docker 进程上看到 ether -500 行设置的原因是为了防止操作系统在主机内存不足时杀死 docker 本身。相反，容器内的进程被杀死，您可以在 docker 中配置重启策略来重启该容器。

您可以阅读更多关于内存限制和为容器进程配置 OOM 分数的信息：https://docs.docker.com/engine/reference/run/