【问题标题】:Kubernetes pod unwanted restartKubernetes pod 不需要重启
【发布时间】:2020-03-01 10:07:36
【问题描述】:

我正在生产环境中运行 Python 应用程序,但我的 pod 在生产环境中频繁重启。在暂存环境中不会发生。

所以我认为这可能是 CPU 和内存限制问题。我也更新了。

进一步调试,我得到了137 退出代码。

要进行更多调试,我会进入 Kubernetes 节点并检查容器。

使用的命令:docker inspect < container id >

这是输出:

 {
    "Id": "a0f18cd48fb4bba66ef128581992e919c4ddba5e13d8b6a535a9cff6e1494fa6",
    "Created": "2019-11-04T12:47:14.929891668Z",
    "Path": "/bin/sh",
    "Args": [
        "-c",
        "python3 run.py"
    ],
    "State": {
        "Status": "exited",
        "Running": false,
        "Paused": false,
        "Restarting": false,
        "OOMKilled": false,
        "Dead": false,
        "Pid": 0,
        "ExitCode": 137,
        "Error": "",
        "StartedAt": "2019-11-04T12:47:21.108670992Z",
        "FinishedAt": "2019-11-05T00:01:30.184225387Z"
  },

OOMKilled 是错误的,所以我认为这不是问题。

使用 GKE 主版本:1.13.10-gke.0

【问题讨论】:

  • 容器日志是否说明了什么? kubectl describe 吊舱?您通常不应该在 Kubernetes 中手动运行 docker 命令(而且通常几乎没有理由运行 docker inspect),但同样的信息也在 kubectl get pod -o yaml 输出中。
  • 你好@DavidMaze 谢谢你写答案。 kubectl logs 中没有任何内容,它只是应用程序日志。我试图解决容器重启背后的问题或原因,所以使用了docker inspect。

标签: docker kubernetes dockerfile google-kubernetes-engine kubernetes-pod


【解决方案1】:

从技术上讲,所有 137 意味着您的进程因 SIGKILL 而被终止。不幸的是,这没有足够的信息来知道它来自哪里。最重要的是,auditd 或 Falco 等工具可以通过记录这些类型的系统调用来帮助收集数据,或者至少让你更接近。

【讨论】:

【解决方案2】:

退出代码 137 是 docker exit code,它告诉我们容器已被 OOM 杀手杀死。这并不意味着容器本身达到了内存限制,或者它没有足够的内存来运行。由于操作系统级别的 OOM 杀手正在杀死应用程序,因此 pod 和 docker 不会为容器本身注册 OOM,因为它不一定达到内存限制。

上面链接的文档详细介绍了如何调试错误 137,不过您也可以检查节点指标以了解内存使用情况或检查节点日志以查看是否曾在操作系统级别注册过 OOM。

如果这是一个常规问题,请确保您的 python 容器包含限制,并确保集群中的其他容器设置了适当的请求和限制。

【讨论】:

  • 感谢您写下答案,我将查看文档。
  • forums.docker.com/t/…这可能吗?
  • 这是不正确的。这并不意味着 OOMKiller 本身,只是 SIGKILL。
猜你喜欢
  • 1970-01-01
  • 2018-06-24
  • 2016-08-22
  • 1970-01-01
  • 1970-01-01
  • 2023-02-11
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多