elasticsearch kubernetes pod的Back-off重启失败容器的原因是什么？答案

【问题标题】：What is the reason for Back-off restarting failed container for elasticsearch kubernetes pod?elasticsearch kubernetes pod的Back-off重启失败容器的原因是什么？
【发布时间】：2019-02-05 07:54:18
【问题描述】：

当我尝试通过 kubernetes 部署运行我的 elasticsearch 容器时，我的 elasticsearch pod 会在一段时间后失败，虽然当使用 docker-compose 或 Dockerfile 直接作为 docker 容器运行时它运行得非常好。这就是我通过kubectl get pods得到的结果

NAME                  READY     STATUS    RESTARTS   AGE
es-764bd45bb6-w4ckn   0/1       Error     4          3m

下面是kubectl describe pod的结果

Name:           es-764bd45bb6-w4ckn
Namespace:      default
Node:           administrator-thinkpad-l480/<node_ip>
Start Time:     Thu, 30 Aug 2018 16:38:08 +0530
Labels:         io.kompose.service=es
            pod-template-hash=3206801662
Annotations:    <none> 
Status:         Running
IP:             10.32.0.8
Controlled By:  ReplicaSet/es-764bd45bb6
Containers:
es:
Container ID:   docker://9be2f7d6eb5d7793908852423716152b8cefa22ee2bb06fbbe69faee6f6aa3c3
Image:          docker.elastic.co/elasticsearch/elasticsearch:6.2.4
Image ID:       docker-pullable://docker.elastic.co/elasticsearch/elasticsearch@sha256:9ae20c753f18e27d1dd167b8675ba95de20b1f1ae5999aae5077fa2daf38919e
Port:           9200/TCP
State:          Waiting
  Reason:       CrashLoopBackOff
Last State:     Terminated
  Reason:       Error
  Exit Code:    78
  Started:      Thu, 30 Aug 2018 16:42:56 +0530
  Finished:     Thu, 30 Aug 2018 16:43:07 +0530
Ready:          False
Restart Count:  5
Environment:
  ELASTICSEARCH_ADVERTISED_HOST_NAME:  es
  ES_JAVA_OPTS:                        -Xms2g -Xmx2g
  ES_HEAP_SIZE:                        2GB
Mounts:
  /var/run/secrets/kubernetes.io/serviceaccount from default-token-nhb9z (ro)
Conditions:
  Type              Status
  Initialized       True 
  Ready             False 
  ContainersReady   False 
  PodScheduled      True 
Volumes:
  default-token-nhb9z:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-nhb9z
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
             node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type     Reason     Age               From           Message
  ----     ------     ----              ----           -------
 Normal   Scheduled  6m                default-scheduler                     Successfully assigned default/es-764bd45bb6-w4ckn to administrator-thinkpad-l480
 Normal   Pulled     3m (x5 over 6m)   kubelet, administrator-thinkpad-l480  Container image "docker.elastic.co/elasticsearch/elasticsearch:6.2.4" already present on machine
 Normal   Created    3m (x5 over 6m)   kubelet, administrator-thinkpad-l480  Created container
 Normal   Started    3m (x5 over 6m)   kubelet, administrator-thinkpad-l480  Started container
 Warning  BackOff    1m (x15 over 5m)  kubelet, administrator-thinkpad-l480  Back-off restarting failed container

这是我的 elasticsearc-deployment.yaml：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  annotations:
    kompose.cmd: kompose convert
    kompose.version: 1.1.0 (36652f6)
  creationTimestamp: null
  labels:
    io.kompose.service: es
  name: es
spec:
  replicas: 1
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        io.kompose.service: es
    spec:
      containers:
      - env:
        - name: ELASTICSEARCH_ADVERTISED_HOST_NAME
          value: es
        - name: ES_JAVA_OPTS
          value: -Xms2g -Xmx2g
        - name: ES_HEAP_SIZE
          value: 2GB
        image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
        name: es
        ports:
        - containerPort: 9200
        resources: {}
      restartPolicy: Always
 status: {}

当我尝试使用 kubectl logs -f es-764bd45bb6-w4ckn 获取日志时，我得到了

Error from server: Get https://<slave node ip>:10250/containerLogs/default/es-764bd45bb6-w4ckn/es?previous=true: dial tcp <slave node ip>:10250: i/o timeout

这个问题的原因和解决办法是什么？

【问题讨论】：

尝试打印一些日志，我通过 pod describe 看不到那么多信息。
@Tim .. 当我尝试从服务器获取日志时收到此响应错误：获取 https://:10250/containerLogs/default/es-764bd45bb6-w4ckn/es ?previous=true: dial tcp :10250: i/o timeout
请用kubectl logs -f es-764bd45bb6-w4ckn的输出更新您的问题
@UroshT。已经做了。
CrashLoopBackOff 只是意味着 pod 不断崩溃，k8s 已经放弃了。您需要确定导致崩溃的原因。您可以使用“watch kubectl describe [pod_name]”在创建 pod 时查看事件，如果在创建过程中出现问题，这很有用。如果 pod 在启动后崩溃，您需要获取容器日志，您可以使用上面提到的 docker 获取。

标签： docker elasticsearch kubernetes

【解决方案1】：

我遇到了同样的问题，这个问题可能有几个原因。在我的情况下，jar 文件丢失了。 @Lakshya 已经回答了这个问题，我想添加您可以采取的解决问题的步骤。

获取 pod 状态，命令 - kubectl get pods
描述 pod 以进一步查看 - kubectl describe pod "pod-name" 最后几行输出为您提供事件以及部署失败的位置
获取日志以获取更多详细信息 - kubectl logs "pod-name"
获取容器日志 - kubectl logs "pod-name" -c "container-name" 从 describe pod 命令的输出中获取容器名称

如果您的容器已启动，您可以使用 kubectl exec -it 命令进一步分析容器

希望它能帮助社区成员解决未来的问题。

【讨论】：

谢谢。我猜你没有注意到我最近在找到解决方案时已经回答了我自己的问题。尽管如此，上述步骤可能会在未来帮助人们。

【解决方案2】：

我发现使用docker logs 用于es 容器的日志，发现es 没有启动，因为vm.max_map_count 设置为非常低的值。我使用 sysctl -w vm.max_map_count=262144 将 vm.max_map_count 更改为所需的值，之后 pod 已启动。

【讨论】：

sysctl: 未知 oid 'vm.max_map_count'

【解决方案3】：

可能配置不正确但有效，请阅读 pod 日志并查找错误消息。修复配置并重新部署应用程序

【讨论】：