【发布时间】:2022-01-03 15:31:54
【问题描述】:
spring boot应用部署在openshift 4上,这个应用需要在nfs-share上创建一个文件。 openshift 容器已在 NFS 类型上配置了卷挂载。 openshift 上的容器创建一个随机用户 ID 为的 pod
sh-4.2$ id
uid=1031290500(1031290500) gid=0(root) groups=0(root),1031290500
挂载点是/nfs/abc
sh-4.2$ ls -la /nfs/
ls: cannot access /nfs/abc: Permission denied
total 0
drwxr-xr-x. 1 root root 29 Nov 25 09:34 .
drwxr-xr-x. 1 root root 50 Nov 25 10:09 ..
d?????????? ? ? ? ? ? abc
在 docker 映像上,我使用 uid= gid=48760 创建了一个“技术”用户,如下所示。
FROM quay.repository
MAINTAINER developer
LABEL description="abc image" \
name="abc" \
version="1.0"
ARG APP_HOME=/opt/app
ARG PORT=8080
ENV JAR=app.jar \
SPRING_PROFILES_ACTIVE=default \
JAVA_OPTS=""
RUN mkdir $APP_HOME
ADD $JAR $APP_HOME/
WORKDIR $APP_HOME
EXPOSE $PORT
ENTRYPOINT java $JAVA_OPTS -Dspring.profiles.active=$SPRING_PROFILES_ACTIVE -jar $JAR
我的部署配置文件如下所示
spec:
volumes:
- name: bad-import-file
persistentVolumeClaim:
claimName: nfs-test-pvc
containers:
- resources:
limits:
cpu: '1'
memory: 1Gi
requests:
cpu: 500m
memory: 512Mi
terminationMessagePath: /dev/termination-log
name: abc
env:
- name: SPRING_PROFILES_ACTIVE
valueFrom:
configMapKeyRef:
name: abc-configmap
key: spring.profiles.active
- name: DB_URL
valueFrom:
configMapKeyRef:
name: abc-configmap
key: db.url
- name: DB_USERNAME
valueFrom:
configMapKeyRef:
name: abc-configmap
key: db.username
- name: BAD_IMPORT_PATH
valueFrom:
configMapKeyRef:
name: abc-configmap
key: bad.import.path
- name: DB_PASSWORD
valueFrom:
secretKeyRef:
name: abc-secret
key: db.password
ports:
- containerPort: 8080
protocol: TCP
imagePullPolicy: IfNotPresent
volumeMounts:
- name: bad-import-file
mountPath: /nfs/abc
dnsPolicy: ClusterFirst
securityContext:
runAsGroup: 44337
runAsNonRoot: true
supplementalGroups:
- 44337
PV请求如下
apiVersion: v1
kind: PersistentVolume
metadata:
name: abc-tuc-pv
spec:
capacity:
storage: 10Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
storageClassName: classic-nfs
mountOptions:
- hard
- nfsvers=3
nfs:
path: /tm03v06_vol3014
server: tm03v06cl02.jit.abc.com
readOnly: false
现在openshift用户有了id
sh-4.2$ id
uid=1031290500(1031290500) gid=44337(technical) groups=44337(technical),1031290500
近期更新
为了清楚问题,下面我有来自同一个 pod 终端的两个命令,
sh-4.2$ cd /nfs/
sh-4.2$ ls -la (The first command I tried immediately after pod creation.)
total 8
drwxr-xr-x. 1 root root 29 Nov 29 08:20 .
drwxr-xr-x. 1 root root 50 Nov 30 08:19 ..
drwxrwx---. 14 technical technical 8192 Nov 28 19:06 abc
sh-4.2$ ls -la(few seconds later on the same pod terminal)
ls: cannot access abc: Permission denied
total 0
drwxr-xr-x. 1 root root 29 Nov 29 08:20 .
drwxr-xr-x. 1 root root 50 Nov 30 08:19 ..
d?????????? ? ? ? ? ? abc
所以问题是我在挂载点上看到了这些问号(???)。 安装工作正常,但我无法访问此 /nfs/abc 目录,我看到了这个 ?????出于某种原因
更新
sh-4.2$ ls -la /nfs/abc/
ls: cannot open directory /nfs/abc/: Stale file handle
sh-4.2$ ls -la /nfs/abc/ (after few seconds on the same pod terminal)
ls: cannot access /nfs/abc/: Permission denied
这个 STALE FILE HANDLE 可能是导致此问题的原因吗?
【问题讨论】:
-
如果真的挂载了/nfs/,则与kubernetes/openshift无关,问题出在NFS的访问权限配置错误。确保每个人都可以在 NFS 共享中写入/读取 (o+rw[x])
-
@9ilsdx9rvj0lo 如您所见,我拥有共享权限 drwxrwx---。 13 Technical Technical 8192 Sep 7 13:50 abc 作为 openshift 用户是“技术”组的一部分
-
在您的示例中,NFS 和 PV 中的路径以及 ls 命令和部署描述符中的路径不匹配。此外,用户/组的名称无关紧要,但数字 id 必须两边相同。
-
我做了更改,请检查。这些是为了遵守公司政策和隐藏信息而进行的编辑。
-
@masseyb 最好举个例子说明你的意思
标签: docker kubernetes openshift openshift-4