【问题标题】:What's the difference of using nfs/efs as PersistentVolume and as a normal volume in kubernetes/k8s StatefulSet?在 kubernetes/k8s StatefulSet 中使用 nfs/efs 作为 PersistentVolume 和作为普通卷有什么区别?
【发布时间】:2020-01-14 20:04:45
【问题描述】:

我试图在我们的 k8s 集群上安装 Cassandra 有状态集。我们想将 AWS EFS 挂载到所有 Cassandra pod。在配置卷的过程中,我发现我们有两种声明卷的方式。

  1. 创建一个EFS,在我们的集群上安装efs-provisioner(一个persistentVolume Provisioner插件),用EFS-provisioner创建一个PersistentVolume,然后使用volumeClaimTemplates(我认为它实际上是指persistentVolumeClaimTemplates,我不知道为什么他们忽略了 pod 模板中的持久前缀)。像这样:
apiVersion: v1
kind: Pod
metadata:
  name: hello-openshift-nfs-pod 
  labels:
    name: hello-openshift-nfs-pod
spec:
  containers:
    - name: hello-openshift-nfs-pod
      image: openshift/hello-openshift 
      ports:
        - name: web
          containerPort: 80
      volumeMounts:
        - name: nfsvol 
          mountPath: /usr/share/nginx/html 
  securityContext:
      supplementalGroups: [100003] 
      privileged: false
  volumes:
    - name: nfsvol
      persistentVolumeClaim:
        claimName: nfs-pvc 

(来自article的代码)

  1. 或者我可以将 EFS 直接安装到我的 Cassandra pod:
apiVersion: v1
kind: Pod
metadata:
  name: hello-openshift-nfs-pod 
  labels:
    name: hello-openshift-nfs-pod
spec:
  containers:
    - name: hello-openshift-nfs-pod
      image: openshift/hello-openshift 
      ports:
        - name: web
          containerPort: 80
      volumeMounts:
        - name: nfsvol 
          mountPath: /usr/share/nginx/html 
  securityContext:
      supplementalGroups: [100003] 
      privileged: false
  volumes:
    - name: cassandra-shared-volume
      nfs:
        server: <EFS file system endpoint url>
        path: "/cassandra/shared"

所以对我来说,方法 1 就像将 nfs(在这种情况下为 EFS)包装在持久卷中。我不知道方法 1 的主要好处是什么,尽管它几乎是每个团队使用 nfs 的方式。 efs-provisioner FAQ 上有一个简短的回答:他们说

我注意到 EFS 直接挂载到 efs-provisioner 容器,我可以为我的应用程序这样做吗? 是的,你可以,但不推荐。您失去了 StorageClass 的可重用性,无法为新容器和 pod 动态配置新的 PersistentVolume。

这个答案很好,但我想知道persistentVolume 背后是否有任何暗示而不是单独volume。有StatefulSet doc 说:

给定 Pod 的存储必须由 PersistentVolume Provisioner 基于请求的存储类进行配置,或者由管理员预先配置。

所以我想知道 StatefulSet 是否必须有一个存储类型:PersistentVolume。主要的冲突是,EFS 与块存储不同,它本身是持久的,它的动态扩展能力已经由 AWS 处理,不需要persistentVolumeProvisioner 来创建新资源。

我想知道方法 1 的主要优点或方法 2 中的缺陷我必须使用方法 1 吗?

【问题讨论】:

    标签: docker kubernetes cassandra amazon-ebs amazon-efs


    【解决方案1】:

    出于性能考虑,使用 SAN 和 EFS 等网络文件系统通常为not recommended for Cassandra。根据工作流程,您可以使用临时(实例)存储与 EBS 获得可接受的性能,如 here 所述。

    添加容器层并没有阻止这些问题,此时我们正在执行类似的概念验证,设置写入密集型场景,并且我们已经能够使用 i3 实例和临时存储获得一些可接受的性能PersistentVolumes 定义,但这还不是一个明确的回应,因为我们会继续为我们的目的寻找正确的配置。

    【讨论】:

    • 是的,他们发现EFS太慢了,于是改用EBS。谢谢你的建议~。
    • 临时存储是迄今为止最快的选择,因为它是节点上存储并且 IO 通过机器的总线交付。 EBS 和 EFS 都是网络连接存储,因此性能由网络的 IO 控制。但是临时存储仅对复制文件或临时文件有用,因为它的生命周期在节点结束时结束。
    • 对,这取决于用例;那时我们能够使用临时驱动器大幅降低延迟,缺点是节点的替换需要更长的时间才能完成
    猜你喜欢
    • 2018-12-07
    • 2021-03-06
    • 1970-01-01
    • 2019-05-17
    • 2021-12-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-09-22
    相关资源
    最近更新 更多