kubernetes pvc与nfs – Linux系统运维日志

此前在存储卷类型中介绍过pvc，以及其他的存储卷类型，本节笔记介绍pvc和nfs的使用

PVC

在pod中只需要定义存储卷，定义时只需要说明需要用到的大小，这个类型就是pvcl类型存储卷
而pvc存储卷必须与当前名称空间中的pvc，建立直接绑定关系，而pvc必须与pv建立绑定关系，而pv则是某个真正存储设备的存储空间，如下：

未分类

pv与pvs是kubernetes上抽象的，且标准的资源，与创建其他的pod中资源一样

用法

在存储类型中有很多存储类型被划分成预想的存储空间，这些存储空间被kubernetes映射到pv，在创建资源时，定义pod，且定义pod中的pvc即可。前提是pvc已经被创建好。pvc与pv之间没有被调用则空载，当pvc调用时则会与某个pv进行绑定(数据存放在pv之上)

pvc绑定那个pv取决于pod创建的用户定义volumes请求，如下：

1. 满足空间大小则绑定，不满足则不绑定
2. 满足访问类型：单读，单写，单读/写（pv只有）。多读写，多读，多写，

这样一来就分成大小三组来定义kubernetes。如下：

未分类

对于存储设备由存储管理员进行管理，pv与pvc由k8s集群管理员或者用户来管理。集群管理员将存储空间引入到集群内定义为PV，随后用户(创建pod用户)创建pvc(pv create)，（创建pod之前创建pvc）pvc根据配置信息查找合适pv申请（如果没有适当的pv则绑定失败，直到创建一个合适的符合条件的pv）。

pv与pvc是一一对应的，一旦pv被某个pvc占用，显示绑定状态，就不会被其他pvc使用。但是，一旦pvc创建完成(与pv绑定)，pvc就相当于一个存储卷，而存储卷(绑定过pv的pvc)能够被多个pod使用。而多个pod挂载一个pvc存储卷，这种方式就是多路访问（是否支持取决于accessMode）。

claimName: pvc名称
可以使用kubectl explain pvc查看标准使用，其中pvc kind是PersistentVolumeClaim,在spec中需要指明：

accessMode(访问模型。是否支持多人读写，或者单人读写等。accessmode支持列表，意味着可以支持多中模式。这里定义的权限只能是存储设备的子集）
ReadWriteOnce – 卷可以由单个节点以读写方式挂载
ReadOnlyMany – 卷可以由许多节点以只读方式挂载
ReadWriteMany – 卷可以由许多节点以读写方式挂载
RWO – 单路读写
ROX – 多路只读
RWX – 多路读写
并不是每个卷都支持多路，参考官网的表格,NFS多路单路都支持
resources:资源限制。（至少多少空间）
selector: 标签选择器。使用标签选择器进行绑定
storageClassName：存储类名称
volumeMode：后端存储卷模式。PV类型限制。如果有合适的pv则会绑定，如果没有则会挂起
volumeName: 存储卷名称。填写则直接绑定。
capacity : 指定空间大小通过资源访问模型进行定义,关注resources,我们可以定义成Ei，Pi，Ti，Gi，Mi，Ki

storage: 5Gi表示5G

apiSersion: v1
kind: PersistentVolume
metadata:
  name: linuxea-5
  labels: 
    name: v5
spec:
  nfs:
    path: /data/volumes/linuxea-5
    server: 10.0.1.61
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 5Gi

创建

1. 准备存储(NFS)

10.0.1.61 创建几个目录进行单独的挂载，分别是linuxea-1-5

[root@Linuxea-VM-Node_10_0_1_61 /data/linuxea-volumes]# mkdir linuxea-{1,2,3,4,5}
[root@Linuxea-VM-Node_10_0_1_61 /data/linuxea-volumes]# ls
index.html  linuxea-1  linuxea-2  linuxea-3  linuxea-4  linuxea-5  linuxea.html

[root@Linuxea-VM-Node_10_0_1_61 /data/linuxea-volumes]# cat /etc/exports
/data/linuxea-volumes/linuxea-1 10.0.0.0/8(rw,no_root_squash)
/data/linuxea-volumes/linuxea-2 10.0.0.0/8(rw,no_root_squash)
/data/linuxea-volumes/linuxea-3 10.0.0.0/8(rw,no_root_squash)
/data/linuxea-volumes/linuxea-4 10.0.0.0/8(rw,no_root_squash)
/data/linuxea-volumes/linuxea-5 10.0.0.0/8(rw,no_root_squash)

[root@Linuxea-VM-Node_10_0_1_61 /data/linuxea-volumes]# exportfs -arv
exporting 10.0.0.0/8:/data/linuxea-volumes/linuxea-5
exporting 10.0.0.0/8:/data/linuxea-volumes/linuxea-4
exporting 10.0.0.0/8:/data/linuxea-volumes/linuxea-3
exporting 10.0.0.0/8:/data/linuxea-volumes/linuxea-2
exporting 10.0.0.0/8:/data/linuxea-volumes/linuxea-1

[root@Linuxea-VM-Node_10_0_1_61 /data/linuxea-volumes]# showmount -e
Export list for Linuxea-VM-Node_10_0_1_61.dwhd.org:
/data/linuxea-volumes/linuxea-5 10.0.0.0/8
/data/linuxea-volumes/linuxea-4 10.0.0.0/8
/data/linuxea-volumes/linuxea-3 10.0.0.0/8
/data/linuxea-volumes/linuxea-2 10.0.0.0/8
/data/linuxea-volumes/linuxea-1 10.0.0.0/8

2. 创建pv

这里定义pv时候，不能定义在namespace。pv是集群级别的，不在名称空间中，所有的名称空间都可以用。但是pvc是属于名称空间的

namespace不能嵌套，namespcace属于集群资源，不能定义在名称空间中。所谓集群资源就是不能定义在名称空间中的。而pod,service必须定义在名称空间中。属于名称空间级别

我们之前，事先分别定义了5个pv，分别是1-5Gi的pv大小，支持单点读写和多路读写(稍后方便写入数据测试)。yaml如下：

[root@linuxea volume]# cat pv-demo.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: linuxea-1
  labels: 
    name: v1
spec:
  nfs:
    path: /data/volumes/linuxea-1
    server: 10.0.1.61
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 1Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: linuxea-2
  labels: 
    name: v2
spec:
  nfs:
    path: /data/volumes/linuxea-2
    server: 10.0.1.61
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: linuxea-3
  labels: 
    name: v3
spec:
  nfs:
    path: /data/volumes/linuxea-3
    server: 10.0.1.61
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 3Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: linuxea-4
  labels: 
    name: v4
spec:
  nfs:
    path: /data/volumes/linuxea-4
    server: 10.0.1.61
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 4Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: linuxea-5
  labels: 
    name: v5
spec:
  nfs:
    path: /data/volumes/linuxea-5
    server: 10.0.1.61
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 5Gi

定义完成后apply启动

[root@linuxea volume]# kubectl apply -f pv-demo.yaml 
persistentvolume/linuxea-1 created
persistentvolume/linuxea-2 created
persistentvolume/linuxea-3 created
persistentvolume/linuxea-4 created
persistentvolume/linuxea-5 created

启动后使用kubectl get pv查看状态信息

[root@linuxea volume]# kubectl get pv
NAME        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM     STORAGECLASS   REASON    AGE
linuxea-1   1Gi        RWO,RWX        Retain           Available                                      3s
linuxea-2   2Gi        RWO,RWX        Retain           Available                                      3s
linuxea-3   3Gi        RWO,RWX        Retain           Available                                      3s
linuxea-4   4Gi        RWO,RWX        Retain           Available                                      3s
linuxea-5   5Gi        RWO,RWX        Retain           Available                                      3s

其中RECLAIM POLICY 叫回收策略：当一个pvc绑定某个pv，并且存储了数据，如果pv删掉，那么绑定就会失效。删除前存放有数据就会丢失，Retain保留。Recycle(回收)，删除数据，将pv制空，让其他pv绑定。当然还有delelte，默认delete。参考https://kubernetes.io/docs/tasks/administer-cluster/change-pv-reclaim-policy/。Available表示当前处于可用状态。

3. 创建pvc

resources的选择是要大于等于定义的resources值
当创建好pvc后，就算删除pvc，pod数据也会保留，因为pv的回收策略是Retain（取决于回收策略），也不会删除。因此，只要不删除pvc，而删除pod，就算pv策略是Recycle(回收)，也不会被删除数据。

pvc是标准的k8s资源，存储在etcd中，只要etcd没有问题，pvc就没有问题，而pod是节点资源，运行在节点之上。其他资源保存在api server集群状态存储etcd当中。

在最新的版本中pv被绑定的状态下是不能够单独删除的。kubectl delete pv PVNAME PersistentVolumeClaim是独特的kind，pvc需要定义namespace
在pvc中的accessModes是pv accessModes的子集，也就是说pv有权限，这里才有权限。在之前定义了PV的大小是1-5Gi，在这里定义的spec中storage: 5Gi（这里打大小至少要大于等于才行），假如这里定义的大小在pv中不存在则会失效。这里仍然可以使用标签管理器管理。而后在pod中定义pvc名称和volumes挂载到相应的目录
我们事先已经定了pv大小，现在才能进行绑定

yaml

[root@linuxea volume]# cat pvc-demo.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: linuxea-pvc
  namespace: default
spec:
  accessModes: ["ReadWriteMany"]
  resources: 
    requests: 
      storage: 5Gi
---
apiVersion: v1
kind: Pod
metadata: 
  name: linuxea-pvc-pod
  namespace: default
spec:
  containers:
  - name: linuxea-pod1-pvc
    image: "marksugar/nginx:1.14.a"
    ports:
      - containerPort: 88
    volumeMounts:
    - name: linuxea-image
      mountPath: /data/wwwroot/
  volumes:
  - name: linuxea-image
    persistentVolumeClaim:
      claimName: linuxea-pvc

apply创建

[root@linuxea volume]# kubectl apply -f pvc-demo.yaml 
persistentvolumeclaim/linuxea-pvc created
pod/linuxea-pvc-pod created

可使用kubectl get pvc查看已经创建好的pvc已经被Bound

[root@linuxea volume]# kubectl get pvc
NAME          STATUS    VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS   AGE
linuxea-pvc   Bound     linuxea-5   5Gi        RWO,RWX                       6s

以及pod

[root@linuxea volume]# kubectl get pods -o wide
NAME              READY     STATUS    RESTARTS   AGE       IP           NODE                 NOMINATED NODE
linuxea-pvc-pod   1/1       Running   0          22s       172.16.4.7   linuxea.node-2.com   <none>

而后创建pvc之后，可查看pv已经被绑定到linuxea-5上的pv上（大于等于5G）

[root@linuxea volume]# kubectl get pv
NAME        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                 STORAGECLASS   REASON    AGE
linuxea-1   1Gi        RWO,RWX        Retain           Available                                                  2m
linuxea-2   2Gi        RWO,RWX        Retain           Available                                                  2m
linuxea-3   3Gi        RWO,RWX        Retain           Available                                                  2m
linuxea-4   4Gi        RWO,RWX        Retain           Available                                                  2m
linuxea-5   5Gi        RWO,RWX        Retain           Bound       default/linuxea-pvc                            2m

也可以使用kubectl describe pods linuxea-pvc-pod|grep root查看信息

[root@linuxea volume]# kubectl describe pods linuxea-pvc-pod|grep root
      /data/wwwroot/ from linuxea-image (rw)

pv写入测试

在集群内访问

[root@linuxea volume]# curl 172.16.4.7
linuxea-linuxea-pvc-pod.com-127.0.0.1/8 172.16.4.7/24

而后回到nfs修改

[root@Linuxea-VM-Node_10_0_1_61 ~]# echo `date` >> /data/linuxea-volumes/linuxea-5/index.html

在集群内第二次访问查看

[root@linuxea volume]# curl 172.16.4.7
linuxea-linuxea-pvc-pod.com-127.0.0.1/8 172.16.4.7/24
2018年 09月 23日 星期日 18:22:49 CST
[root@linuxea volume]#

由此可见，创建多大的pv，可能需要事先设定好，pvc才能适配，这种方式有些麻烦，可以考虑使用动态供给