PV・PVC・StorageClass — Podを作り直すとデータが消える

Podを作り直すとデータが消えます。PV・PVC・StorageClassの関係を押さえて、残る形にします。

前回: ConfigMapとSecret — Secretは暗号化ではない

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこでは触れなかった「Pod が消えたあともデータをどこに残すのか」を確かめる回です。

この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。 前提: minikube入門、または kubeadmで組むクラスタを終えていて、kubectl get nodes が Ready を返すこと。 本線で作ったものには触りません。 練習用に storagelab という名前空間を新しく作って、そこだけで完結させます。

Kubernetes で初めて MySQL を動かしたとき、こうなりました。

Pod を立てて、テーブルを作って、データを入れる。動く。嬉しい。翌日、YAML を1行直したくて kubectl delete pod して、kubectl apply し直す。

mysql> SELECT * FROM memo;
ERROR 1146 (42S02): Table 'app.memo' doesn't exist

全部消えていました。

これは コンテナを消すとデータも消える — Docker深掘り で一度やった失敗と、同じ形をしています。ただし Kubernetes では、もう一段複雑になります。

Docker のときは「ホストのこのフォルダを使う」と書けば済みました。このホスト1台しかなかったからです。 Kubernetes はそうはいきません。Pod はどのノードで動くか分からないし、1台落としてもPodは移るで見たとおり、勝手に別のノードへ移ります。移った先にそのフォルダは無い。

だから Kubernetes は「保存場所」をPodから引き剥がして、別の物として管理します。それが PV / PVC / StorageClass です。この回はそこを潰します。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • emptyDir は「Podが生きている間だけ」。コンテナが再起動しても残るが、Podが消えると消える。この2つは別の話
  • PVC は「要求書」、PV は「実物」、StorageClass は「実物を用意する係」。3つは役割が違うのであって、名前が違うのではない
  • ReadWriteOnce は「1つのPodから」ではなく「1つのノードから」。同じノードなら複数Podで同時に使える
  • PVC が Pending で止まるのは、ほぼ「用意する係がいない」。kubectl describe pvc の Events に理由が全部書いてある
  • reclaimPolicy: Delete のとき、PVC を消すとデータごと消える。バックアップより先に、ここを知っておく必要がある

この記事でやること

  1. emptyDir にファイルを書き、コンテナだけ落として残ることと、Podを消して消えることを両方確かめる
  2. PVC を作って Pod にマウントし、Pod を消して作り直してもデータが残ることを確かめる
  3. StorageClass が無い状態をわざと作り、PVC が Pending で止まるところを describe で読む
  4. local-path-provisioner を入れて、あるいは手動でPVを作って、Pending を解消する
  5. reclaimPolicy を変えて、PVC を消したときに PV とデータがどうなるかを2通り確認する
  6. PV が残っていないことを確認して片づける

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
ボリューム(Volume)Pod の中のコンテナに見せる「保存場所」。Pod の YAML に書く。Docker のボリュームとは別物
emptyDirPod が動き出すときに空で作られる置き場。Pod が消えると一緒に消える
PersistentVolume(PV)クラスタにある保存領域の実物。「10GiB のディスクがここにある」という登録票
PersistentVolumeClaim(PVC)「10GiB ください」という要求書。Pod は PV ではなく PVC を指す
StorageClass(SC)要求が来たら実物を用意する係。「どの種類のディスクを、どう作るか」の設計図
プロビジョナ(provisioner)StorageClass の中身。実際にディスクを切り出すプログラム
バインド(Bound)PVC と PV が結び付いた状態。kubectl get pvc の STATUS に出る
アクセスモード「何ノードから、読み書きどちらで使えるか」の宣言。RWO / ROX / RWX
reclaimPolicyPVC が消えたあと、PV と中身をどうするか。Delete(消す)か Retain(残す)

準備 — 練習用の名前空間を作る

本線で作ったものと混ざらないように、専用の名前空間を作ります。

bash
$ kubectl create namespace storagelab

以降、この記事のコマンドはすべて -n storagelab を付けます。付け忘れると default に作られます。 後片づけのときに困るので、ここだけは機械的に付けてください。

クラスタが1台か3台かを確認しておきます。

bash
$ kubectl get nodes -o wide
NAME       STATUS   ROLES           AGE   VERSION
k8s-cp     Ready    control-plane   9d    v1.31.4

1台でも進められます。 ただし「1台だからこそ起きること」があるので、後半(⑧)で必ず読んでください。


① emptyDir で消えることを確かめる

まず、何も指定しなければどうなるかを見ます。

emptydir.yaml を作ります。

bash
$ mkdir -p ~/storagelab && cd ~/storagelab
$ nano emptydir.yaml
apiVersion: v1
kind: Pod
metadata:
  name: memo-empty
  namespace: storagelab
spec:
  containers:
    - name: app
      image: busybox:1.36
      command: ["sh", "-c", "trap 'exit 1' TERM; while true; do sleep 1; done"]
      volumeMounts:
        - name: work
          mountPath: /data
  volumes:
    - name: work
      emptyDir: {}

適用します。

bash
$ kubectl apply -f emptydir.yaml
$ kubectl get pod memo-empty -n storagelab

Running になったら、ファイルを1つ書きます。

bash
$ kubectl exec -n storagelab memo-empty -- sh -c 'echo "残るかどうか" > /data/memo.txt'
$ kubectl exec -n storagelab memo-empty -- cat /data/memo.txt
残るかどうか

[スクリーンショット: 01_emptydir書き込み.png] kubectl exec でファイルを書き、cat で中身が返っている画面を撮ってください。

実験A — コンテナだけ落とす

ここが誤解の分かれ目です。「Pod が再起動したら消える」と覚えている人が多いのですが、コンテナの再起動では消えません。

コンテナの中の主プロセスを殺して、コンテナだけ作り直させます。コンテナの PID 1 には、受け口(trap)を用意したシグナルしか届きません。①の YAML で trap 'exit 1' TERM を張っておいたのはこのためで、ただの sleep 3600 だと kill 1 しても何も起きません。

bash
$ kubectl exec -n storagelab memo-empty -- sh -c 'kill 1'

数秒待ってから、Pod の状態を見ます。

bash
$ kubectl get pod memo-empty -n storagelab
NAME         READY   STATUS    RESTARTS      AGE
memo-empty   1/1     Running   1 (12s ago)   3m

RESTARTS が 1 に増えています。 コンテナは作り直されました。ファイルはどうなったか。

bash
$ kubectl exec -n storagelab memo-empty -- cat /data/memo.txt
残るかどうか

残っています。

emptyDir はノード上の Pod ごとの領域に作られ、Pod の器(sandbox)が生きているかぎり維持されます。 コンテナはその器の中の住人にすぎないので、住人が入れ替わっても部屋は残ります。

実験B — Podを消す

今度は Pod ごと消して、同じ YAML で作り直します。

bash
$ kubectl delete pod memo-empty -n storagelab
$ kubectl apply -f emptydir.yaml
$ kubectl get pod memo-empty -n storagelab

Running になったら、同じファイルを見ます。

bash
$ kubectl exec -n storagelab memo-empty -- ls -l /data
total 0
bash
$ kubectl exec -n storagelab memo-empty -- cat /data/memo.txt
cat: can't open '/data/memo.txt': No such file or directory

消えています。

何が起きたのか

起きたことemptyDir の中身理由
コンテナが落ちて再起動残るPod の器は生きたまま。領域は器に紐づいている
Pod を削除して作り直す消える器ごと消えた。同じ名前でも別のPod
Pod が別のノードへ移る消える領域はノードの上にある。移った先には無い

「Pod が同じ名前で戻ってきた」ことと、「同じPodである」ことは違います。 kubectl get pod -o yaml の metadata.uid を見ると、作り直した Pod は別の値を持っています。Kubernetes にとっては別物です。

だから emptyDir は消えて正しい。では、どこに置けばよいのか。


② PV / PVC / StorageClass — 要求する側と、用意する側

ここが Kubernetes のストレージで一番つまずくところです。登場人物が3つあり、しかも役割が「要求する側」と「用意する側」に分かれています。

  [ 要求する側 ]                       [ 用意する側 ]

   Pod
    |  volumes: persistentVolumeClaim
    v
   PVC  ------- バインド -------->   PV
  「10GiB ください」               「10GiB ここにあります」
   RWO で                            /opt/local-path/pvc-xxxx
    |                                  ^
    |  storageClassName: local-path     |  作る
    +---------------------------> StorageClass
                                  「local-path で切り出す係」

Pod は PV を直接指しません。必ず PVC を経由します。 これが Docker との一番大きな違いです。

DockerKubernetes
書き方-v mydata:/var/lib/mysql と1行PVC を作り、Pod からその名前を指す
実体の場所このホストの中。1台しかないので迷わないどのノードからでも使える必要がある
用意する人Docker エンジンが即座に作るStorageClass の係が作る。係がいなければ作られない
Pod が別の機械へ移ったらそもそも移らない移った先で同じ中身が見えないと壊れる

Docker では「保存場所を指定する」だけでした。Kubernetes では「保存場所を要求して、誰かに用意してもらう」になります。 ひと手間増えているように見えますが、これはPodがどのノードで動くか分からないから必要な手間です。

3つの役割を表で

誰が書くか何を持つか名前空間
PVCアプリを動かす人(あなた)要求:容量・アクセスモード・StorageClass 名名前空間の中
PV多くの場合自動で作られる実物:どのディスクの、どの場所かクラスタ全体(名前空間に属さない)
StorageClassクラスタを用意する人作り方:どのプロビジョナで、どう切り出すかクラスタ全体

PVC は名前空間の中にあり、PV は名前空間の外にあります。 だから kubectl get pvc -n storagelab と kubectl get pv(-n なし)で見る場所が違います。後片づけで PV を消し忘れる原因はここです。

いま何があるかを見ておきます。

bash
$ kubectl get storageclass

minikube を使っている場合はこう返ります。

NAME                 PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE      AGE
standard (default)   k8s.io/minikube-hostpath   Delete          Immediate              9d

kubeadm で自分で組んだクラスタの場合は、多くの場合こうなります。

No resources found

何も無い。 これが後で Pending の原因になります。まずは無いまま進めて、わざと詰まらせます。


③ PVC を作って、消えないことを確かめる

pvc.yaml を作ります。

bash
$ nano pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: memo-pvc
  namespace: storagelab
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi

storageClassName をわざと書いていません。 書かない場合は「既定の StorageClass」が使われます。既定が無いクラスタでは、ここで詰まります(④で扱います)。

適用して状態を見ます。

bash
$ kubectl apply -f pvc.yaml
$ kubectl get pvc -n storagelab

既定の StorageClass があるクラスタ(minikube など)ではこうなります。

NAME       STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
memo-pvc   Bound    pvc-6b1f0d2c-9a41-4c2e-8f77-2c0b5a3d1e88   1Gi        RWO            standard       4s

Bound が出れば成功です。 PVC(要求)と PV(実物)が結び付きました。

Pending のままの人は、先に④へ飛んでください。 ④を終えてからここへ戻ると Bound になります。

PV 側も見ておきます。-n は付けません。

bash
$ kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                        STORAGECLASS   AGE
pvc-6b1f0d2c-9a41-4c2e-8f77-2c0b5a3d1e88   1Gi        RWO            Delete           Bound    storagelab/memo-pvc          standard       40s

CLAIM の欄に、どのPVCが使っているかが書いてあります。 そして RECLAIM POLICY が Delete。ここは⑥で効いてきます。

PVC を Pod にマウントする

pod-pvc.yaml を作ります。

bash
$ nano pod-pvc.yaml
apiVersion: v1
kind: Pod
metadata:
  name: memo-keep
  namespace: storagelab
spec:
  containers:
    - name: app
      image: busybox:1.36
      command: ["sh", "-c", "sleep 3600"]
      volumeMounts:
        - name: work
          mountPath: /data
  volumes:
    - name: work
      persistentVolumeClaim:
        claimName: memo-pvc

emptyDir: {} が persistentVolumeClaim: に変わっただけです。 コンテナ側(volumeMounts)は1文字も変わっていません。コンテナは「どこに保存されているか」を知りません。 これが分離の意味です。

適用して、書き込みます。

bash
$ kubectl apply -f pod-pvc.yaml
$ kubectl get pod memo-keep -n storagelab
$ kubectl exec -n storagelab memo-keep -- sh -c 'echo "今度は残るはず" > /data/memo.txt'
$ kubectl exec -n storagelab memo-keep -- cat /data/memo.txt
今度は残るはず

Pod を消して作り直す

bash
$ kubectl delete pod memo-keep -n storagelab
$ kubectl apply -f pod-pvc.yaml

Running を待って、同じファイルを見ます。

bash
$ kubectl exec -n storagelab memo-keep -- cat /data/memo.txt
今度は残るはず

残りました。

[スクリーンショット: 02_pvc残った.png] Pod を削除して作り直したあと、cat で同じ中身が返っている画面を撮ってください。

Pod を消しても PVC は消えていません。確認します。

bash
$ kubectl get pvc -n storagelab

STATUS は Bound のままです。PVC と Pod の寿命は別だからです。ここが emptyDir との決定的な違いです。

寿命
emptyDirPod と同じ。Pod が消えれば消える
PVCPVC を消すまで。Pod を何度作り直しても残る
PVreclaimPolicy 次第。PVC を消したときの挙動が決まる(⑥)

④ Pending のまま止まる — わざと起こして読む

ここが実務で一番出会う症状です。PVC を作ったのに Bound にならず、Pod が Pending のまま動かない。

わざと起こします。存在しない StorageClass を指定した PVC を作ります。

bash
$ nano pvc-broken.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: broken-pvc
  namespace: storagelab
spec:
  storageClassName: fast-ssd
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
bash
$ kubectl apply -f pvc-broken.yaml
$ kubectl get pvc -n storagelab
NAME         STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
broken-pvc   Pending                                      fast-ssd       8s
memo-pvc     Bound     pvc-6b1f...  1Gi    RWO            standard       6m

Pending のまま止まっています。 ここで kubectl get を何度も叩いても何も分かりません。理由は Events にあります。

bash
$ kubectl describe pvc broken-pvc -n storagelab
Name:          broken-pvc
Namespace:     storagelab
StorageClass:  fast-ssd
Status:        Pending
Volume:
Capacity:
Access Modes:
Events:
  Type     Reason              Age   From                         Message
  ----     ------              ----  ----                         -------
  Warning  ProvisioningFailed  10s   persistentvolume-controller  storageclass.storage.k8s.io "fast-ssd" not found

storageclass.storage.k8s.io "fast-ssd" not found。 「そんな係はいません」と書いてあります。

Events は下から読みます。 エラーは下から読むで書いたのと同じで、いちばん新しい行に理由が出ます。

Pending の原因は、だいたい3つ

Events に出る文言何が起きているか直し方
storageclass ... not found指定した係がいない名前の綴りを直す。または StorageClass を入れる
no persistent volumes available for this claimStorageClass 名を空にしたが、条件に合うPVが無い手動でPVを作る。または既定のSCを用意する
waiting for first consumer to be created before binding正常。WaitForFirstConsumer の SC で、Podがまだ無いだけPod を作れば進む
(Events なし・Pod側が Pending)PVC は Bound。Pod が載るノードが無いkubectl describe pod を見る。ストレージの問題ではない

3つ目は異常ではありません。 VOLUMEBINDINGMODE が WaitForFirstConsumer の StorageClass は、Pod がどのノードに載るか決まるまで、わざとPVを作りません。 「先に作ってしまうと、Pod が載れないノードに作ってしまうことがある」からです。Pending を見たら、まず SC のバインドモードを確認するのが早いです。

bash
$ kubectl get storageclass -o wide

壊れたPVCは消しておきます。

bash
$ kubectl delete pvc broken-pvc -n storagelab

自前クラスタで「係がいない」ときの解決

kubeadm で自分で組んだクラスタには、StorageClass が1つもありません。 クラウドではないので、ディスクを切り出してくれる相手がいないからです。解決は2通りです。

解決1 — local-path-provisioner を入れる(おすすめ)

Rancher が公開している、ノードのローカルディスクからPVを切り出す係です。学習用のクラスタではこれが一番手数が少ないです。

bash
$ kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.30/deploy/local-path-storage.yaml

入ったか確認します。

bash
$ kubectl get pods -n local-path-storage
$ kubectl get storageclass
NAME         PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      AGE
local-path   rancher.io/local-path   Delete          WaitForFirstConsumer   25s

(default) が付いていません。既定にしないと、storageClassName を書かないPVCは相変わらず詰まります。 既定にします。

bash
$ kubectl patch storageclass local-path -p '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
$ kubectl get storageclass
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      AGE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer   1m

(default) が付きました。 ③に戻ると Bound になります。

バージョンを固定して入れています。 master を指すURLを使うと、いつ入れたかで中身が変わって再現できなくなります。 公式が出しているタグを指してください。

解決2 — 手動でPVを作る

係を入れずに、PVを手で1枚登録するやり方です。仕組みを見るにはこちらが分かりやすいです。

まず、ノードの上に置き場を作ります。この mkdir は、Podが載るノードの上で打ちます。

bash
$ sudo mkdir -p /opt/k8s-manual-pv
$ sudo chmod 777 /opt/k8s-manual-pv   # 練習用。本番では Pod の実行ユーザーに合わせて chown する
bash
$ nano pv-manual.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: manual-pv
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: manual
  local:
    path: /opt/k8s-manual-pv
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - k8s-cp

k8s-cp の部分は、あなたのノード名に置き換えてください。 kubectl get nodes で出た NAME です。ここを間違えると、そのPVは永久に使われません。

nodeAffinity は必須です。 「このPVは、このノードの上にしかない」と宣言しています。これを書かないと、スケジューラはそのディスクが存在しないノードにPodを載せようとします。

bash
$ kubectl apply -f pv-manual.yaml
$ kubectl get pv
NAME        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   AGE
manual-pv   1Gi        RWO            Retain           Available           manual         5s

Available = まだ誰にも使われていない、という意味です。この PV を掴む PVC を作ります。storageClassName: manual を合わせるのがコツです。ここが食い違うと、PVはあるのに永久に Pending です。

bash
$ nano pvc-manual.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: manual-pvc
  namespace: storagelab
spec:
  storageClassName: manual
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
bash
$ kubectl apply -f pvc-manual.yaml
$ kubectl get pvc -n storagelab
$ kubectl get pv

PV の STATUS が Available から Bound に変わり、CLAIM に storagelab/manual-pvc が入ります。これが「バインド」です。

[スクリーンショット: 03_pv_bound.png] kubectl get pv で STATUS が Bound、CLAIM に名前空間付きのPVC名が入っている画面を撮ってください。


⑤ アクセスモード — ReadWriteOnce は「1Podから」ではない

ここは、ほぼ全員が一度間違えます。 私も間違えました。

モード略記正しい意味
ReadWriteOnceRWO1つのノードから読み書きできる。同じノードなら複数Podで同時に使える
ReadOnlyManyROX複数のノードから読み取りだけできる
ReadWriteManyRWX複数のノードから同時に読み書きできる
ReadWriteOncePodRWOP本当に1つのPodだけ。これが「1Podから」の意味

Once が数えているのは Pod ではなくノードです。

なぜそうなるのか。RWO の実体は多くの場合「ブロックデバイスを1台のマシンにマウントする」ことです。マウントは機械単位でしか行えません。 いったんノードにマウントされてしまえば、その中でいくつのPodが読み書きしようと、OSから見れば普通のファイルアクセスです。だから同じノード上のPodは何個でも共有できます。

これを知らないと、こういう事故が起きます。

  • 「RWO だから2つ目のPodは弾かれるはず」と思って、排他制御を書かなかった → 同じノードに載ったので2つとも書き込めてしまい、データが壊れた
  • Deployment のレプリカを2にしたら、片方が Pending のまま(別ノードに載ろうとして、RWO のPVを掴めない)
  • ローリング更新で新旧2つのPodが重なる瞬間に止まる(新しいPodが別ノードに載った)

「1つのPodだけに限定したい」なら、ReadWriteOncePod を明示します。 これは Kubernetes 1.29 で安定版になった、比較的新しいモードです。

そしてReadWriteMany は、どこでも使えるわけではありません。

bash
$ kubectl get storageclass -o custom-columns=NAME:.metadata.name,PROVISIONER:.provisioner

local-path や minikube-hostpath のようなローカル系のプロビジョナは RWX に対応していません。 RWX が欲しければ、NFS や、クラウドのファイルストレージ系サービスが要ります。「レプリカを3にしたいから RWX にしよう」と YAML に書いても、係が対応していなければ Pending で止まります。


⑥ reclaimPolicy — PVCを消すと、データも消えることがある

PVC を消したあと、PV と中身がどうなるか。これを決めているのが reclaimPolicy です。

値PVC を消したとき使いどころ
DeletePV も、中のデータも消える動的に切り出したもの。使い捨て前提
RetainPV は残り、Released になる。データも残る消えたら困るもの。再利用には手作業が要る

多くの StorageClass の既定は Delete です。 さきほどの kubectl get storageclass の出力を見返してください。RECLAIMPOLICY の列が Delete になっているはずです。

実際に確認する(Delete)

③で作った PVC は Delete です。中身が消えることを確かめます。

いまの PV 名を控えます。

bash
$ kubectl get pvc memo-pvc -n storagelab -o jsonpath='{.spec.volumeName}'
$ echo
pvc-6b1f0d2c-9a41-4c2e-8f77-2c0b5a3d1e88

Pod を消してから、PVC を消します。Podが使っている間はPVCは消えません(Terminating のまま止まります。これは安全装置です)。

bash
$ kubectl delete pod memo-keep -n storagelab
$ kubectl delete pvc memo-pvc -n storagelab
$ kubectl get pv
No resources found

PV ごと消えました。 local-path を使っている場合は、ノード上の実ディレクトリも消えています。

bash
$ sudo ls /opt/local-path-provisioner

kubectl delete pvc は、削除コマンドです。 「要求書を取り下げるだけ」ではありません。既定が Delete である以上、PVC を消すことはデータを消すことと同じだと思ってください。

実際に確認する(Retain)

今度は残る側です。④の「解決2」で作った manual-pv は Retain にしてあります。PVC を消します。

bash
$ kubectl delete pvc manual-pvc -n storagelab
$ kubectl get pv
NAME        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM                         STORAGECLASS   AGE
manual-pv   1Gi        RWO            Retain           Released   storagelab/manual-pvc         manual         12m

Released で残っています。 中身も残っています。

bash
$ sudo ls -l /opt/k8s-manual-pv

ただし、この PV はこのままでは再利用できません。 CLAIM の欄に、消したはずのPVCの名前が残っているのが見えます。新しいPVCを作っても、この PV は掴まれません。「前の持ち主の情報が残っているから」です。再び使うには spec.claimRef を手で消す必要があります。

bash
$ kubectl patch pv manual-pv -p '{"spec":{"claimRef": null}}'
$ kubectl get pv

STATUS が Available に戻ります。

Retain は「安全」ではなく「手作業が増える代わりに消えない」です。 使い捨ての練習環境で Retain にすると、Released の PV が溜まり続けます。 後片づけで必ず確認してください(⑨)。


⑦ CSI — ストレージの差し込み口

ここまで「係(プロビジョナ)」と呼んできたものの正体です。

昔の Kubernetes は、ストレージの種類ごとの処理を本体のソースコードに直接持っていました。 AWS の EBS、GCE の PD、NFS……すべて Kubernetes 本体の中です。これは無理があります。ストレージメーカーが新製品を出すたびに Kubernetes 本体を書き換えて、Kubernetes のリリースを待つことになるからです。

そこで決められたのが CSI(Container Storage Interface) です。「こういう関数を用意してくれれば、Kubernetes から呼びます」という取り決め、つまり差し込み口です。ストレージ側は Kubernetes 本体に触らず、この口に合うドライバを1つ書けばよくなりました。しかも CSI は Kubernetes 専用の規格ではありません(他のコンテナ基盤も使えます)。

local-path-provisioner も、クラウドのディスクも、同じ口に刺さっています。だから、あなたが書く PVC の YAML は、どこで動かしても同じ形になります。 これが「PVCを経由する」ことの一番の見返りです。

動かす場所よく使われるものアクセスモード
AWSEBS CSI ドライバ(ブロック) / EFS CSI ドライバ(ファイル)EBS は RWO / EFS は RWX
Google CloudPersistent Disk CSI / Filestore CSIPD は RWO / Filestore は RWX
AzureAzure Disk CSI / Azure Files CSIDisk は RWO / Files は RWX
自前・学習用local-path-provisionerRWO のみ
自前・本気Rook/Ceph、NFS のプロビジョナRWX も可能

傾向として、「ブロック(ディスク)系は RWO、ファイル共有系は RWX」です。 名前を覚えるより、この区別を覚えるほうが役に立ちます。EKSでも消えない仕事があるで書いたとおり、マネージドにしてもこの選択は自分でやることになります。


⑧ 1台のクラスタでの現実

ここまでを、手元の1台構成のクラスタという前提で正直に整理します。

hostPath を使わない理由

調べると、こういう書き方がすぐ見つかります。

  volumes:
    - name: work
      hostPath:
        path: /opt/mydata

動きます。1台なら、たしかに動きます。 それでも、この記事では使いません。理由は3つです。

  1. ノードが増えた瞬間に壊れる。 Pod が別のノードへ移ると、そこに /opt/mydata は無い。空のディレクトリが自動で作られて、データが消えたように見えます(もっと悪いことに、エラーにならない)
  2. セキュリティ上、非常に危険。 hostPath はノードのどこでも指定できます。 / を丸ごとマウントすることもできる。だから多くのクラスタでは Pod Security の設定で禁止されています
  3. PVC を経由しないので、書き方が「その環境専用」になる。 クラウドへ持っていくときに全部書き直しです

「1台だから hostPath でいい」は、1台をやめるときに全部書き直すという意味です。 local-path-provisioner を入れれば、YAML の書き方は本番と同じ(PVC を指すだけ)になります。入れる手間は1コマンドです。

local-path の制約 — そのノードでしか使えない

ただし、local-path にも限界があります。切り出したディスクは、そのノードのローカルディスクです。

  • Pod はそのPVを作ったノードにしか載れなくなります。 これは nodeAffinity として PV に自動で書き込まれます
  • そのノードが落ちたら、Podは別ノードへ移れず Pending のままです。1台落としてもPodは移るで見た挙動は、ストレージを持つと成立しなくなります
  • RWX にはできません。 レプリカを複数ノードに散らして同じデータを触る、はできない

確かめられます。PVがどのノードに縛られているかは、ここに出ます。

bash
$ kubectl get pv -o custom-columns=NAME:.metadata.name,NODE:.spec.nodeAffinity.required.nodeSelectorTerms[0].matchExpressions[0].values[0]

「Podは自由に移れる」と「データは1台に置いてある」は、両立しません。 本当に両立させたいなら、ネットワーク越しのストレージ(クラウドのディスク、NFS、Ceph)が要ります。そこが、自前クラスタとクラウドの一番大きな差です。 学習の段階では、「移れなくなることを知ったうえで local-path を使う」のが正解です。


つまずいたところ

「Pod を再起動したら消える」と覚えていて、①の実験Aで混乱した。 kill 1 してもファイルが残ったので、「emptyDir は消えないのでは」と思いました。違いました。コンテナの再起動と、Podの作り直しは別物です。RESTARTS が増えるのはコンテナの再起動で、このとき Pod の器は生きています。kubectl get pod の AGE が0に戻っていないことが、器が生きている証拠です。ここを混同したまま「emptyDir でも大丈夫だった」と結論を出すと、本番でPodが別ノードへ移った瞬間に全部消えます。

kubectl get pvc に出ないので「消えた」と思ったら、PV が残っていた。 名前空間を kubectl delete namespace storagelab で丸ごと消したので、全部消えたつもりでいました。PV は名前空間に属さないので、残ります。 Retain にしていたものは Released のまま居座り続けます。数日後に kubectl get pv を見て、身に覚えのないPVが5枚並んでいて青くなりました。PVC を消す前に、必ず kubectl get pv を見る習慣にしました。

Pending を「クラスタが重いから」だと思って待ち続けた。 10分待ちました。kubectl get pvc を何度も叩いても、出るのは Pending の一言だけです。describe を打っていれば1秒で分かりました。 get は状態しか出しません。理由は Events にしかありません。 ストレージに限らず、Pending を見たら describe です。

local-path-provisioner を入れたのに、まだ Pending だった。 入れただけでは (default) になりません。storageClassName を書いていないPVCは「既定の StorageClass」を探しますが、既定が無ければ何も起きずに Pending です。しかもこのとき Events に出ていたのは、no persistent volumes available for this claim and no storage class is set という Normal の1行だけでした。「係がいない」ではなく「誰を呼べばいいか分からない」状態なので、エラーですらないのです。kubectl get storageclass に (default) があるかを、先に見るべきでした。

手動PVで nodeAffinity を書かず、Podが Pending から動かなかった。 3台構成のときにやりました。PVC は Bound になっているのに、Pod だけが Pending。kubectl describe pod を見たら「ボリュームのノード条件に合うノードが無い」と出ていました。PVC が Bound になっても、Pod が動くとは限りません。 ストレージの問題を見るときは、PVC 側と Pod 側の両方を describe する必要があります。


後片づけ

PV が残りやすいので、順番を守ってください。 Pod → PVC → PV → 名前空間、の順です。

まず、この名前空間の Pod と PVC を消します。

bash
$ kubectl delete pod --all -n storagelab
$ kubectl delete pvc --all -n storagelab

ここで必ず PV を確認します。

bash
$ kubectl get pv

Released や Available で残っているものがあれば、名前を指定して消します。

bash
$ kubectl delete pv manual-pv

もう一度確認して、何も残っていないことを見ます。

bash
$ kubectl get pv
No resources found

手動PVのためにノード上に作ったディレクトリを消します。Retain なので、中身は自動では消えていません。

bash
$ sudo rm -rf /opt/k8s-manual-pv
$ sudo ls /opt/local-path-provisioner

名前空間ごと消します。

bash
$ kubectl delete namespace storagelab

local-path-provisioner は残しておいて構いません。 今後の練習で毎回使います。消す場合は、入れたときと同じURLで消します。

bash
$ kubectl delete -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.30/deploy/local-path-storage.yaml

作業フォルダを消します。

bash
$ rm -rf ~/storagelab

本線で作ったものが無事か確認します。

bash
$ kubectl get pods -A
$ kubectl get nodes

まとめ — 理解できたこと

  • emptyDir は Pod の器に紐づく。コンテナが再起動しても残るが、Pod を消すと消える。 この2つは別の話で、混同すると本番で消える
  • Pod は PV を直接指さない。必ず PVC を経由する。 Docker では「保存場所を指定」だったものが、Kubernetes では「要求して、用意してもらう」になる
  • 理由はPodがどのノードで動くか分からないから。Docker は1台だから迷わなかっただけ
  • PVC は名前空間の中、PV と StorageClass は名前空間の外。 後片づけで PV を消し忘れるのはこの構造のせい
  • Pending の理由は kubectl describe pvc の Events にしかない。 get を何度叩いても出ない
  • WaitForFirstConsumer の Pending は異常ではない。 Pod が載るノードが決まるまで待っているだけ
  • ReadWriteOnce は「1ノードから」。 同じノードなら複数Podで同時に書けてしまう。本当に1Podに限りたいなら ReadWriteOncePod
  • reclaimPolicy の既定はたいてい Delete。PVC を消すことは、データを消すことと同じ
  • Retain は安全ではなく、手作業が増える代わりに消えない。 再利用には claimRef を手で外す必要がある
  • CSI はストレージの差し込み口。 中身が何であっても、書く PVC の YAML は同じ形になる
  • hostPath は1台なら動くが、使わない。 ノードが増えた瞬間に、エラーも出さずにデータが消えたように見える
  • local-path を使うと、Pod はそのノードから動けなくなる。 「Podは移る」と「データは1台にある」は両立しない

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 7 / 15 本目です。

記事
← 前の記事ConfigMapとSecret — Secretは暗号化ではない
→ 次の記事StatefulSetでDBを載せる — 3つに増やしたら壊れた

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Storage
  • emptyDir / PV / PVC / StorageClass
  • アクセスモードと reclaimPolicy

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次