Podを作り直すとデータが消えます。PV・PVC・StorageClassの関係を押さえて、残る形にします。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこでは触れなかった「Pod が消えたあともデータをどこに残すのか」を確かめる回です。
この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。 前提: minikube入門、または kubeadmで組むクラスタを終えていて、
kubectl get nodesがReadyを返すこと。 本線で作ったものには触りません。 練習用にstoragelabという名前空間を新しく作って、そこだけで完結させます。
Kubernetes で初めて MySQL を動かしたとき、こうなりました。
Pod を立てて、テーブルを作って、データを入れる。動く。嬉しい。翌日、YAML を1行直したくて kubectl delete pod して、kubectl apply し直す。
mysql> SELECT * FROM memo;
ERROR 1146 (42S02): Table 'app.memo' doesn't exist
全部消えていました。
これは コンテナを消すとデータも消える — Docker深掘り で一度やった失敗と、同じ形をしています。ただし Kubernetes では、もう一段複雑になります。
Docker のときは「ホストのこのフォルダを使う」と書けば済みました。このホスト1台しかなかったからです。 Kubernetes はそうはいきません。Pod はどのノードで動くか分からないし、1台落としてもPodは移るで見たとおり、勝手に別のノードへ移ります。移った先にそのフォルダは無い。
だから Kubernetes は「保存場所」をPodから引き剥がして、別の物として管理します。それが PV / PVC / StorageClass です。この回はそこを潰します。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
emptyDirは「Podが生きている間だけ」。コンテナが再起動しても残るが、Podが消えると消える。この2つは別の話- PVC は「要求書」、PV は「実物」、StorageClass は「実物を用意する係」。3つは役割が違うのであって、名前が違うのではない
ReadWriteOnceは「1つのPodから」ではなく「1つのノードから」。同じノードなら複数Podで同時に使える- PVC が
Pendingで止まるのは、ほぼ「用意する係がいない」。kubectl describe pvcの Events に理由が全部書いてある reclaimPolicy: Deleteのとき、PVC を消すとデータごと消える。バックアップより先に、ここを知っておく必要がある
この記事でやること
emptyDirにファイルを書き、コンテナだけ落として残ることと、Podを消して消えることを両方確かめる- PVC を作って Pod にマウントし、Pod を消して作り直してもデータが残ることを確かめる
- StorageClass が無い状態をわざと作り、PVC が
Pendingで止まるところをdescribeで読む local-path-provisionerを入れて、あるいは手動でPVを作って、Pendingを解消するreclaimPolicyを変えて、PVC を消したときに PV とデータがどうなるかを2通り確認する- PV が残っていないことを確認して片づける
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| ボリューム(Volume) | Pod の中のコンテナに見せる「保存場所」。Pod の YAML に書く。Docker のボリュームとは別物 |
| emptyDir | Pod が動き出すときに空で作られる置き場。Pod が消えると一緒に消える |
| PersistentVolume(PV) | クラスタにある保存領域の実物。「10GiB のディスクがここにある」という登録票 |
| PersistentVolumeClaim(PVC) | 「10GiB ください」という要求書。Pod は PV ではなく PVC を指す |
| StorageClass(SC) | 要求が来たら実物を用意する係。「どの種類のディスクを、どう作るか」の設計図 |
| プロビジョナ(provisioner) | StorageClass の中身。実際にディスクを切り出すプログラム |
| バインド(Bound) | PVC と PV が結び付いた状態。kubectl get pvc の STATUS に出る |
| アクセスモード | 「何ノードから、読み書きどちらで使えるか」の宣言。RWO / ROX / RWX |
| reclaimPolicy | PVC が消えたあと、PV と中身をどうするか。Delete(消す)か Retain(残す) |
準備 — 練習用の名前空間を作る
本線で作ったものと混ざらないように、専用の名前空間を作ります。
以降、この記事のコマンドはすべて -n storagelab を付けます。付け忘れると default に作られます。 後片づけのときに困るので、ここだけは機械的に付けてください。
クラスタが1台か3台かを確認しておきます。
NAME STATUS ROLES AGE VERSION
k8s-cp Ready control-plane 9d v1.31.4
1台でも進められます。 ただし「1台だからこそ起きること」があるので、後半(⑧)で必ず読んでください。
① emptyDir で消えることを確かめる
まず、何も指定しなければどうなるかを見ます。
emptydir.yaml を作ります。
apiVersion: v1
kind: Pod
metadata:
name: memo-empty
namespace: storagelab
spec:
containers:
- name: app
image: busybox:1.36
command: ["sh", "-c", "trap 'exit 1' TERM; while true; do sleep 1; done"]
volumeMounts:
- name: work
mountPath: /data
volumes:
- name: work
emptyDir: {}
適用します。
Running になったら、ファイルを1つ書きます。
残るかどうか
[スクリーンショット: 01_emptydir書き込み.png] kubectl exec でファイルを書き、cat で中身が返っている画面を撮ってください。
実験A — コンテナだけ落とす
ここが誤解の分かれ目です。「Pod が再起動したら消える」と覚えている人が多いのですが、コンテナの再起動では消えません。
コンテナの中の主プロセスを殺して、コンテナだけ作り直させます。コンテナの PID 1 には、受け口(trap)を用意したシグナルしか届きません。①の YAML で trap 'exit 1' TERM を張っておいたのはこのためで、ただの sleep 3600 だと kill 1 しても何も起きません。
数秒待ってから、Pod の状態を見ます。
NAME READY STATUS RESTARTS AGE
memo-empty 1/1 Running 1 (12s ago) 3m
RESTARTS が 1 に増えています。 コンテナは作り直されました。ファイルはどうなったか。
残るかどうか
残っています。
emptyDir はノード上の Pod ごとの領域に作られ、Pod の器(sandbox)が生きているかぎり維持されます。 コンテナはその器の中の住人にすぎないので、住人が入れ替わっても部屋は残ります。
実験B — Podを消す
今度は Pod ごと消して、同じ YAML で作り直します。
Running になったら、同じファイルを見ます。
total 0
cat: can't open '/data/memo.txt': No such file or directory
消えています。
何が起きたのか
| 起きたこと | emptyDir の中身 | 理由 |
|---|---|---|
| コンテナが落ちて再起動 | 残る | Pod の器は生きたまま。領域は器に紐づいている |
| Pod を削除して作り直す | 消える | 器ごと消えた。同じ名前でも別のPod |
| Pod が別のノードへ移る | 消える | 領域はノードの上にある。移った先には無い |
「Pod が同じ名前で戻ってきた」ことと、「同じPodである」ことは違います。 kubectl get pod -o yaml の metadata.uid を見ると、作り直した Pod は別の値を持っています。Kubernetes にとっては別物です。
だから emptyDir は消えて正しい。では、どこに置けばよいのか。
② PV / PVC / StorageClass — 要求する側と、用意する側
ここが Kubernetes のストレージで一番つまずくところです。登場人物が3つあり、しかも役割が「要求する側」と「用意する側」に分かれています。
[ 要求する側 ] [ 用意する側 ]
Pod
| volumes: persistentVolumeClaim
v
PVC ------- バインド --------> PV
「10GiB ください」 「10GiB ここにあります」
RWO で /opt/local-path/pvc-xxxx
| ^
| storageClassName: local-path | 作る
+---------------------------> StorageClass
「local-path で切り出す係」
Pod は PV を直接指しません。必ず PVC を経由します。 これが Docker との一番大きな違いです。
| Docker | Kubernetes | |
|---|---|---|
| 書き方 | -v mydata:/var/lib/mysql と1行 | PVC を作り、Pod からその名前を指す |
| 実体の場所 | このホストの中。1台しかないので迷わない | どのノードからでも使える必要がある |
| 用意する人 | Docker エンジンが即座に作る | StorageClass の係が作る。係がいなければ作られない |
| Pod が別の機械へ移ったら | そもそも移らない | 移った先で同じ中身が見えないと壊れる |
Docker では「保存場所を指定する」だけでした。Kubernetes では「保存場所を要求して、誰かに用意してもらう」になります。 ひと手間増えているように見えますが、これはPodがどのノードで動くか分からないから必要な手間です。
3つの役割を表で
| 誰が書くか | 何を持つか | 名前空間 | |
|---|---|---|---|
| PVC | アプリを動かす人(あなた) | 要求:容量・アクセスモード・StorageClass 名 | 名前空間の中 |
| PV | 多くの場合自動で作られる | 実物:どのディスクの、どの場所か | クラスタ全体(名前空間に属さない) |
| StorageClass | クラスタを用意する人 | 作り方:どのプロビジョナで、どう切り出すか | クラスタ全体 |
PVC は名前空間の中にあり、PV は名前空間の外にあります。 だから kubectl get pvc -n storagelab と kubectl get pv(-n なし)で見る場所が違います。後片づけで PV を消し忘れる原因はここです。
いま何があるかを見ておきます。
minikube を使っている場合はこう返ります。
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE AGE
standard (default) k8s.io/minikube-hostpath Delete Immediate 9d
kubeadm で自分で組んだクラスタの場合は、多くの場合こうなります。
No resources found
何も無い。 これが後で Pending の原因になります。まずは無いまま進めて、わざと詰まらせます。
③ PVC を作って、消えないことを確かめる
pvc.yaml を作ります。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: memo-pvc
namespace: storagelab
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassNameをわざと書いていません。 書かない場合は「既定の StorageClass」が使われます。既定が無いクラスタでは、ここで詰まります(④で扱います)。
適用して状態を見ます。
既定の StorageClass があるクラスタ(minikube など)ではこうなります。
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
memo-pvc Bound pvc-6b1f0d2c-9a41-4c2e-8f77-2c0b5a3d1e88 1Gi RWO standard 4s
Bound が出れば成功です。 PVC(要求)と PV(実物)が結び付きました。
Pending のままの人は、先に④へ飛んでください。 ④を終えてからここへ戻ると Bound になります。
PV 側も見ておきます。-n は付けません。
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS AGE
pvc-6b1f0d2c-9a41-4c2e-8f77-2c0b5a3d1e88 1Gi RWO Delete Bound storagelab/memo-pvc standard 40s
CLAIM の欄に、どのPVCが使っているかが書いてあります。 そして RECLAIM POLICY が Delete。ここは⑥で効いてきます。
PVC を Pod にマウントする
pod-pvc.yaml を作ります。
apiVersion: v1
kind: Pod
metadata:
name: memo-keep
namespace: storagelab
spec:
containers:
- name: app
image: busybox:1.36
command: ["sh", "-c", "sleep 3600"]
volumeMounts:
- name: work
mountPath: /data
volumes:
- name: work
persistentVolumeClaim:
claimName: memo-pvc
emptyDir: {} が persistentVolumeClaim: に変わっただけです。 コンテナ側(volumeMounts)は1文字も変わっていません。コンテナは「どこに保存されているか」を知りません。 これが分離の意味です。
適用して、書き込みます。
今度は残るはず
Pod を消して作り直す
Running を待って、同じファイルを見ます。
今度は残るはず
残りました。
[スクリーンショット: 02_pvc残った.png] Pod を削除して作り直したあと、cat で同じ中身が返っている画面を撮ってください。
Pod を消しても PVC は消えていません。確認します。
STATUS は Bound のままです。PVC と Pod の寿命は別だからです。ここが emptyDir との決定的な違いです。
| 寿命 | |
|---|---|
emptyDir | Pod と同じ。Pod が消えれば消える |
| PVC | PVC を消すまで。Pod を何度作り直しても残る |
| PV | reclaimPolicy 次第。PVC を消したときの挙動が決まる(⑥) |
④ Pending のまま止まる — わざと起こして読む
ここが実務で一番出会う症状です。PVC を作ったのに Bound にならず、Pod が Pending のまま動かない。
わざと起こします。存在しない StorageClass を指定した PVC を作ります。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: broken-pvc
namespace: storagelab
spec:
storageClassName: fast-ssd
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
broken-pvc Pending fast-ssd 8s
memo-pvc Bound pvc-6b1f... 1Gi RWO standard 6m
Pending のまま止まっています。 ここで kubectl get を何度も叩いても何も分かりません。理由は Events にあります。
Name: broken-pvc
Namespace: storagelab
StorageClass: fast-ssd
Status: Pending
Volume:
Capacity:
Access Modes:
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning ProvisioningFailed 10s persistentvolume-controller storageclass.storage.k8s.io "fast-ssd" not found
storageclass.storage.k8s.io "fast-ssd" not found。 「そんな係はいません」と書いてあります。
Events は下から読みます。 エラーは下から読むで書いたのと同じで、いちばん新しい行に理由が出ます。
Pending の原因は、だいたい3つ
| Events に出る文言 | 何が起きているか | 直し方 |
|---|---|---|
storageclass ... not found | 指定した係がいない | 名前の綴りを直す。または StorageClass を入れる |
no persistent volumes available for this claim | StorageClass 名を空にしたが、条件に合うPVが無い | 手動でPVを作る。または既定のSCを用意する |
waiting for first consumer to be created before binding | 正常。WaitForFirstConsumer の SC で、Podがまだ無いだけ | Pod を作れば進む |
| (Events なし・Pod側が Pending) | PVC は Bound。Pod が載るノードが無い | kubectl describe pod を見る。ストレージの問題ではない |
3つ目は異常ではありません。 VOLUMEBINDINGMODE が WaitForFirstConsumer の StorageClass は、Pod がどのノードに載るか決まるまで、わざとPVを作りません。 「先に作ってしまうと、Pod が載れないノードに作ってしまうことがある」からです。Pending を見たら、まず SC のバインドモードを確認するのが早いです。
壊れたPVCは消しておきます。
自前クラスタで「係がいない」ときの解決
kubeadm で自分で組んだクラスタには、StorageClass が1つもありません。 クラウドではないので、ディスクを切り出してくれる相手がいないからです。解決は2通りです。
解決1 — local-path-provisioner を入れる(おすすめ)
Rancher が公開している、ノードのローカルディスクからPVを切り出す係です。学習用のクラスタではこれが一番手数が少ないです。
入ったか確認します。
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE AGE
local-path rancher.io/local-path Delete WaitForFirstConsumer 25s
(default) が付いていません。既定にしないと、storageClassName を書かないPVCは相変わらず詰まります。 既定にします。
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE AGE
local-path (default) rancher.io/local-path Delete WaitForFirstConsumer 1m
(default) が付きました。 ③に戻ると Bound になります。
バージョンを固定して入れています。
masterを指すURLを使うと、いつ入れたかで中身が変わって再現できなくなります。 公式が出しているタグを指してください。
解決2 — 手動でPVを作る
係を入れずに、PVを手で1枚登録するやり方です。仕組みを見るにはこちらが分かりやすいです。
まず、ノードの上に置き場を作ります。この mkdir は、Podが載るノードの上で打ちます。
apiVersion: v1
kind: PersistentVolume
metadata:
name: manual-pv
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
storageClassName: manual
local:
path: /opt/k8s-manual-pv
nodeAffinity:
required:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- k8s-cp
k8s-cpの部分は、あなたのノード名に置き換えてください。kubectl get nodesで出たNAMEです。ここを間違えると、そのPVは永久に使われません。
nodeAffinity は必須です。 「このPVは、このノードの上にしかない」と宣言しています。これを書かないと、スケジューラはそのディスクが存在しないノードにPodを載せようとします。
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS AGE
manual-pv 1Gi RWO Retain Available manual 5s
Available = まだ誰にも使われていない、という意味です。この PV を掴む PVC を作ります。storageClassName: manual を合わせるのがコツです。ここが食い違うと、PVはあるのに永久に Pending です。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: manual-pvc
namespace: storagelab
spec:
storageClassName: manual
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
PV の STATUS が Available から Bound に変わり、CLAIM に storagelab/manual-pvc が入ります。これが「バインド」です。
[スクリーンショット: 03_pv_bound.png] kubectl get pv で STATUS が Bound、CLAIM に名前空間付きのPVC名が入っている画面を撮ってください。
⑤ アクセスモード — ReadWriteOnce は「1Podから」ではない
ここは、ほぼ全員が一度間違えます。 私も間違えました。
| モード | 略記 | 正しい意味 |
|---|---|---|
ReadWriteOnce | RWO | 1つのノードから読み書きできる。同じノードなら複数Podで同時に使える |
ReadOnlyMany | ROX | 複数のノードから読み取りだけできる |
ReadWriteMany | RWX | 複数のノードから同時に読み書きできる |
ReadWriteOncePod | RWOP | 本当に1つのPodだけ。これが「1Podから」の意味 |
Once が数えているのは Pod ではなくノードです。
なぜそうなるのか。RWO の実体は多くの場合「ブロックデバイスを1台のマシンにマウントする」ことです。マウントは機械単位でしか行えません。 いったんノードにマウントされてしまえば、その中でいくつのPodが読み書きしようと、OSから見れば普通のファイルアクセスです。だから同じノード上のPodは何個でも共有できます。
これを知らないと、こういう事故が起きます。
- 「RWO だから2つ目のPodは弾かれるはず」と思って、排他制御を書かなかった → 同じノードに載ったので2つとも書き込めてしまい、データが壊れた
- Deployment のレプリカを2にしたら、片方が
Pendingのまま(別ノードに載ろうとして、RWO のPVを掴めない) - ローリング更新で新旧2つのPodが重なる瞬間に止まる(新しいPodが別ノードに載った)
「1つのPodだけに限定したい」なら、ReadWriteOncePod を明示します。 これは Kubernetes 1.29 で安定版になった、比較的新しいモードです。
そしてReadWriteMany は、どこでも使えるわけではありません。
local-path や minikube-hostpath のようなローカル系のプロビジョナは RWX に対応していません。 RWX が欲しければ、NFS や、クラウドのファイルストレージ系サービスが要ります。「レプリカを3にしたいから RWX にしよう」と YAML に書いても、係が対応していなければ Pending で止まります。
⑥ reclaimPolicy — PVCを消すと、データも消えることがある
PVC を消したあと、PV と中身がどうなるか。これを決めているのが reclaimPolicy です。
| 値 | PVC を消したとき | 使いどころ |
|---|---|---|
Delete | PV も、中のデータも消える | 動的に切り出したもの。使い捨て前提 |
Retain | PV は残り、Released になる。データも残る | 消えたら困るもの。再利用には手作業が要る |
多くの StorageClass の既定は Delete です。 さきほどの kubectl get storageclass の出力を見返してください。RECLAIMPOLICY の列が Delete になっているはずです。
実際に確認する(Delete)
③で作った PVC は Delete です。中身が消えることを確かめます。
いまの PV 名を控えます。
pvc-6b1f0d2c-9a41-4c2e-8f77-2c0b5a3d1e88
Pod を消してから、PVC を消します。Podが使っている間はPVCは消えません(Terminating のまま止まります。これは安全装置です)。
No resources found
PV ごと消えました。 local-path を使っている場合は、ノード上の実ディレクトリも消えています。
kubectl delete pvc は、削除コマンドです。 「要求書を取り下げるだけ」ではありません。既定が Delete である以上、PVC を消すことはデータを消すことと同じだと思ってください。
実際に確認する(Retain)
今度は残る側です。④の「解決2」で作った manual-pv は Retain にしてあります。PVC を消します。
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS AGE
manual-pv 1Gi RWO Retain Released storagelab/manual-pvc manual 12m
Released で残っています。 中身も残っています。
ただし、この PV はこのままでは再利用できません。 CLAIM の欄に、消したはずのPVCの名前が残っているのが見えます。新しいPVCを作っても、この PV は掴まれません。「前の持ち主の情報が残っているから」です。再び使うには spec.claimRef を手で消す必要があります。
STATUS が Available に戻ります。
Retain は「安全」ではなく「手作業が増える代わりに消えない」です。 使い捨ての練習環境で Retain にすると、Released の PV が溜まり続けます。 後片づけで必ず確認してください(⑨)。
⑦ CSI — ストレージの差し込み口
ここまで「係(プロビジョナ)」と呼んできたものの正体です。
昔の Kubernetes は、ストレージの種類ごとの処理を本体のソースコードに直接持っていました。 AWS の EBS、GCE の PD、NFS……すべて Kubernetes 本体の中です。これは無理があります。ストレージメーカーが新製品を出すたびに Kubernetes 本体を書き換えて、Kubernetes のリリースを待つことになるからです。
そこで決められたのが CSI(Container Storage Interface) です。「こういう関数を用意してくれれば、Kubernetes から呼びます」という取り決め、つまり差し込み口です。ストレージ側は Kubernetes 本体に触らず、この口に合うドライバを1つ書けばよくなりました。しかも CSI は Kubernetes 専用の規格ではありません(他のコンテナ基盤も使えます)。
local-path-provisioner も、クラウドのディスクも、同じ口に刺さっています。だから、あなたが書く PVC の YAML は、どこで動かしても同じ形になります。 これが「PVCを経由する」ことの一番の見返りです。
| 動かす場所 | よく使われるもの | アクセスモード |
|---|---|---|
| AWS | EBS CSI ドライバ(ブロック) / EFS CSI ドライバ(ファイル) | EBS は RWO / EFS は RWX |
| Google Cloud | Persistent Disk CSI / Filestore CSI | PD は RWO / Filestore は RWX |
| Azure | Azure Disk CSI / Azure Files CSI | Disk は RWO / Files は RWX |
| 自前・学習用 | local-path-provisioner | RWO のみ |
| 自前・本気 | Rook/Ceph、NFS のプロビジョナ | RWX も可能 |
傾向として、「ブロック(ディスク)系は RWO、ファイル共有系は RWX」です。 名前を覚えるより、この区別を覚えるほうが役に立ちます。EKSでも消えない仕事があるで書いたとおり、マネージドにしてもこの選択は自分でやることになります。
⑧ 1台のクラスタでの現実
ここまでを、手元の1台構成のクラスタという前提で正直に整理します。
hostPath を使わない理由
調べると、こういう書き方がすぐ見つかります。
volumes:
- name: work
hostPath:
path: /opt/mydata
動きます。1台なら、たしかに動きます。 それでも、この記事では使いません。理由は3つです。
- ノードが増えた瞬間に壊れる。 Pod が別のノードへ移ると、そこに
/opt/mydataは無い。空のディレクトリが自動で作られて、データが消えたように見えます(もっと悪いことに、エラーにならない) - セキュリティ上、非常に危険。
hostPathはノードのどこでも指定できます。/を丸ごとマウントすることもできる。だから多くのクラスタでは Pod Security の設定で禁止されています - PVC を経由しないので、書き方が「その環境専用」になる。 クラウドへ持っていくときに全部書き直しです
「1台だから hostPath でいい」は、1台をやめるときに全部書き直すという意味です。 local-path-provisioner を入れれば、YAML の書き方は本番と同じ(PVC を指すだけ)になります。入れる手間は1コマンドです。
local-path の制約 — そのノードでしか使えない
ただし、local-path にも限界があります。切り出したディスクは、そのノードのローカルディスクです。
- Pod はそのPVを作ったノードにしか載れなくなります。 これは
nodeAffinityとして PV に自動で書き込まれます - そのノードが落ちたら、Podは別ノードへ移れず
Pendingのままです。1台落としてもPodは移るで見た挙動は、ストレージを持つと成立しなくなります - RWX にはできません。 レプリカを複数ノードに散らして同じデータを触る、はできない
確かめられます。PVがどのノードに縛られているかは、ここに出ます。
「Podは自由に移れる」と「データは1台に置いてある」は、両立しません。 本当に両立させたいなら、ネットワーク越しのストレージ(クラウドのディスク、NFS、Ceph)が要ります。そこが、自前クラスタとクラウドの一番大きな差です。 学習の段階では、「移れなくなることを知ったうえで local-path を使う」のが正解です。
つまずいたところ
「Pod を再起動したら消える」と覚えていて、①の実験Aで混乱した。 kill 1 してもファイルが残ったので、「emptyDir は消えないのでは」と思いました。違いました。コンテナの再起動と、Podの作り直しは別物です。RESTARTS が増えるのはコンテナの再起動で、このとき Pod の器は生きています。kubectl get pod の AGE が0に戻っていないことが、器が生きている証拠です。ここを混同したまま「emptyDir でも大丈夫だった」と結論を出すと、本番でPodが別ノードへ移った瞬間に全部消えます。
kubectl get pvc に出ないので「消えた」と思ったら、PV が残っていた。 名前空間を kubectl delete namespace storagelab で丸ごと消したので、全部消えたつもりでいました。PV は名前空間に属さないので、残ります。 Retain にしていたものは Released のまま居座り続けます。数日後に kubectl get pv を見て、身に覚えのないPVが5枚並んでいて青くなりました。PVC を消す前に、必ず kubectl get pv を見る習慣にしました。
Pending を「クラスタが重いから」だと思って待ち続けた。 10分待ちました。kubectl get pvc を何度も叩いても、出るのは Pending の一言だけです。describe を打っていれば1秒で分かりました。 get は状態しか出しません。理由は Events にしかありません。 ストレージに限らず、Pending を見たら describe です。
local-path-provisioner を入れたのに、まだ Pending だった。 入れただけでは (default) になりません。storageClassName を書いていないPVCは「既定の StorageClass」を探しますが、既定が無ければ何も起きずに Pending です。しかもこのとき Events に出ていたのは、no persistent volumes available for this claim and no storage class is set という Normal の1行だけでした。「係がいない」ではなく「誰を呼べばいいか分からない」状態なので、エラーですらないのです。kubectl get storageclass に (default) があるかを、先に見るべきでした。
手動PVで nodeAffinity を書かず、Podが Pending から動かなかった。 3台構成のときにやりました。PVC は Bound になっているのに、Pod だけが Pending。kubectl describe pod を見たら「ボリュームのノード条件に合うノードが無い」と出ていました。PVC が Bound になっても、Pod が動くとは限りません。 ストレージの問題を見るときは、PVC 側と Pod 側の両方を describe する必要があります。
後片づけ
PV が残りやすいので、順番を守ってください。 Pod → PVC → PV → 名前空間、の順です。
まず、この名前空間の Pod と PVC を消します。
ここで必ず PV を確認します。
Released や Available で残っているものがあれば、名前を指定して消します。
もう一度確認して、何も残っていないことを見ます。
No resources found
手動PVのためにノード上に作ったディレクトリを消します。Retain なので、中身は自動では消えていません。
名前空間ごと消します。
local-path-provisioner は残しておいて構いません。 今後の練習で毎回使います。消す場合は、入れたときと同じURLで消します。
作業フォルダを消します。
本線で作ったものが無事か確認します。
まとめ — 理解できたこと
emptyDirは Pod の器に紐づく。コンテナが再起動しても残るが、Pod を消すと消える。 この2つは別の話で、混同すると本番で消える- Pod は PV を直接指さない。必ず PVC を経由する。 Docker では「保存場所を指定」だったものが、Kubernetes では「要求して、用意してもらう」になる
- 理由はPodがどのノードで動くか分からないから。Docker は1台だから迷わなかっただけ
- PVC は名前空間の中、PV と StorageClass は名前空間の外。 後片づけで PV を消し忘れるのはこの構造のせい
Pendingの理由はkubectl describe pvcの Events にしかない。getを何度叩いても出ないWaitForFirstConsumerのPendingは異常ではない。 Pod が載るノードが決まるまで待っているだけReadWriteOnceは「1ノードから」。 同じノードなら複数Podで同時に書けてしまう。本当に1Podに限りたいならReadWriteOncePodreclaimPolicyの既定はたいていDelete。PVC を消すことは、データを消すことと同じRetainは安全ではなく、手作業が増える代わりに消えない。 再利用にはclaimRefを手で外す必要がある- CSI はストレージの差し込み口。 中身が何であっても、書く PVC の YAML は同じ形になる
hostPathは1台なら動くが、使わない。 ノードが増えた瞬間に、エラーも出さずにデータが消えたように見えるlocal-pathを使うと、Pod はそのノードから動けなくなる。 「Podは移る」と「データは1台にある」は両立しない
参考リンク
- roadmap.sh — Kubernetes
- Kubernetes 公式 — Volumes
- Kubernetes 公式 — Persistent Volumes
- Kubernetes 公式 — Storage Classes
- Kubernetes 公式 — Dynamic Volume Provisioning
- Kubernetes 公式 — Volume Health Monitoring と CSI
- Kubernetes CSI ドキュメント
- local-path-provisioner(Rancher)
次に読む
この記事は 【深掘り】Kubernetes の 7 / 15 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- emptyDir / PV / PVC / StorageClass
- アクセスモードと reclaimPolicy
この記事は、上の項目を実際に手を動かして確かめる回です。
コメント