Ingress 越しにブラウザで開いていたページを、更新の最中にリロードしました。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこで「新しい版に入れ替わる」と一行で済ませたところを、実際に更新中のアクセスを取り続けて、落ちるところから直すところまで見る回です。
この記事のコマンドは、すべて VM の中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。 前提: 消したPodが戻ってくる — Kubernetes深掘り と PodのIPは翌日には変わる — Kubernetes深掘り を終えていること。Deployment と Service を自分で作れる状態から始めます。 ターミナルを2つ開けるようにしてください。 片方でアクセスを流し続けながら、もう片方で更新します。これができないと、この記事の山場は見えません。
502 Bad Gateway
nginx
数秒後にリロードしたら、普通に表示されました。壊れてはいません。更新が終わったからです。
自分はここで、はっきり勘違いをしていました。
「Kubernetes は無停止で入れ替えてくれる」
これは半分だけ本当でした。 Kubernetes は古い Pod を減らしながら新しい Pod を増やすという段取りまではやります。しかし「新しい Pod がもう客を受けられる状態か」は、何も設定しなければ判定していません。
前の回で、イメージを変えると新しい ReplicaSet が増えて、古いほうが 0 で残ることを見ました。あれは「戻せる」の話でした。 この回は「入れ替えている最中に、客が落ちないか」の話です。別の問題です。
無停止は、機能ではありません。設定です。 何も書かなければ、Kubernetes は「プロセスが起動した = 客を受けられる」と見なします。
そして、大抵のアプリは、プロセスが起動してから客を受けられるまでに時間がかかります。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
- 「無停止で入れ替わる」は自動ではないこと。何も書かなければ、起動途中の Pod に客が回される
- 更新中に落ちる原因は3つに分けられること。新しい側の問題・古い側の問題・アプリ自身の問題で、直し方がそれぞれ違う
readinessProbe/livenessProbe/startupProbeは、失敗したときの動作が全く違うこと。外す・殺す・待つlivenessProbeを間違えると、正常なアプリが延々と再起動されること。付けるほど安全、ではないmaxSurgeとmaxUnavailableは「先に増やすか、先に減らすか」を決めていること。両方0は設定できない- Blue/Green もカナリアも、Kubernetes の機能ではないこと。Service のラベルの付け替えと、レプリカ数の比でできる
- レプリカ数で作るカナリアは、正確な割合にはならないこと
- アプリは戻せても、データベースのスキーマは戻らないこと。切り戻しを本当に成立させるには、先にスキーマを前方互換にしておく
この記事でやること
curlを0.2秒ごとに叩き続けながら更新をかけて、エラーが出るのを実際に観測するreadinessProbeを付けて、同じ更新でエラーが出なくなるのを確認するlivenessProbeをわざと間違えて、再起動を繰り返す状態を作るmaxSurgeとmaxUnavailableを0と1で入れ替えて、kubectl get pod -wで置き換わり方を見比べるpreStopと終了猶予を付けて、止まる側で接続を切らない形にする- Deployment を2つ用意して、Service の
selectorを書き換えるだけで Blue/Green とカナリアをやる - 作ったものを全部片づける
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| ローリングアップデート | 古いのを少しずつ止めながら、新しいのを少しずつ足す入れ替え方。Deployment の既定 |
| プローブ | Kubernetes が Pod に定期的に投げる健康診断。HTTP を叩く・コマンドを実行する・TCP で繋ぐ、の3通り |
| Ready | その Pod が客を受けられる状態だと Kubernetes が判断していること。kubectl get pod の READY 欄 |
| エンドポイント | Service が実際に転送先として持っている Pod の IP の一覧。Ready でない Pod はここに載らない |
maxSurge | 更新中に、指定した数より何個多く Pod を作ってよいか |
maxUnavailable | 更新中に、指定した数より何個少なくてよいか |
| SIGTERM | プロセスに「終わってください」と伝える合図。無視できる。無視され続けると SIGKILL(問答無用)が来る |
preStop | Pod を止める直前に1回だけ実行される処理。ここで待つと、止まるまでの時間を稼げる |
| Blue/Green | 旧と新を丸ごと2組用意して、宛先を一気に切り替えるやり方 |
| カナリア | 新しい版を少しだけ混ぜて様子を見るやり方。炭鉱のカナリアが語源 |
| 前方互換 | 古いアプリでも、新しいスキーマのデータベースを読める状態。切り戻しが成立する条件 |
準備 — 落ちるアプリを用意する
素の nginx は起動が速すぎて、事故が再現しません。 起動に時間がかかるアプリを作ります。これは細工ではなく、現実のほうに寄せる作業です。 Java でも Rails でも、起動には十数秒かかります。
VM の中で作業用フォルダを作ります。
apiVersion: apps/v1
kind: Deployment
metadata:
name: web
spec:
replicas: 4
selector:
matchLabels:
app: web
template:
metadata:
labels:
app: web
spec:
containers:
- name: web
image: nginx:1.25
command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
ports:
- containerPort: 80
command の行だけが普通と違います。
| 部分 | 意味 |
|---|---|
sleep 15 | 15秒、何もしない。起動に時間のかかるアプリのつもり |
exec nginx -g 'daemon off;' | そのあと nginx を前面で起動する。exec を付けるのは、nginx を PID 1 にして SIGTERM を直接受け取らせるため(あとで効きます) |
execを付けないと、shが PID 1 のまま残ります。 Kubernetes が送るSIGTERMは PID 1 に届くので、shが受け取って nginx には伝わりません。 「止めてもすぐ死なない」の典型的な原因がこれです。
Service も作ります。外から叩くために NodePort にします。
apiVersion: v1
kind: Service
metadata:
name: web
spec:
type: NodePort
selector:
app: web
ports:
- port: 80
targetPort: 80
nodePort: 30080
15秒ほど待ってから見ます。
NAME READY STATUS RESTARTS AGE
web-5f9c7d8b64-2xkqp 1/1 Running 0 25s
web-5f9c7d8b64-7ntzv 1/1 Running 0 25s
web-5f9c7d8b64-hb4mw 1/1 Running 0 25s
web-5f9c7d8b64-qs8lr 1/1 Running 0 25s
繋ぐ先の IP を確認します。
192.168.49.2
この IP は環境ごとに違います。 以降の 192.168.49.2 は、自分の環境の値に読み替えてください。
200
200 が返れば準備完了です。 返らないときは、kubectl get pod の READY が 1/1 になるまで待ってください。
更新中に落ちるところを、自分の目で見る
ここが、この記事で一番大事なところです。 「たぶん落ちる」ではなく、落ちるのを見ます。
見張りを置く
1つ目のターミナルで、これを走らせ続けます。
| オプション | 意味 |
|---|---|
-s | 進捗表示を出さない |
-o /dev/null | 本文は捨てる。今回は HTTP のステータスだけ見たい |
-m 1 | 1秒で諦める。これが無いと、繋がらないときに長く待ってしまって0.2秒間隔にならない |
-w "%{http_code}\n" | 返ってきたステータスコードだけを表示する |
sleep 0.2 | 0.2秒おき。1秒に5回叩く |
200 が縦にずらずら並びます。止めるのは Ctrl + C。
そのまま、更新をかける
2つ目のターミナルで、イメージを差し替えます。
1つ目のターミナルを見てください。
200
200
200
000
000
000
000
000
200
000
000
200
200
200
000 が出ます。
000 は「HTTP のステータスが返ってこなかった」という意味です。 curl はサーバーから応答を受け取れていません。繋がらなかったか、繋がった直後に切られたかのどちらかです。
[スクリーンショット: 01_更新中のエラー.png] curl を流し続けているターミナルで、200 の列に 000 が混ざっているところを撮ってください。2つのターミナルが並んで写っていると、何をした結果か分かりやすくなります。
冒頭の 502 は、これと同じ現象です。 直接叩くと「繋がらない(000)」、間に nginx などのリバースプロキシがいると、プロキシが「後ろに繋がりません」と言うので 502 になります。ポート番号を隠す — nginxのリバースプロキシ でやったのと同じ構図です。
なぜ落ちたのかを、3つに分ける
ここを一括りに「更新すると落ちる」で片づけると、直せません。 原因は3つあり、それぞれ直す場所が違います。
| # | 何が起きたか | 直す場所 |
|---|---|---|
| ① | 新しい Pod が客を受けられる前に、古い Pod を止めた | readinessProbe |
| ② | 古い Pod を止めるとき、処理中の接続を切った | preStop と終了猶予 |
| ③ | アプリの起動そのものが遅い | startupProbe と、そもそもの起動時間 |
今回いま起きたのは、ほぼ全部が①です。
理由を確かめます。新しい Pod が起動した直後の状態を見ます。
更新をかけた直後(15秒経つ前)に打つと、こうなります。
NAME READY STATUS RESTARTS AGE
web-5f9c7d8b64-2xkqp 1/1 Running 0 6m
web-5f9c7d8b64-hb4mw 1/1 Running 0 6m
web-6c8d5f7a91-jv4nk 1/1 Running 0 3s
web-6c8d5f7a91-x7pmd 1/1 Running 0 3s
生まれて3秒の Pod が、もう READY 1/1 になっています。
中では sleep 15 が走っていて、nginx はまだ1行も動いていません。 それでも READY です。
何も書かないと、
READYの判定は「コンテナのプロセスが起動したか」だけです。 中のアプリが客を受けられるかは、見ていません。
Service の宛先を見ると、はっきりします。
NAME ENDPOINTS AGE
web 10.244.0.12:80,10.244.0.15:80,10.244.0.18:80,10.244.0.19:80 6m
4つ載っています。まだ nginx が起動していない Pod の IP も、この中にいます。 Service は Ready な Pod を宛先にするので、「Ready の判定が甘い」ことが、そのまま「死んだ宛先に客を送る」ことになっていました。
Kubernetes は嘘をついていませんでした。 こちらが「Ready とは何か」を一度も教えていなかっただけです。
readinessProbe で直す
まず、3つのプローブの違いを整理する
ここを混ぜたまま設定すると、必ず事故ります。 自分は liveness と readiness を同じものだと思っていました。全く違います。
| プローブ | 失敗すると何が起きるか | 一言で | 付け忘れると |
|---|---|---|---|
readinessProbe | Service の宛先(エンドポイント)から外される。 コンテナは動いたまま | 外す | 起動途中の Pod に客が来る(今回のこれ) |
livenessProbe | コンテナが再起動される | 殺す | 固まったアプリが、動いているままになる |
startupProbe | 成功するまで、上の2つを開始させない。失敗し続けるとコンテナが再起動される | 待つ | 起動の遅いアプリが、livenessProbe に殺される |
もう一段、噛み砕きます。
readinessは「いま客を回してよいか」。だめなら、外すだけで、Pod は生きています。回復したら自動で戻ります。livenessは「もう見込みがないか」。だめなら、殺して作り直します。 取り返しがつきません。startupは「まだ起動中か」。 起動が遅いアプリのために、他の2つを黙らせておく係です。
迷ったら readinessProbe だけを付けてください。 外すだけなので、間違えても被害が小さいからです。livenessProbe は、間違えると自分でアプリを殺します(次の節で作ります)。
readinessProbe を書く
containers の中に足します。
apiVersion: apps/v1
kind: Deployment
metadata:
name: web
spec:
replicas: 4
selector:
matchLabels:
app: web
template:
metadata:
labels:
app: web
spec:
containers:
- name: web
image: nginx:1.25
command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
ports:
- containerPort: 80
readinessProbe:
httpGet:
path: /
port: 80
initialDelaySeconds: 2
periodSeconds: 2
failureThreshold: 3
1行ずつ、何を言っているかです。
| 行 | 意味 |
|---|---|
httpGet.path: / | 自分自身の / を GET する。200〜399 が返れば成功 |
httpGet.port: 80 | コンテナの中のポート。Service のポートではありません |
initialDelaySeconds: 2 | 起動してから2秒待って、最初の1回を投げる |
periodSeconds: 2 | 2秒おきに投げ続ける |
failureThreshold: 3 | 3回続けて失敗したら「Ready ではない」と判定する |
readinessProbe は、Ready になったあとも投げ続けます。 途中でアプリが応答しなくなれば、そこで宛先から外れます。 一度きりの起動チェックではありません。
httpGet 以外の書き方も2つあります。
| 書き方 | 使う場面 |
|---|---|
httpGet | Web アプリなら基本これ。中身まで動いていることを確かめられる |
tcpSocket | HTTP を喋らないもの(データベースなど)。ポートが開いているかだけ |
exec | コンテナの中でコマンドを走らせて、終了コード 0 なら成功。他の2つで無理なとき |
同じ更新を、もう一度かける
1つ目のターミナルの curl は流したままにしてください。
まず、この apply 自体が更新(ロールアウト)です。 readinessProbe を足したので、型紙が変わっています。
見ていると、こうなります。
200
200
200
200
200
200
200
200
200
200
000 が出ません。
[スクリーンショット: 02_readiness後.png] readinessProbe を付けたあとの更新中の curl の出力で、200 だけが並んでいるところを撮ってください。01 と並べると差が伝わります。
進み具合も、明らかに変わります。
Waiting for deployment "web" rollout to finish: 2 out of 4 new replicas have been updated...
Waiting for deployment "web" rollout to finish: 3 out of 4 new replicas have been updated...
deployment "web" successfully rolled out
さっきより明らかに時間がかかります。 これで正常です。
速く終わっていたのは、優秀だったからではありません。 確認していなかったからです。
念のため、更新中に READY を見ておきます。別のターミナルで更新をかけながら打つと、こうなります。
NAME READY STATUS RESTARTS AGE
web-5f9c7d8b64-2xkqp 1/1 Running 0 12m
web-5f9c7d8b64-hb4mw 1/1 Running 0 12m
web-7a4b9e2c15-fq6rt 0/1 Running 0 4s
web-7a4b9e2c15-m3wzd 0/1 Running 0 4s
0/1 Running です。 さっきは 1/1 でした。
Running なのに Ready ではない。 この状態が正しく表現されるようになりました。Service の宛先にも、この2つは入っていません。
NAME ENDPOINTS AGE
web 10.244.0.12:80,10.244.0.15:80 12m
古い2つだけです。 客は全員そちらに行きます。これが「無停止」の実体でした。
livenessProbe を間違えて、再起動を繰り返させる
「じゃあ liveness も付ければもっと安全だろう」と考えて、ひどい目に遭いました。 再現します。
apiVersion: apps/v1
kind: Deployment
metadata:
name: web-bad
spec:
replicas: 1
selector:
matchLabels:
app: web-bad
template:
metadata:
labels:
app: web-bad
spec:
containers:
- name: web
image: nginx:1.25
command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
livenessProbe:
httpGet:
path: /healthz
port: 80
initialDelaySeconds: 3
periodSeconds: 3
failureThreshold: 2
間違いを2つ、わざと入れています。
path: /healthzは、nginx には存在しません。404が返ります。プローブは200〜399しか成功と見なしませんinitialDelaySeconds: 3なのに、アプリは15秒かけて起動します。 起動しきる前に殴られます
1分ほど放置してから見ます。
NAME READY STATUS RESTARTS AGE
web-bad-64d7f9b8c5-plx2j 0/1 Running 4 (12s ago) 82s
RESTARTS が増え続けています。
[スクリーンショット: 03_再起動ループ.png] kubectl get pod -l app=web-bad を1分ほど間を空けて2回打ち、RESTARTS の数字が増えているところを撮ってください。
理由を、Pod 自身に語らせます。
末尾の Events だけ見れば十分です。
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning Unhealthy 20s (x8 over 68s) kubelet Liveness probe failed: HTTP probe failed with statuscode: 404
Normal Killing 20s (x4 over 62s) kubelet Container web failed liveness probe, will be restarted
Normal Pulled 19s (x5 over 82s) kubelet Container image "nginx:1.25" already present on machine
will be restarted と、はっきり書いてあります。
このアプリは壊れていません。 sleep 15 のあと nginx は正常に起動します。起動しきる前に殺されているので、永遠に起動が終わりません。
livenessProbeは、直すためのものではありません。 「もう回復しないから作り直す」という、最後の手段です。 回復途中のものに向けると、回復を妨害します。
このまま放っておくと、STATUS が CrashLoopBackOff に近い挙動になります。Kubernetes は再起動の間隔を少しずつ延ばして(10秒、20秒、40秒…)、暴走を抑えます。 これが BackOff の意味です。
直し方は2通りあります。
| 直し方 | 書くこと |
|---|---|
initialDelaySeconds を伸ばす | initialDelaySeconds: 30 のように、起動時間より長くする |
startupProbe を使う | 起動が終わるまで liveness を黙らせる。こちらが本筋 |
startupProbe はこう書きます。
startupProbe:
httpGet:
path: /
port: 80
periodSeconds: 3
failureThreshold: 20
periodSeconds × failureThreshold が、許される起動時間です。 ここでは 3 × 20 = 60秒。60秒以内に一度でも成功すれば、そこから liveness と readiness が動き出します。
initialDelaySecondsを伸ばすやり方の弱点は、「本当に死んだとき」の発見も遅くなることです。startupProbeなら、起動が終わった瞬間からlivenessが普通の間隔で見張ります。 起動は気長に、稼働中は厳しく、を両立できます。
壊れたほうは、ここで消します。
maxSurge と maxUnavailable — 先に増やすか、先に減らすか
readinessProbe で客は落ちなくなりましたが、「どういう順番で入れ替わるか」はまだ触っていません。 ここは2つの数字で決まります。
spec:
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 0
| 設定 | 意味 |
|---|---|
maxSurge | replicas より、いくつ多く作ってよいか。1 なら 4 のところ一時的に 5 まで |
maxUnavailable | replicas より、いくつ少なくてよいか。0 なら、常に4つ Ready を保つ |
書かないと、どちらも 25% です。 replicas: 4 なら、切り上げ・切り捨てで maxSurge: 1 / maxUnavailable: 1 相当になります。
maxSurge: 1 / maxUnavailable: 0 を見る
web.yaml の spec:(replicas と同じ深さ)に strategy を足します。
spec:
replicas: 4
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 0
selector:
matchLabels:
app: web
1つ目のターミナルを、curl から見張りに切り替えます。
2つ目のターミナルで適用し、続けてイメージを変えます。
見張り側に、こう流れます(抜粋)。
web-7a4b9e2c15-fq6rt 1/1 Running 0 3m
web-9d2f6a8b73-kc5vn 0/1 Pending 0 0s
web-9d2f6a8b73-kc5vn 0/1 ContainerCreating 0 0s
web-9d2f6a8b73-kc5vn 0/1 Running 0 2s
web-9d2f6a8b73-kc5vn 1/1 Running 0 17s
web-7a4b9e2c15-fq6rt 1/1 Terminating 0 3m
順番を読んでください。
- 新しい Pod が生まれる(
0/1) - 17秒後に
1/1になる(readinessProbeが通った) - そのあとで、古い Pod が
Terminatingになる
「増えてから、減る」です。 だから客が落ちません。maxUnavailable: 0 が効いています。
[スクリーンショット: 04_surge先行.png] kubectl get pod -w の出力で、新しい Pod が 1/1 になった行のあとに、古い Pod の Terminating が来ているところを撮ってください。
maxSurge: 0 / maxUnavailable: 1 に変えて見る
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 0
maxUnavailable: 1
見張り側の流れが、ひっくり返ります。
web-9d2f6a8b73-kc5vn 1/1 Terminating 0 4m
web-3e7c1d5f92-txb8q 0/1 Pending 0 0s
web-3e7c1d5f92-txb8q 0/1 ContainerCreating 0 1s
web-3e7c1d5f92-txb8q 0/1 Running 0 3s
web-3e7c1d5f92-txb8q 1/1 Running 0 18s
先に古いのが消えて、それから新しいのが生まれています。
このとき、Ready な Pod は一時的に3つです。 4つ分の負荷が3つに来ます。客が落ちるわけではありませんが、混んでいる時間帯にやると、残った3つが押し潰されます。
組み合わせの意味を、表で
maxSurge | maxUnavailable | 何が起きるか | 使う場面 |
|---|---|---|---|
1 | 0 | 増やしてから減らす。 Ready な数が減らない | 客がいる本番。基本これ |
0 | 1 | 減らしてから増やす。 一時的に容量が減る | ノードに空きが無いとき。資源が足りない環境 |
25% | 25% | 両方少しずつ。既定値 | 何も考えないとこれになる |
replicas と同数 | 0 | 全部一気に作ってから、全部消す | ほぼ Blue/Green。資源が2倍要る |
0 | 0 | 設定できない | — |
両方 0 は、その場で弾かれます。 やってみます。
web.yaml をコピーして、名前を web-stuck、maxSurge と maxUnavailable を両方 0 にします。
The Deployment "web-stuck" is invalid: spec.strategy.rollingUpdate.maxUnavailable: Invalid value: intstr.IntOrString{Type:0, IntVal:0, StrVal:""}: may not be 0 when maxSurge is 0
理屈は単純です。 増やしてもいけない、減らしてもいけない。 それでは1つも入れ替えられません。永久に終わらない更新になるので、Kubernetes 側が先に禁止しています。
preStop と終了の猶予 — 止まる側で切らない
原因の②が残っています。「古い Pod を止めるとき、処理中の接続を切った」です。
ここは、自分がいちばん誤解していたところでした。
Pod を消すとき、「Service の宛先から外す」処理と「コンテナに
SIGTERMを送る」処理は、順番に実行されません。 ほぼ同時に、別々の場所で走ります。
宛先から外すのは、各ノードの kube-proxy が、エンドポイントの変更を受け取ってから転送規則を書き換える作業です。数百ミリ秒かかります。 SIGTERM を送るのは、そのノードの kubelet が即座にやります。
この差の間に来た客が、死んだ Pod に送られます。 これが 000 の残りの正体でした。
型を書く
spec:
terminationGracePeriodSeconds: 30
containers:
- name: web
image: nginx:1.25
command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
ports:
- containerPort: 80
lifecycle:
preStop:
exec:
command: ["sh", "-c", "sleep 5"]
readinessProbe:
httpGet:
path: /
port: 80
initialDelaySeconds: 2
periodSeconds: 2
failureThreshold: 3
terminationGracePeriodSeconds は containers の外(Pod の spec 直下)です。lifecycle は containers の中です。この階層を間違えると、静かに無視されます。
止めるときの手順は、こうなりました。
| 順 | 何が起きるか |
|---|---|
| 1 | kubectl delete などで、Pod に削除の印が付く |
| 2 | 同時に2つ走る: ⓐ エンドポイントから外す処理 / ⓑ preStop の実行 |
| 3 | preStop の sleep 5 が終わるまで、SIGTERM は送られない。その間にⓐが終わる |
| 4 | SIGTERM が PID 1(nginx)に届く。nginx は処理中の応答を返してから終わる |
| 5 | 1 から数えて30秒経っても終わらなければ、SIGKILL(問答無用) |
terminationGracePeriodSeconds は「preStop のあと」からではなく、「削除が始まってから」の合計です。 preStop で25秒待つと、アプリが後始末に使える時間は5秒しか残りません。preStop の待ち時間は、猶予より十分短くします。
数字の決め方は、こうしました。
| 値 | 決め方 |
|---|---|
preStop の sleep | エンドポイントから外れるのに十分な時間。5秒から始めて足りなければ増やす |
terminationGracePeriodSeconds | preStop + いちばん長いリクエストの処理時間 + 余裕。既定は 30 |
curl を流しながらやっても 200 のままです。 ここは、readinessProbe だけのときと見た目が変わりません。
正直に書きます。この差は、この規模では見えませんでした。 nginx で静的なページを返しているだけなので、切られて困る「処理中のリクエスト」がありません。
preStopの効果が出るのは、1リクエストに数秒かかるアプリです。 見えないからといって要らないのではなく、この教材では差が出ない、というだけです。
それでも exec の話(PID 1)だけは、いま確かめられます。
pod/web-8b5c3a7d61-w9klv
PID COMMAND
1 nginx
30 ps
PID 1 が nginx です。 exec を書いたおかげで、SIGTERM が nginx に直接届きます。ここが sh になっていると、SIGTERM は sh が受けて握り潰され、30秒後に SIGKILL で殺されます。 「削除がいつも30秒かかる」ときは、まずこれを疑います。
rollout pause と resume — 途中で止める
更新を、途中で止められます。
止めた状態で変更をかけても、何も起きません。
NAME DESIRED CURRENT READY AGE
web-3e7c1d5f92 0 0 0 25m
web-8b5c3a7d61 4 4 4 12m
新しい ReplicaSet が作られていません。 変更は Deployment に記録されただけです。
Waiting for deployment "web" rollout to finish: 0 out of 4 new replicas have been updated...
返ってきません。 Ctrl + C で抜けます。
再開します。
deployment "web" successfully rolled out
使いどころは2つありました。
| 使い方 | 何のため |
|---|---|
| 先に止めてから、複数の変更をまとめる | イメージと環境変数を別々に変えるとロールアウトが2回走る。止めてから両方変えて再開すれば1回で済む |
| 走っている最中に止める | 「1つ目だけ新しい版にして、様子を見る」ができる。これがカナリアの原型 |
2つ目を、実際にやってみます。
web-8b5c3a7d61-2fpqw nginx:1.25
web-8b5c3a7d61-w9klv nginx:1.25
web-8b5c3a7d61-x4nrd nginx:1.25
web-9f1a2c6e48-ht7bs nginx:1.27
4つのうち1つだけが新しい版です。 この状態で止まっています。客の4分の1が新しい版に当たっています。
問題なければ再開、まずければ戻します。
止めたまま undo すると、you cannot rollback a paused deployment; resume it first with 'kubectl rollout resume' and try again と拒否されます。 resume してから undo してください。 ここで一度、拒否されて焦りました。
これは「手動カナリア」です。 割合が 1/4 に固定されるうえ、自分で見張っていないといけません。 次の節で、もう少しまともな形にします。
Blue/Green とカナリアを、Service のラベルで作る
Kubernetes に「Blue/Green」というリソースはありません。「カナリア」もありません。
あるのは、これだけです。
Service は、
selectorに書いたラベルに一致する Pod へ客を送る。
この1つで、両方できます。 ここが、この記事で一番おもしろかったところでした。
Blue/Green — 宛先を丸ごと切り替える
Deployment を2つ用意します。 名前もラベルも違いますが、共通のラベル app: web-bg を両方に付けます。
apiVersion: apps/v1
kind: Deployment
metadata:
name: web-blue
spec:
replicas: 2
selector:
matchLabels:
app: web-bg
version: blue
template:
metadata:
labels:
app: web-bg
version: blue
spec:
containers:
- name: web
image: nginx:1.25
ports:
- containerPort: 80
readinessProbe:
httpGet:
path: /
port: 80
periodSeconds: 2
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: web-green
spec:
replicas: 2
selector:
matchLabels:
app: web-bg
version: green
template:
metadata:
labels:
app: web-bg
version: green
spec:
containers:
- name: web
image: nginx:1.27
ports:
- containerPort: 80
readinessProbe:
httpGet:
path: /
port: 80
periodSeconds: 2
--- は、1つのファイルに複数のリソースを書くときの区切りです。
ラベルの設計が全てです。
| ラベル | 役割 |
|---|---|
app: web-bg | どちらの Deployment にも付く。「このアプリの仲間」という印 |
version: blue / green | どちらの組かを区別する。Service はこれを見て切り替える |
Service は、version まで指定します。
apiVersion: v1
kind: Service
metadata:
name: web-bg
spec:
type: NodePort
selector:
app: web-bg
version: blue
ports:
- port: 80
targetPort: 80
nodePort: 30081
NAME READY STATUS RESTARTS AGE
web-blue-6f8d4c2b91-jr5tq 1/1 Running 0 30s
web-blue-6f8d4c2b91-vn7wz 1/1 Running 0 30s
web-green-7c9e5a3f42-h2mkp 1/1 Running 0 30s
web-green-7c9e5a3f42-q8xdc 1/1 Running 0 30s
4つ動いています。うち2つ(green)は、誰からもアクセスされていません。
NAME ENDPOINTS AGE
web-bg 10.244.0.31:80,10.244.0.32:80 45s
2つだけです。blue の2つ。 green はまだ宛先に入っていません。
どちらが返しているかを、バージョンで確かめます。
Server: nginx/1.25.5
blue です。
切り替えます。
service/web-bg patched
Server: nginx/1.27.4
一瞬で変わりました。
[スクリーンショット: 05_bluegreen切替.png] patch の前後で curl -sI ... | grep -i server を打ち、nginx/1.25 から nginx/1.27 に変わっているところを撮ってください。
戻すのも一瞬です。
ローリングの
rollout undoは、Pod を4つ作り直します。数十秒かかります。 Blue/Green の切り戻しは、Service の1行を書き換えるだけです。Pod は最初から動いています。
これが Blue/Green の全てです。 代わりに払っているものが、はっきりしています。
常に2倍の Pod が動いています。 2倍の CPU とメモリを使います(requestsとlimits — Kubernetes深掘り でやった requests の話が、そのまま2倍になります)。「切り戻しの速さを、資源で買っている」と言えます。
もう1つ、忘れていた落とし穴があります。 切り替えた瞬間、blue に繋ぎっぱなしだった接続は切れます。 Service の転送先が変わるだけで、既存の接続に「移ってください」とは言えません。 「無停止」と言い切れるのは、リクエストが短い場合だけです。
カナリア — 割合はレプリカ数の比で作る
Blue/Green は全部か、ゼロかでした。 カナリアは、少しだけ混ぜます。
やることは1つだけです。
Service の
selectorからversionを消す。
そうすると、app: web-bg が付いた Pod が全部、宛先になります。 blue も green も混ざります。
apiVersion: v1
kind: Service
metadata:
name: web-bg
spec:
type: NodePort
selector:
app: web-bg
ports:
- port: 80
targetPort: 80
nodePort: 30081
あとは、レプリカ数の比で割合を作ります。 安定版9、新版1で「約10%」です。
全部 Running になるまで待ってから、100回叩いて数えます。
87 Server: nginx/1.25.5
13 Server: nginx/1.27.4
約10%になりました。 ただし 87 対 13 です。
ここが重要でした。
9 : 1にしても、ぴったり 90:10 にはなりません。
理由は3つありました。
| 理由 | 中身 |
|---|---|
| ① 振り分けは確率 | kube-proxy は宛先をランダムに選んでいます。順番に回しているのではありません。100回なら、10前後にばらつきます |
| ② 刻みが粗い | 1% を作るには、Pod が100個必要です。 レプリカ数の比でしか割合を作れません |
| ③ 接続が固定される | ブラウザは接続を使い回します(keep-alive)。一度 green に繋がった人は、しばらく green のままです。「1割の人が1割の確率で当たる」ではなく、「1割の人がずっと当たる」に近くなります |
③ を、自分は完全に見落としていました。 上のように curl を毎回新しく起動すると①の話になりますが、実際のブラウザは接続を保ち続けます。 「10%だから被害も10%」ではなく、「その10%の人には、ずっと壊れた版が出続ける」わけです。
そして、いちばん大事なことです。
ここまでの手順に、「異常を見つけたら自動で止める」仕組みは一切ありません。 自分でグラフを見ていて、自分で
kubectl scaleを打つ必要があります。
戻すのは速いです。
green を 0 にすれば、宛先から消えます。 Deployment は残っているので、1 に戻せばまた混ざります。
3つを、表で比べる
| ローリング | Blue/Green | カナリア | |
|---|---|---|---|
| やり方 | Deployment 標準。set image するだけ | Deployment 2つ + Service の selector 切替 | Deployment 2つ + レプリカ数の比 |
| 切り戻しの速さ | 数十秒(Pod を作り直す) | 一瞬(1行書き換え) | 速い(新版を 0 にする) |
| 必要な資源 | maxSurge の分だけ余分(1個分など) | 2倍 | 新版の Pod の分だけ(1個分など) |
| 複雑さ | 低い。既定で動く | 中。YAML が2つ、ラベル設計が要る | 高い。割合の管理と異常の観測が必須 |
| 問題に気づける割合 | 更新が進むほど全員に広がる | 切り替えた瞬間、全員 | 一部だけで済む。ここが最大の利点 |
| 向いている場面 | 普段の更新。まずこれ | 失敗したら即戻したい大きな変更 | 本番でしか分からない性能・エラー率を見たいとき |
普段はローリングで十分でした。 readinessProbe を付けて maxUnavailable: 0 にすれば、客は落ちません。Blue/Green とカナリアは、「戻す速さ」と「気づける範囲」を、資源と手間で買うやり方です。
本格的にやるなら
上のカナリアには、決定的に足りないものがありました。
- 割合が粗い(Pod の数でしか刻めない)
- 異常を見て自動で止める仕組みが無い
- 手順が全部、手打ちのコマンド
この3つを埋める道具があります。名前だけ挙げておきます。
| 道具 | 何をするもの |
|---|---|
| Argo Rollouts | Deployment の代わりに使うリソース。カナリアの段階(10% → 30% → 100%)と待ち時間を YAML に書ける |
| Flagger | 同じくカナリアの自動化。指標が悪化したら自動で切り戻すところまでやる |
どちらも「指標を見て、自動で判断する」ことが前提です。 つまり、先に監視が要ります。 そこが無いまま入れても、手で見ていたものが、見なくなるだけです。
そして、これらの道具はどれも「Git に書いた通りにする」流儀と組み合わせて使います。 その話は本線の 手で直した設定は勝手に戻る — ArgoCDでGitOps で扱います。この記事でやった kubectl patch や kubectl scale は、あそこで全部「やってはいけないこと」になります。
いまの段階では、名前を知っていれば十分です。 手で一度やっていないと、自動化されたものが何を代行しているのか分かりません。
アプリは戻せても、データベースは戻らない
ここまで全部やっても、まだ落とし穴が残っています。 これが、この記事でいちばん怖い部分です。
rollout undo も、Blue/Green の切り替えも、戻すのは Pod だけです。
データベースのスキーマは、戻りません。
具体的に、こういう事故になります。
| 順 | やったこと | 結果 |
|---|---|---|
| 1 | マイグレーションで、users の name 列を消して full_name に改名 | DB が新しい形になる |
| 2 | 新しいアプリを出す | 動く |
| 3 | 新しいアプリにバグが見つかる | |
| 4 | kubectl rollout undo | アプリだけ古い版に戻る |
| 5 | 古いアプリが SELECT name FROM users を実行 | 列が無い。全部落ちる |
「戻せる」と思っていたのに、戻したら悪化しました。
原則は1つです。
古い版のアプリでも動く形にしてから、アプリを更新する。 これを「前方互換にしておく」と言います。
やり方は、1回の変更を2回に分けることです。
| 段階 | やること | このとき動くアプリ |
|---|---|---|
| ①足す | full_name 列を追加する。name は消さない。両方に書く | 旧も新も動く |
| ②移す | アプリを新しい版にする。full_name を読む | 旧も新も動く(name はまだある) |
| ③消す | 新しい版が安定してから、name を消す | 新のみ |
②の時点で切り戻せば、旧アプリは name を読めます。 ③をやったあとは、もう切り戻せません。 だから③は、切り戻す気が無くなってからやります。
もう1つ、同じ形の事故があります。
ALTER TABLE users ADD COLUMN age INT NOT NULL;
NOT NULL を、既定値なしで足すと、既存の行が値を持てません。 さらに、古いアプリはこの列の存在を知らないので、INSERT のときに値を入れません。 結果、古いアプリが動いている間、書き込みが全部失敗します。
足すときは、必ずこうします。
ALTER TABLE users ADD COLUMN age INT NULL DEFAULT NULL;
空でもよい形で足す。 これも前方互換の一種です。
マイグレーションそのものの扱いは、本線の ALTER TABLE を手で打たない — ORMとマイグレーション と、深掘りの ALTER TABLEは取り消せない — SQL深掘り にあります。この記事の結論は、そこと繋がります。
「切り戻せる」は、アプリだけの話です。 データを触る変更は、切り戻せる形に自分で設計しないと、切り戻せません。
つまずいたところ
1. 「無停止」を Kubernetes の機能だと思っていた
本線を書いた時点で、「Deployment にすれば無停止で更新される」と信じていました。 実際に curl を回しながら更新して 000 が並んだとき、設定を間違えたのだと思って YAML を何度も読み返しました。
間違いは無く、何も設定していなかっただけでした。 Kubernetes は「起動した = Ready」で動いていて、それを疑うべきだと気づくのに時間がかかりました。
教訓は、機能の説明を読んだだけで確かめなかったことです。 curl を回すのは5秒の作業でした。それをやっていれば、最初から分かっていました。
2. readinessProbe と livenessProbe を同じものだと思っていた
「どちらもヘルスチェックでしょう」と思って、両方に同じ path と同じ設定を書いていました。 それ自体は動きますが、意味が違うことに気づいていませんでした。
はっきり分かれたのは、livenessProbe だけを付けた Pod が再起動を繰り返したときです。readinessProbe なら、同じ設定でも外れるだけで生きていました。
失敗したときに何が起きるかで区別する。 外す(
readiness)/殺す(liveness)/待つ(startup)。投げる中身ではなく、失敗の扱いが違う。
3. livenessProbe の path を /healthz にして、存在しなかった
「ヘルスチェックといえば /healthz」という思い込みで書きました。nginx にそんなパスはありません。 404 が返り、プローブは 404 を失敗と見なします。
kubectl describe pod の Events に HTTP probe failed with statuscode: 404 と書いてあったのに、しばらく Warning を読み飛ばしていました。 describe は末尾の Events から読む、を体で覚えました。
4. initialDelaySeconds が起動時間より短くて、永久に起動しなかった
initialDelaySeconds: 3 に対して、アプリの起動は15秒。起動しきる前に殺され、また15秒かけて起動しようとして、また殺される。
RESTARTS が増え続けるのに、ログには異常が何も無いという状態で、アプリのせいだと思って中を調べていました。 犯人は自分が書いたプローブでした。
RESTARTS が増えているときは、まずログではなく describe の Events を見る、が正しい順番でした。
5. strategy を書く場所を間違えて、静かに無視された
strategy を template.spec の下(コンテナと同じ深さ)に書いてしまいました。エラーが出ません。 apply は通り、configured と出ます。
でも maxSurge が効いていません。 効いていないことに気づいたのは、kubectl get pod -w の順番が変わらなかったからでした。
確かめ方は、これでした。
{"rollingUpdate":{"maxSurge":1,"maxUnavailable":0},"type":"RollingUpdate"}
ここに出ていなければ、書いた場所が違います。 「apply が通った」は「設定が効いた」ではありませんでした。
6. pause したまま undo して、拒否されて焦った
カナリアの実験で rollout pause したあと、そのまま kubectl rollout undo を打ちました。 error: you cannot rollback a paused deployment; resume it first with 'kubectl rollout resume' and try again と拒否されました。
止めてあるので、当然でした。 resume してから undo すれば動きます。
kubectl rollout status を打てば paused だと分かります。 何も起きないときは、まず状態を聞く。「打ったコマンドが正しいか」より先に「いまどうなっているか」でした。
7. カナリアの割合を、100回叩いて 90:10 になると思っていた
9 : 1 にして100回叩いて、87:13 を見て「設定が間違っている」と思いました。
間違っていません。ランダムに選んでいるので、ばらつきます。 さらにブラウザだと接続を使い回すので、もっと偏ります。
「割合で出す」と言ったとき、それが確率なのか、確実な比率なのかを区別していませんでした。 レプリカ数で作るカナリアは確率です。確実な比率が要るなら、Ingress やサービスメッシュ側で重みを付けます(EXTERNAL-IPがpendingのまま — Kubernetes深掘り と サーキットブレーカを自分で書かない — サービスメッシュ)。
後片づけ
作ったものを全部消します。
deployment.apps "web" deleted
service "web" deleted
deployment.apps "web-blue" deleted
deployment.apps "web-green" deleted
service "web-bg" deleted
web-bad-liveness.yaml は途中で消していますが、残っていたらこれも消します。
--ignore-not-found は、もう無いときにエラーを出さないオプションです。
残っていないか確認します。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 4h
service/kubernetes だけが残っていれば片づいています。 これはクラスタ自身のもので、消しません。
curl の無限ループを止め忘れないでください。 1つ目のターミナルで Ctrl + C です。そのまま閉じても止まりますが、閉じ忘れると 000 を延々と吐き続けます。
minikube ごと止めるなら、こうです。
消さずに止めるだけなので、次回 minikube start で続きから使えます。
まとめ
理解できたこと。
- 「無停止で入れ替わる」は自動ではない。 何も書かないと Kubernetes は「プロセスが起動した = 客を受けられる」と見なし、起動途中の Pod に客を回す
- 更新中に落ちる原因は3つに分けられる。 ①新しい側が準備できる前に古いのを止めた(
readinessProbe)/②古い側で接続を切った(preStop)/③起動が遅い(startupProbe)。直す場所が違う - 3つのプローブは、失敗したときの動作で区別する。
readinessは外す、livenessは殺す、startupは待つ。迷ったらreadinessだけ付ける。外すだけなので被害が小さい livenessProbeは間違えると自分でアプリを殺す。 存在しないpathや、短すぎるinitialDelaySecondsで、正常なアプリが延々と再起動されるmaxSurge/maxUnavailableは「先に増やすか、先に減らすか」。maxSurge: 1/maxUnavailable: 0が、客のいる場面の基本。両方0は設定できない- Pod を止めるとき、「宛先から外す」と「
SIGTERMを送る」は同時に走る。 その隙間をpreStopの待ち時間で埋める。terminationGracePeriodSecondsは削除開始からの合計で、preStopの分も含む execを付けないとshが PID 1 になり、SIGTERMが握り潰される。 「削除にいつも30秒かかる」の典型的な原因- Blue/Green もカナリアも、Kubernetes の機能ではない。 Service の
selectorに書くラベルと、レプリカ数の比だけでできる - Blue/Green は切り戻しが一瞬。代わりに資源が2倍。切り替えた瞬間、既存の接続は切れる
- レプリカ数で作るカナリアは、正確な割合にならない。 振り分けは確率、刻みはPod の数の粒度、さらに接続が使い回されて偏る
- アプリは戻せても、データベースのスキーマは戻らない。 足す → 移す → 消すの3段階に分けて、古い版でも動く形(前方互換)にしてから更新する
この回でいちばん効いたのは、curl を0.2秒おきに叩き続けたことでした。 それまでは「たぶん落ちる」「たぶん大丈夫」で話していました。000 が5個並ぶのを見た瞬間に、議論が終わりました。
「無停止」は、誰かが用意してくれる状態ではなく、自分で1つずつ塞いだ結果でした。
参考リンク
- roadmap.sh — Kubernetes
- Kubernetes 公式 — Deployment
- Kubernetes 公式 — Configure Liveness, Readiness and Startup Probes
- Kubernetes 公式 — Pod Lifecycle
- Kubernetes 公式 — Container Lifecycle Hooks
- Kubernetes 公式 — Service
- Kubernetes 公式 — Canary Deployments
- Kubernetes 公式 — kubectl rollout
- Argo Rollouts 公式ドキュメント
- Flagger 公式ドキュメント
- curl 公式 — マニュアルページ
次に読む
この記事は 【深掘り】Kubernetes の 11 / 15 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- readinessProbe と maxSurge / maxUnavailable
- Blue/Green とカナリア
この記事は、上の項目を実際に手を動かして確かめる回です。
コメント