無停止アップデートとProbe — 更新中に502が出る

Ingress 越しにブラウザで開いていたページを、更新の最中にリロードしました。

前回: Podのスケジューリング — 全部同じノードに載った

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこで「新しい版に入れ替わる」と一行で済ませたところを、実際に更新中のアクセスを取り続けて、落ちるところから直すところまで見る回です。

この記事のコマンドは、すべて VM の中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。 前提: 消したPodが戻ってくる — Kubernetes深掘り と PodのIPは翌日には変わる — Kubernetes深掘り を終えていること。Deployment と Service を自分で作れる状態から始めます。 ターミナルを2つ開けるようにしてください。 片方でアクセスを流し続けながら、もう片方で更新します。これができないと、この記事の山場は見えません。


502 Bad Gateway
nginx

数秒後にリロードしたら、普通に表示されました。壊れてはいません。更新が終わったからです。

自分はここで、はっきり勘違いをしていました。

「Kubernetes は無停止で入れ替えてくれる」

これは半分だけ本当でした。 Kubernetes は古い Pod を減らしながら新しい Pod を増やすという段取りまではやります。しかし「新しい Pod がもう客を受けられる状態か」は、何も設定しなければ判定していません。

前の回で、イメージを変えると新しい ReplicaSet が増えて、古いほうが 0 で残ることを見ました。あれは「戻せる」の話でした。 この回は「入れ替えている最中に、客が落ちないか」の話です。別の問題です。

無停止は、機能ではありません。設定です。 何も書かなければ、Kubernetes は「プロセスが起動した = 客を受けられる」と見なします。

そして、大抵のアプリは、プロセスが起動してから客を受けられるまでに時間がかかります。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • 「無停止で入れ替わる」は自動ではないこと。何も書かなければ、起動途中の Pod に客が回される
  • 更新中に落ちる原因は3つに分けられること。新しい側の問題・古い側の問題・アプリ自身の問題で、直し方がそれぞれ違う
  • readinessProbe / livenessProbe / startupProbe は、失敗したときの動作が全く違うこと。外す・殺す・待つ
  • livenessProbe を間違えると、正常なアプリが延々と再起動されること。付けるほど安全、ではない
  • maxSurge と maxUnavailable は「先に増やすか、先に減らすか」を決めていること。両方 0 は設定できない
  • Blue/Green もカナリアも、Kubernetes の機能ではないこと。Service のラベルの付け替えと、レプリカ数の比でできる
  • レプリカ数で作るカナリアは、正確な割合にはならないこと
  • アプリは戻せても、データベースのスキーマは戻らないこと。切り戻しを本当に成立させるには、先にスキーマを前方互換にしておく

この記事でやること

  1. curl を0.2秒ごとに叩き続けながら更新をかけて、エラーが出るのを実際に観測する
  2. readinessProbe を付けて、同じ更新でエラーが出なくなるのを確認する
  3. livenessProbe をわざと間違えて、再起動を繰り返す状態を作る
  4. maxSurge と maxUnavailable を 0 と 1 で入れ替えて、kubectl get pod -w で置き換わり方を見比べる
  5. preStop と終了猶予を付けて、止まる側で接続を切らない形にする
  6. Deployment を2つ用意して、Service の selector を書き換えるだけで Blue/Green とカナリアをやる
  7. 作ったものを全部片づける

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
ローリングアップデート古いのを少しずつ止めながら、新しいのを少しずつ足す入れ替え方。Deployment の既定
プローブKubernetes が Pod に定期的に投げる健康診断。HTTP を叩く・コマンドを実行する・TCP で繋ぐ、の3通り
Readyその Pod が客を受けられる状態だと Kubernetes が判断していること。kubectl get pod の READY 欄
エンドポイントService が実際に転送先として持っている Pod の IP の一覧。Ready でない Pod はここに載らない
maxSurge更新中に、指定した数より何個多く Pod を作ってよいか
maxUnavailable更新中に、指定した数より何個少なくてよいか
SIGTERMプロセスに「終わってください」と伝える合図。無視できる。無視され続けると SIGKILL(問答無用)が来る
preStopPod を止める直前に1回だけ実行される処理。ここで待つと、止まるまでの時間を稼げる
Blue/Green旧と新を丸ごと2組用意して、宛先を一気に切り替えるやり方
カナリア新しい版を少しだけ混ぜて様子を見るやり方。炭鉱のカナリアが語源
前方互換古いアプリでも、新しいスキーマのデータベースを読める状態。切り戻しが成立する条件

準備 — 落ちるアプリを用意する

素の nginx は起動が速すぎて、事故が再現しません。 起動に時間がかかるアプリを作ります。これは細工ではなく、現実のほうに寄せる作業です。 Java でも Rails でも、起動には十数秒かかります。

VM の中で作業用フォルダを作ります。

bash
$ mkdir -p ~/k8s-rollout
$ cd ~/k8s-rollout
$ nano web.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 4
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: web
          image: nginx:1.25
          command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
          ports:
            - containerPort: 80

command の行だけが普通と違います。

部分意味
sleep 1515秒、何もしない。起動に時間のかかるアプリのつもり
exec nginx -g 'daemon off;'そのあと nginx を前面で起動する。exec を付けるのは、nginx を PID 1 にして SIGTERM を直接受け取らせるため(あとで効きます)

exec を付けないと、sh が PID 1 のまま残ります。 Kubernetes が送る SIGTERM は PID 1 に届くので、sh が受け取って nginx には伝わりません。 「止めてもすぐ死なない」の典型的な原因がこれです。

Service も作ります。外から叩くために NodePort にします。

bash
$ nano web-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: web
spec:
  type: NodePort
  selector:
    app: web
  ports:
    - port: 80
      targetPort: 80
      nodePort: 30080
bash
$ kubectl apply -f web.yaml
$ kubectl apply -f web-svc.yaml
$ kubectl get pod

15秒ほど待ってから見ます。

NAME                   READY   STATUS    RESTARTS   AGE
web-5f9c7d8b64-2xkqp   1/1     Running   0          25s
web-5f9c7d8b64-7ntzv   1/1     Running   0          25s
web-5f9c7d8b64-hb4mw   1/1     Running   0          25s
web-5f9c7d8b64-qs8lr   1/1     Running   0          25s

繋ぐ先の IP を確認します。

bash
$ minikube ip
192.168.49.2

この IP は環境ごとに違います。 以降の 192.168.49.2 は、自分の環境の値に読み替えてください。

bash
$ curl -s -o /dev/null -w "%{http_code}\n" http://192.168.49.2:30080/
200

200 が返れば準備完了です。 返らないときは、kubectl get pod の READY が 1/1 になるまで待ってください。

更新中に落ちるところを、自分の目で見る

ここが、この記事で一番大事なところです。 「たぶん落ちる」ではなく、落ちるのを見ます。

見張りを置く

1つ目のターミナルで、これを走らせ続けます。

bash
$ while true; do curl -s -o /dev/null -m 1 -w "%{http_code}\n" http://192.168.49.2:30080/; sleep 0.2; done
オプション意味
-s進捗表示を出さない
-o /dev/null本文は捨てる。今回は HTTP のステータスだけ見たい
-m 11秒で諦める。これが無いと、繋がらないときに長く待ってしまって0.2秒間隔にならない
-w "%{http_code}\n"返ってきたステータスコードだけを表示する
sleep 0.20.2秒おき。1秒に5回叩く

200 が縦にずらずら並びます。止めるのは Ctrl + C。

そのまま、更新をかける

2つ目のターミナルで、イメージを差し替えます。

bash
$ kubectl set image deployment/web web=nginx:1.27

1つ目のターミナルを見てください。

200
200
200
000
000
000
000
000
200
000
000
200
200
200

000 が出ます。

000 は「HTTP のステータスが返ってこなかった」という意味です。 curl はサーバーから応答を受け取れていません。繋がらなかったか、繋がった直後に切られたかのどちらかです。

[スクリーンショット: 01_更新中のエラー.png] curl を流し続けているターミナルで、200 の列に 000 が混ざっているところを撮ってください。2つのターミナルが並んで写っていると、何をした結果か分かりやすくなります。

冒頭の 502 は、これと同じ現象です。 直接叩くと「繋がらない(000)」、間に nginx などのリバースプロキシがいると、プロキシが「後ろに繋がりません」と言うので 502 になります。ポート番号を隠す — nginxのリバースプロキシ でやったのと同じ構図です。

なぜ落ちたのかを、3つに分ける

ここを一括りに「更新すると落ちる」で片づけると、直せません。 原因は3つあり、それぞれ直す場所が違います。

#何が起きたか直す場所
①新しい Pod が客を受けられる前に、古い Pod を止めたreadinessProbe
②古い Pod を止めるとき、処理中の接続を切ったpreStop と終了猶予
③アプリの起動そのものが遅いstartupProbe と、そもそもの起動時間

今回いま起きたのは、ほぼ全部が①です。

理由を確かめます。新しい Pod が起動した直後の状態を見ます。

bash
$ kubectl set image deployment/web web=nginx:1.25
$ kubectl get pod

更新をかけた直後(15秒経つ前)に打つと、こうなります。

NAME                   READY   STATUS    RESTARTS   AGE
web-5f9c7d8b64-2xkqp   1/1     Running   0          6m
web-5f9c7d8b64-hb4mw   1/1     Running   0          6m
web-6c8d5f7a91-jv4nk   1/1     Running   0          3s
web-6c8d5f7a91-x7pmd   1/1     Running   0          3s

生まれて3秒の Pod が、もう READY 1/1 になっています。

中では sleep 15 が走っていて、nginx はまだ1行も動いていません。 それでも READY です。

何も書かないと、READY の判定は「コンテナのプロセスが起動したか」だけです。 中のアプリが客を受けられるかは、見ていません。

Service の宛先を見ると、はっきりします。

bash
$ kubectl get endpoints web
NAME   ENDPOINTS                                                     AGE
web    10.244.0.12:80,10.244.0.15:80,10.244.0.18:80,10.244.0.19:80   6m

4つ載っています。まだ nginx が起動していない Pod の IP も、この中にいます。 Service は Ready な Pod を宛先にするので、「Ready の判定が甘い」ことが、そのまま「死んだ宛先に客を送る」ことになっていました。

Kubernetes は嘘をついていませんでした。 こちらが「Ready とは何か」を一度も教えていなかっただけです。

readinessProbe で直す

まず、3つのプローブの違いを整理する

ここを混ぜたまま設定すると、必ず事故ります。 自分は liveness と readiness を同じものだと思っていました。全く違います。

プローブ失敗すると何が起きるか一言で付け忘れると
readinessProbeService の宛先(エンドポイント)から外される。 コンテナは動いたまま外す起動途中の Pod に客が来る(今回のこれ)
livenessProbeコンテナが再起動される殺す固まったアプリが、動いているままになる
startupProbe成功するまで、上の2つを開始させない。失敗し続けるとコンテナが再起動される待つ起動の遅いアプリが、livenessProbe に殺される

もう一段、噛み砕きます。

readiness は「いま客を回してよいか」。だめなら、外すだけで、Pod は生きています。回復したら自動で戻ります。 liveness は「もう見込みがないか」。だめなら、殺して作り直します。 取り返しがつきません。 startup は「まだ起動中か」。 起動が遅いアプリのために、他の2つを黙らせておく係です。

迷ったら readinessProbe だけを付けてください。 外すだけなので、間違えても被害が小さいからです。livenessProbe は、間違えると自分でアプリを殺します(次の節で作ります)。

readinessProbe を書く

bash
$ nano web.yaml

containers の中に足します。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 4
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: web
          image: nginx:1.25
          command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
          ports:
            - containerPort: 80
          readinessProbe:
            httpGet:
              path: /
              port: 80
            initialDelaySeconds: 2
            periodSeconds: 2
            failureThreshold: 3

1行ずつ、何を言っているかです。

行意味
httpGet.path: /自分自身の / を GET する。200〜399 が返れば成功
httpGet.port: 80コンテナの中のポート。Service のポートではありません
initialDelaySeconds: 2起動してから2秒待って、最初の1回を投げる
periodSeconds: 22秒おきに投げ続ける
failureThreshold: 33回続けて失敗したら「Ready ではない」と判定する

readinessProbe は、Ready になったあとも投げ続けます。 途中でアプリが応答しなくなれば、そこで宛先から外れます。 一度きりの起動チェックではありません。

httpGet 以外の書き方も2つあります。

書き方使う場面
httpGetWeb アプリなら基本これ。中身まで動いていることを確かめられる
tcpSocketHTTP を喋らないもの(データベースなど)。ポートが開いているかだけ
execコンテナの中でコマンドを走らせて、終了コード 0 なら成功。他の2つで無理なとき

同じ更新を、もう一度かける

1つ目のターミナルの curl は流したままにしてください。

bash
$ kubectl apply -f web.yaml

まず、この apply 自体が更新(ロールアウト)です。 readinessProbe を足したので、型紙が変わっています。

見ていると、こうなります。

200
200
200
200
200
200
200
200
200
200

000 が出ません。

[スクリーンショット: 02_readiness後.png] readinessProbe を付けたあとの更新中の curl の出力で、200 だけが並んでいるところを撮ってください。01 と並べると差が伝わります。

進み具合も、明らかに変わります。

bash
$ kubectl rollout status deployment/web
Waiting for deployment "web" rollout to finish: 2 out of 4 new replicas have been updated...
Waiting for deployment "web" rollout to finish: 3 out of 4 new replicas have been updated...
deployment "web" successfully rolled out

さっきより明らかに時間がかかります。 これで正常です。

速く終わっていたのは、優秀だったからではありません。 確認していなかったからです。

念のため、更新中に READY を見ておきます。別のターミナルで更新をかけながら打つと、こうなります。

NAME                   READY   STATUS    RESTARTS   AGE
web-5f9c7d8b64-2xkqp   1/1     Running   0          12m
web-5f9c7d8b64-hb4mw   1/1     Running   0          12m
web-7a4b9e2c15-fq6rt   0/1     Running   0          4s
web-7a4b9e2c15-m3wzd   0/1     Running   0          4s

0/1 Running です。 さっきは 1/1 でした。

Running なのに Ready ではない。 この状態が正しく表現されるようになりました。Service の宛先にも、この2つは入っていません。

bash
$ kubectl get endpoints web
NAME   ENDPOINTS                             AGE
web    10.244.0.12:80,10.244.0.15:80         12m

古い2つだけです。 客は全員そちらに行きます。これが「無停止」の実体でした。

livenessProbe を間違えて、再起動を繰り返させる

「じゃあ liveness も付ければもっと安全だろう」と考えて、ひどい目に遭いました。 再現します。

bash
$ nano web-bad-liveness.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-bad
spec:
  replicas: 1
  selector:
    matchLabels:
      app: web-bad
  template:
    metadata:
      labels:
        app: web-bad
    spec:
      containers:
        - name: web
          image: nginx:1.25
          command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
          livenessProbe:
            httpGet:
              path: /healthz
              port: 80
            initialDelaySeconds: 3
            periodSeconds: 3
            failureThreshold: 2

間違いを2つ、わざと入れています。

  1. path: /healthz は、nginx には存在しません。 404 が返ります。プローブは 200〜399 しか成功と見なしません
  2. initialDelaySeconds: 3 なのに、アプリは15秒かけて起動します。 起動しきる前に殴られます
bash
$ kubectl apply -f web-bad-liveness.yaml

1分ほど放置してから見ます。

bash
$ kubectl get pod -l app=web-bad
NAME                       READY   STATUS    RESTARTS      AGE
web-bad-64d7f9b8c5-plx2j   0/1     Running   4 (12s ago)   82s

RESTARTS が増え続けています。

[スクリーンショット: 03_再起動ループ.png] kubectl get pod -l app=web-bad を1分ほど間を空けて2回打ち、RESTARTS の数字が増えているところを撮ってください。

理由を、Pod 自身に語らせます。

bash
$ kubectl describe pod -l app=web-bad

末尾の Events だけ見れば十分です。

Events:
  Type     Reason     Age                    From     Message
  ----     ------     ----                   ----     -------
  Warning  Unhealthy  20s (x8 over 68s)      kubelet  Liveness probe failed: HTTP probe failed with statuscode: 404
  Normal   Killing    20s (x4 over 62s)      kubelet  Container web failed liveness probe, will be restarted
  Normal   Pulled     19s (x5 over 82s)      kubelet  Container image "nginx:1.25" already present on machine

will be restarted と、はっきり書いてあります。

このアプリは壊れていません。 sleep 15 のあと nginx は正常に起動します。起動しきる前に殺されているので、永遠に起動が終わりません。

livenessProbe は、直すためのものではありません。 「もう回復しないから作り直す」という、最後の手段です。 回復途中のものに向けると、回復を妨害します。

このまま放っておくと、STATUS が CrashLoopBackOff に近い挙動になります。Kubernetes は再起動の間隔を少しずつ延ばして(10秒、20秒、40秒…)、暴走を抑えます。 これが BackOff の意味です。

直し方は2通りあります。

直し方書くこと
initialDelaySeconds を伸ばすinitialDelaySeconds: 30 のように、起動時間より長くする
startupProbe を使う起動が終わるまで liveness を黙らせる。こちらが本筋

startupProbe はこう書きます。

          startupProbe:
            httpGet:
              path: /
              port: 80
            periodSeconds: 3
            failureThreshold: 20

periodSeconds × failureThreshold が、許される起動時間です。 ここでは 3 × 20 = 60秒。60秒以内に一度でも成功すれば、そこから liveness と readiness が動き出します。

initialDelaySeconds を伸ばすやり方の弱点は、「本当に死んだとき」の発見も遅くなることです。 startupProbe なら、起動が終わった瞬間から liveness が普通の間隔で見張ります。 起動は気長に、稼働中は厳しく、を両立できます。

壊れたほうは、ここで消します。

bash
$ kubectl delete -f web-bad-liveness.yaml

maxSurge と maxUnavailable — 先に増やすか、先に減らすか

readinessProbe で客は落ちなくなりましたが、「どういう順番で入れ替わるか」はまだ触っていません。 ここは2つの数字で決まります。

spec:
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
設定意味
maxSurgereplicas より、いくつ多く作ってよいか。1 なら 4 のところ一時的に 5 まで
maxUnavailablereplicas より、いくつ少なくてよいか。0 なら、常に4つ Ready を保つ

書かないと、どちらも 25% です。 replicas: 4 なら、切り上げ・切り捨てで maxSurge: 1 / maxUnavailable: 1 相当になります。

maxSurge: 1 / maxUnavailable: 0 を見る

web.yaml の spec:(replicas と同じ深さ)に strategy を足します。

bash
$ nano web.yaml
spec:
  replicas: 4
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app: web

1つ目のターミナルを、curl から見張りに切り替えます。

bash
$ kubectl get pod -w

2つ目のターミナルで適用し、続けてイメージを変えます。

bash
$ kubectl apply -f web.yaml
$ kubectl set image deployment/web web=nginx:1.27

見張り側に、こう流れます(抜粋)。

web-7a4b9e2c15-fq6rt   1/1   Running             0     3m
web-9d2f6a8b73-kc5vn   0/1   Pending             0     0s
web-9d2f6a8b73-kc5vn   0/1   ContainerCreating   0     0s
web-9d2f6a8b73-kc5vn   0/1   Running             0     2s
web-9d2f6a8b73-kc5vn   1/1   Running             0     17s
web-7a4b9e2c15-fq6rt   1/1   Terminating         0     3m

順番を読んでください。

  1. 新しい Pod が生まれる(0/1)
  2. 17秒後に 1/1 になる(readinessProbe が通った)
  3. そのあとで、古い Pod が Terminating になる

「増えてから、減る」です。 だから客が落ちません。maxUnavailable: 0 が効いています。

[スクリーンショット: 04_surge先行.png] kubectl get pod -w の出力で、新しい Pod が 1/1 になった行のあとに、古い Pod の Terminating が来ているところを撮ってください。

maxSurge: 0 / maxUnavailable: 1 に変えて見る

bash
$ nano web.yaml
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 0
      maxUnavailable: 1
bash
$ kubectl apply -f web.yaml
$ kubectl set image deployment/web web=nginx:1.25

見張り側の流れが、ひっくり返ります。

web-9d2f6a8b73-kc5vn   1/1   Terminating         0     4m
web-3e7c1d5f92-txb8q   0/1   Pending             0     0s
web-3e7c1d5f92-txb8q   0/1   ContainerCreating   0     1s
web-3e7c1d5f92-txb8q   0/1   Running             0     3s
web-3e7c1d5f92-txb8q   1/1   Running             0     18s

先に古いのが消えて、それから新しいのが生まれています。

このとき、Ready な Pod は一時的に3つです。 4つ分の負荷が3つに来ます。客が落ちるわけではありませんが、混んでいる時間帯にやると、残った3つが押し潰されます。

組み合わせの意味を、表で

maxSurgemaxUnavailable何が起きるか使う場面
10増やしてから減らす。 Ready な数が減らない客がいる本番。基本これ
01減らしてから増やす。 一時的に容量が減るノードに空きが無いとき。資源が足りない環境
25%25%両方少しずつ。既定値何も考えないとこれになる
replicas と同数0全部一気に作ってから、全部消すほぼ Blue/Green。資源が2倍要る
00設定できない—

両方 0 は、その場で弾かれます。 やってみます。

bash
$ nano web-stuck.yaml

web.yaml をコピーして、名前を web-stuck、maxSurge と maxUnavailable を両方 0 にします。

bash
$ kubectl apply -f web-stuck.yaml
The Deployment "web-stuck" is invalid: spec.strategy.rollingUpdate.maxUnavailable: Invalid value: intstr.IntOrString{Type:0, IntVal:0, StrVal:""}: may not be 0 when maxSurge is 0

理屈は単純です。 増やしてもいけない、減らしてもいけない。 それでは1つも入れ替えられません。永久に終わらない更新になるので、Kubernetes 側が先に禁止しています。

preStop と終了の猶予 — 止まる側で切らない

原因の②が残っています。「古い Pod を止めるとき、処理中の接続を切った」です。

ここは、自分がいちばん誤解していたところでした。

Pod を消すとき、「Service の宛先から外す」処理と「コンテナに SIGTERM を送る」処理は、順番に実行されません。 ほぼ同時に、別々の場所で走ります。

宛先から外すのは、各ノードの kube-proxy が、エンドポイントの変更を受け取ってから転送規則を書き換える作業です。数百ミリ秒かかります。 SIGTERM を送るのは、そのノードの kubelet が即座にやります。

この差の間に来た客が、死んだ Pod に送られます。 これが 000 の残りの正体でした。

型を書く

bash
$ nano web.yaml
    spec:
      terminationGracePeriodSeconds: 30
      containers:
        - name: web
          image: nginx:1.25
          command: ["sh", "-c", "sleep 15; exec nginx -g 'daemon off;'"]
          ports:
            - containerPort: 80
          lifecycle:
            preStop:
              exec:
                command: ["sh", "-c", "sleep 5"]
          readinessProbe:
            httpGet:
              path: /
              port: 80
            initialDelaySeconds: 2
            periodSeconds: 2
            failureThreshold: 3

terminationGracePeriodSeconds は containers の外(Pod の spec 直下)です。lifecycle は containers の中です。この階層を間違えると、静かに無視されます。

止めるときの手順は、こうなりました。

順何が起きるか
1kubectl delete などで、Pod に削除の印が付く
2同時に2つ走る: ⓐ エンドポイントから外す処理 / ⓑ preStop の実行
3preStop の sleep 5 が終わるまで、SIGTERM は送られない。その間にⓐが終わる
4SIGTERM が PID 1(nginx)に届く。nginx は処理中の応答を返してから終わる
51 から数えて30秒経っても終わらなければ、SIGKILL(問答無用)

terminationGracePeriodSeconds は「preStop のあと」からではなく、「削除が始まってから」の合計です。 preStop で25秒待つと、アプリが後始末に使える時間は5秒しか残りません。preStop の待ち時間は、猶予より十分短くします。

数字の決め方は、こうしました。

値決め方
preStop の sleepエンドポイントから外れるのに十分な時間。5秒から始めて足りなければ増やす
terminationGracePeriodSecondspreStop + いちばん長いリクエストの処理時間 + 余裕。既定は 30
bash
$ kubectl apply -f web.yaml
$ kubectl set image deployment/web web=nginx:1.27

curl を流しながらやっても 200 のままです。 ここは、readinessProbe だけのときと見た目が変わりません。

正直に書きます。この差は、この規模では見えませんでした。 nginx で静的なページを返しているだけなので、切られて困る「処理中のリクエスト」がありません。

preStop の効果が出るのは、1リクエストに数秒かかるアプリです。 見えないからといって要らないのではなく、この教材では差が出ない、というだけです。

それでも exec の話(PID 1)だけは、いま確かめられます。

bash
$ kubectl get pod -l app=web -o name | head -1
pod/web-8b5c3a7d61-w9klv
bash
$ kubectl exec web-8b5c3a7d61-w9klv -- ps -o pid,comm
PID COMMAND
  1 nginx
 30 ps

PID 1 が nginx です。 exec を書いたおかげで、SIGTERM が nginx に直接届きます。ここが sh になっていると、SIGTERM は sh が受けて握り潰され、30秒後に SIGKILL で殺されます。 「削除がいつも30秒かかる」ときは、まずこれを疑います。

rollout pause と resume — 途中で止める

更新を、途中で止められます。

bash
$ kubectl rollout pause deployment/web

止めた状態で変更をかけても、何も起きません。

bash
$ kubectl set image deployment/web web=nginx:1.25
$ kubectl get rs
NAME             DESIRED   CURRENT   READY   AGE
web-3e7c1d5f92   0         0         0       25m
web-8b5c3a7d61   4         4         4       12m

新しい ReplicaSet が作られていません。 変更は Deployment に記録されただけです。

bash
$ kubectl rollout status deployment/web
Waiting for deployment "web" rollout to finish: 0 out of 4 new replicas have been updated...

返ってきません。 Ctrl + C で抜けます。

再開します。

bash
$ kubectl rollout resume deployment/web
$ kubectl rollout status deployment/web
deployment "web" successfully rolled out

使いどころは2つありました。

使い方何のため
先に止めてから、複数の変更をまとめるイメージと環境変数を別々に変えるとロールアウトが2回走る。止めてから両方変えて再開すれば1回で済む
走っている最中に止める「1つ目だけ新しい版にして、様子を見る」ができる。これがカナリアの原型

2つ目を、実際にやってみます。

bash
$ kubectl set image deployment/web web=nginx:1.27
$ kubectl rollout pause deployment/web
$ kubectl get pod -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.containers[0].image}{"\n"}{end}'
web-8b5c3a7d61-2fpqw   nginx:1.25
web-8b5c3a7d61-w9klv   nginx:1.25
web-8b5c3a7d61-x4nrd   nginx:1.25
web-9f1a2c6e48-ht7bs   nginx:1.27

4つのうち1つだけが新しい版です。 この状態で止まっています。客の4分の1が新しい版に当たっています。

問題なければ再開、まずければ戻します。

bash
$ kubectl rollout resume deployment/web
bash
$ kubectl rollout undo deployment/web

止めたまま undo すると、you cannot rollback a paused deployment; resume it first with 'kubectl rollout resume' and try again と拒否されます。 resume してから undo してください。 ここで一度、拒否されて焦りました。

これは「手動カナリア」です。 割合が 1/4 に固定されるうえ、自分で見張っていないといけません。 次の節で、もう少しまともな形にします。

Blue/Green とカナリアを、Service のラベルで作る

Kubernetes に「Blue/Green」というリソースはありません。「カナリア」もありません。

あるのは、これだけです。

Service は、selector に書いたラベルに一致する Pod へ客を送る。

この1つで、両方できます。 ここが、この記事で一番おもしろかったところでした。

Blue/Green — 宛先を丸ごと切り替える

Deployment を2つ用意します。 名前もラベルも違いますが、共通のラベル app: web-bg を両方に付けます。

bash
$ nano bg.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-blue
spec:
  replicas: 2
  selector:
    matchLabels:
      app: web-bg
      version: blue
  template:
    metadata:
      labels:
        app: web-bg
        version: blue
    spec:
      containers:
        - name: web
          image: nginx:1.25
          ports:
            - containerPort: 80
          readinessProbe:
            httpGet:
              path: /
              port: 80
            periodSeconds: 2
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-green
spec:
  replicas: 2
  selector:
    matchLabels:
      app: web-bg
      version: green
  template:
    metadata:
      labels:
        app: web-bg
        version: green
    spec:
      containers:
        - name: web
          image: nginx:1.27
          ports:
            - containerPort: 80
          readinessProbe:
            httpGet:
              path: /
              port: 80
            periodSeconds: 2

--- は、1つのファイルに複数のリソースを書くときの区切りです。

ラベルの設計が全てです。

ラベル役割
app: web-bgどちらの Deployment にも付く。「このアプリの仲間」という印
version: blue / greenどちらの組かを区別する。Service はこれを見て切り替える

Service は、version まで指定します。

bash
$ nano bg-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: web-bg
spec:
  type: NodePort
  selector:
    app: web-bg
    version: blue
  ports:
    - port: 80
      targetPort: 80
      nodePort: 30081
bash
$ kubectl apply -f bg.yaml
$ kubectl apply -f bg-svc.yaml
$ kubectl get pod -l app=web-bg
NAME                         READY   STATUS    RESTARTS   AGE
web-blue-6f8d4c2b91-jr5tq    1/1     Running   0          30s
web-blue-6f8d4c2b91-vn7wz    1/1     Running   0          30s
web-green-7c9e5a3f42-h2mkp   1/1     Running   0          30s
web-green-7c9e5a3f42-q8xdc   1/1     Running   0          30s

4つ動いています。うち2つ(green)は、誰からもアクセスされていません。

bash
$ kubectl get endpoints web-bg
NAME     ENDPOINTS                        AGE
web-bg   10.244.0.31:80,10.244.0.32:80    45s

2つだけです。blue の2つ。 green はまだ宛先に入っていません。

どちらが返しているかを、バージョンで確かめます。

bash
$ curl -sI http://192.168.49.2:30081/ | grep -i server
Server: nginx/1.25.5

blue です。

切り替えます。

bash
$ kubectl patch service web-bg -p '{"spec":{"selector":{"app":"web-bg","version":"green"}}}'
service/web-bg patched
bash
$ curl -sI http://192.168.49.2:30081/ | grep -i server
Server: nginx/1.27.4

一瞬で変わりました。

[スクリーンショット: 05_bluegreen切替.png] patch の前後で curl -sI ... | grep -i server を打ち、nginx/1.25 から nginx/1.27 に変わっているところを撮ってください。

戻すのも一瞬です。

bash
$ kubectl patch service web-bg -p '{"spec":{"selector":{"app":"web-bg","version":"blue"}}}'

ローリングの rollout undo は、Pod を4つ作り直します。数十秒かかります。 Blue/Green の切り戻しは、Service の1行を書き換えるだけです。Pod は最初から動いています。

これが Blue/Green の全てです。 代わりに払っているものが、はっきりしています。

常に2倍の Pod が動いています。 2倍の CPU とメモリを使います(requestsとlimits — Kubernetes深掘り でやった requests の話が、そのまま2倍になります)。「切り戻しの速さを、資源で買っている」と言えます。

もう1つ、忘れていた落とし穴があります。 切り替えた瞬間、blue に繋ぎっぱなしだった接続は切れます。 Service の転送先が変わるだけで、既存の接続に「移ってください」とは言えません。 「無停止」と言い切れるのは、リクエストが短い場合だけです。

カナリア — 割合はレプリカ数の比で作る

Blue/Green は全部か、ゼロかでした。 カナリアは、少しだけ混ぜます。

やることは1つだけです。

Service の selector から version を消す。

そうすると、app: web-bg が付いた Pod が全部、宛先になります。 blue も green も混ざります。

bash
$ nano canary-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: web-bg
spec:
  type: NodePort
  selector:
    app: web-bg
  ports:
    - port: 80
      targetPort: 80
      nodePort: 30081

あとは、レプリカ数の比で割合を作ります。 安定版9、新版1で「約10%」です。

bash
$ kubectl apply -f canary-svc.yaml
$ kubectl scale deployment/web-blue --replicas=9
$ kubectl scale deployment/web-green --replicas=1

全部 Running になるまで待ってから、100回叩いて数えます。

bash
$ for i in $(seq 100); do curl -sI http://192.168.49.2:30081/ | grep -i '^server' ; done | sort | uniq -c
     87 Server: nginx/1.25.5
     13 Server: nginx/1.27.4

約10%になりました。 ただし 87 対 13 です。

ここが重要でした。

9 : 1 にしても、ぴったり 90:10 にはなりません。

理由は3つありました。

理由中身
① 振り分けは確率kube-proxy は宛先をランダムに選んでいます。順番に回しているのではありません。100回なら、10前後にばらつきます
② 刻みが粗い1% を作るには、Pod が100個必要です。 レプリカ数の比でしか割合を作れません
③ 接続が固定されるブラウザは接続を使い回します(keep-alive)。一度 green に繋がった人は、しばらく green のままです。「1割の人が1割の確率で当たる」ではなく、「1割の人がずっと当たる」に近くなります

③ を、自分は完全に見落としていました。 上のように curl を毎回新しく起動すると①の話になりますが、実際のブラウザは接続を保ち続けます。 「10%だから被害も10%」ではなく、「その10%の人には、ずっと壊れた版が出続ける」わけです。

そして、いちばん大事なことです。

ここまでの手順に、「異常を見つけたら自動で止める」仕組みは一切ありません。 自分でグラフを見ていて、自分で kubectl scale を打つ必要があります。

戻すのは速いです。

bash
$ kubectl scale deployment/web-green --replicas=0

green を 0 にすれば、宛先から消えます。 Deployment は残っているので、1 に戻せばまた混ざります。

3つを、表で比べる

ローリングBlue/Greenカナリア
やり方Deployment 標準。set image するだけDeployment 2つ + Service の selector 切替Deployment 2つ + レプリカ数の比
切り戻しの速さ数十秒(Pod を作り直す)一瞬(1行書き換え)速い(新版を 0 にする)
必要な資源maxSurge の分だけ余分(1個分など)2倍新版の Pod の分だけ(1個分など)
複雑さ低い。既定で動く中。YAML が2つ、ラベル設計が要る高い。割合の管理と異常の観測が必須
問題に気づける割合更新が進むほど全員に広がる切り替えた瞬間、全員一部だけで済む。ここが最大の利点
向いている場面普段の更新。まずこれ失敗したら即戻したい大きな変更本番でしか分からない性能・エラー率を見たいとき

普段はローリングで十分でした。 readinessProbe を付けて maxUnavailable: 0 にすれば、客は落ちません。Blue/Green とカナリアは、「戻す速さ」と「気づける範囲」を、資源と手間で買うやり方です。

本格的にやるなら

上のカナリアには、決定的に足りないものがありました。

  • 割合が粗い(Pod の数でしか刻めない)
  • 異常を見て自動で止める仕組みが無い
  • 手順が全部、手打ちのコマンド

この3つを埋める道具があります。名前だけ挙げておきます。

道具何をするもの
Argo RolloutsDeployment の代わりに使うリソース。カナリアの段階(10% → 30% → 100%)と待ち時間を YAML に書ける
Flagger同じくカナリアの自動化。指標が悪化したら自動で切り戻すところまでやる

どちらも「指標を見て、自動で判断する」ことが前提です。 つまり、先に監視が要ります。 そこが無いまま入れても、手で見ていたものが、見なくなるだけです。

そして、これらの道具はどれも「Git に書いた通りにする」流儀と組み合わせて使います。 その話は本線の 手で直した設定は勝手に戻る — ArgoCDでGitOps で扱います。この記事でやった kubectl patch や kubectl scale は、あそこで全部「やってはいけないこと」になります。

いまの段階では、名前を知っていれば十分です。 手で一度やっていないと、自動化されたものが何を代行しているのか分かりません。

アプリは戻せても、データベースは戻らない

ここまで全部やっても、まだ落とし穴が残っています。 これが、この記事でいちばん怖い部分です。

rollout undo も、Blue/Green の切り替えも、戻すのは Pod だけです。

データベースのスキーマは、戻りません。

具体的に、こういう事故になります。

順やったこと結果
1マイグレーションで、users の name 列を消して full_name に改名DB が新しい形になる
2新しいアプリを出す動く
3新しいアプリにバグが見つかる
4kubectl rollout undoアプリだけ古い版に戻る
5古いアプリが SELECT name FROM users を実行列が無い。全部落ちる

「戻せる」と思っていたのに、戻したら悪化しました。

原則は1つです。

古い版のアプリでも動く形にしてから、アプリを更新する。 これを「前方互換にしておく」と言います。

やり方は、1回の変更を2回に分けることです。

段階やることこのとき動くアプリ
①足すfull_name 列を追加する。name は消さない。両方に書く旧も新も動く
②移すアプリを新しい版にする。full_name を読む旧も新も動く(name はまだある)
③消す新しい版が安定してから、name を消す新のみ

②の時点で切り戻せば、旧アプリは name を読めます。 ③をやったあとは、もう切り戻せません。 だから③は、切り戻す気が無くなってからやります。

もう1つ、同じ形の事故があります。

ALTER TABLE users ADD COLUMN age INT NOT NULL;

NOT NULL を、既定値なしで足すと、既存の行が値を持てません。 さらに、古いアプリはこの列の存在を知らないので、INSERT のときに値を入れません。 結果、古いアプリが動いている間、書き込みが全部失敗します。

足すときは、必ずこうします。

ALTER TABLE users ADD COLUMN age INT NULL DEFAULT NULL;

空でもよい形で足す。 これも前方互換の一種です。

マイグレーションそのものの扱いは、本線の ALTER TABLE を手で打たない — ORMとマイグレーション と、深掘りの ALTER TABLEは取り消せない — SQL深掘り にあります。この記事の結論は、そこと繋がります。

「切り戻せる」は、アプリだけの話です。 データを触る変更は、切り戻せる形に自分で設計しないと、切り戻せません。

つまずいたところ

1. 「無停止」を Kubernetes の機能だと思っていた

本線を書いた時点で、「Deployment にすれば無停止で更新される」と信じていました。 実際に curl を回しながら更新して 000 が並んだとき、設定を間違えたのだと思って YAML を何度も読み返しました。

間違いは無く、何も設定していなかっただけでした。 Kubernetes は「起動した = Ready」で動いていて、それを疑うべきだと気づくのに時間がかかりました。

教訓は、機能の説明を読んだだけで確かめなかったことです。 curl を回すのは5秒の作業でした。それをやっていれば、最初から分かっていました。

2. readinessProbe と livenessProbe を同じものだと思っていた

「どちらもヘルスチェックでしょう」と思って、両方に同じ path と同じ設定を書いていました。 それ自体は動きますが、意味が違うことに気づいていませんでした。

はっきり分かれたのは、livenessProbe だけを付けた Pod が再起動を繰り返したときです。readinessProbe なら、同じ設定でも外れるだけで生きていました。

失敗したときに何が起きるかで区別する。 外す(readiness)/殺す(liveness)/待つ(startup)。投げる中身ではなく、失敗の扱いが違う。

3. livenessProbe の path を /healthz にして、存在しなかった

「ヘルスチェックといえば /healthz」という思い込みで書きました。nginx にそんなパスはありません。 404 が返り、プローブは 404 を失敗と見なします。

kubectl describe pod の Events に HTTP probe failed with statuscode: 404 と書いてあったのに、しばらく Warning を読み飛ばしていました。 describe は末尾の Events から読む、を体で覚えました。

4. initialDelaySeconds が起動時間より短くて、永久に起動しなかった

initialDelaySeconds: 3 に対して、アプリの起動は15秒。起動しきる前に殺され、また15秒かけて起動しようとして、また殺される。

RESTARTS が増え続けるのに、ログには異常が何も無いという状態で、アプリのせいだと思って中を調べていました。 犯人は自分が書いたプローブでした。

RESTARTS が増えているときは、まずログではなく describe の Events を見る、が正しい順番でした。

5. strategy を書く場所を間違えて、静かに無視された

strategy を template.spec の下(コンテナと同じ深さ)に書いてしまいました。エラーが出ません。 apply は通り、configured と出ます。

でも maxSurge が効いていません。 効いていないことに気づいたのは、kubectl get pod -w の順番が変わらなかったからでした。

確かめ方は、これでした。

bash
$ kubectl get deploy web -o jsonpath='{.spec.strategy}'
{"rollingUpdate":{"maxSurge":1,"maxUnavailable":0},"type":"RollingUpdate"}

ここに出ていなければ、書いた場所が違います。 「apply が通った」は「設定が効いた」ではありませんでした。

6. pause したまま undo して、拒否されて焦った

カナリアの実験で rollout pause したあと、そのまま kubectl rollout undo を打ちました。 error: you cannot rollback a paused deployment; resume it first with 'kubectl rollout resume' and try again と拒否されました。

止めてあるので、当然でした。 resume してから undo すれば動きます。

kubectl rollout status を打てば paused だと分かります。 何も起きないときは、まず状態を聞く。「打ったコマンドが正しいか」より先に「いまどうなっているか」でした。

7. カナリアの割合を、100回叩いて 90:10 になると思っていた

9 : 1 にして100回叩いて、87:13 を見て「設定が間違っている」と思いました。

間違っていません。ランダムに選んでいるので、ばらつきます。 さらにブラウザだと接続を使い回すので、もっと偏ります。

「割合で出す」と言ったとき、それが確率なのか、確実な比率なのかを区別していませんでした。 レプリカ数で作るカナリアは確率です。確実な比率が要るなら、Ingress やサービスメッシュ側で重みを付けます(EXTERNAL-IPがpendingのまま — Kubernetes深掘り と サーキットブレーカを自分で書かない — サービスメッシュ)。

後片づけ

作ったものを全部消します。

bash
$ cd ~/k8s-rollout
$ kubectl delete -f web.yaml
$ kubectl delete -f web-svc.yaml
$ kubectl delete -f bg.yaml
$ kubectl delete -f canary-svc.yaml
deployment.apps "web" deleted
service "web" deleted
deployment.apps "web-blue" deleted
deployment.apps "web-green" deleted
service "web-bg" deleted

web-bad-liveness.yaml は途中で消していますが、残っていたらこれも消します。

bash
$ kubectl delete -f web-bad-liveness.yaml --ignore-not-found

--ignore-not-found は、もう無いときにエラーを出さないオプションです。

残っていないか確認します。

bash
$ kubectl get deploy,rs,pod,svc
NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   4h

service/kubernetes だけが残っていれば片づいています。 これはクラスタ自身のもので、消しません。

curl の無限ループを止め忘れないでください。 1つ目のターミナルで Ctrl + C です。そのまま閉じても止まりますが、閉じ忘れると 000 を延々と吐き続けます。

minikube ごと止めるなら、こうです。

bash
$ minikube stop

消さずに止めるだけなので、次回 minikube start で続きから使えます。

まとめ

理解できたこと。

  • 「無停止で入れ替わる」は自動ではない。 何も書かないと Kubernetes は「プロセスが起動した = 客を受けられる」と見なし、起動途中の Pod に客を回す
  • 更新中に落ちる原因は3つに分けられる。 ①新しい側が準備できる前に古いのを止めた(readinessProbe)/②古い側で接続を切った(preStop)/③起動が遅い(startupProbe)。直す場所が違う
  • 3つのプローブは、失敗したときの動作で区別する。 readiness は外す、liveness は殺す、startup は待つ。迷ったら readiness だけ付ける。外すだけなので被害が小さい
  • livenessProbe は間違えると自分でアプリを殺す。 存在しない path や、短すぎる initialDelaySeconds で、正常なアプリが延々と再起動される
  • maxSurge / maxUnavailable は「先に増やすか、先に減らすか」。 maxSurge: 1 / maxUnavailable: 0 が、客のいる場面の基本。両方 0 は設定できない
  • Pod を止めるとき、「宛先から外す」と「SIGTERM を送る」は同時に走る。 その隙間を preStop の待ち時間で埋める。terminationGracePeriodSeconds は削除開始からの合計で、preStop の分も含む
  • exec を付けないと sh が PID 1 になり、SIGTERM が握り潰される。 「削除にいつも30秒かかる」の典型的な原因
  • Blue/Green もカナリアも、Kubernetes の機能ではない。 Service の selector に書くラベルと、レプリカ数の比だけでできる
  • Blue/Green は切り戻しが一瞬。代わりに資源が2倍。切り替えた瞬間、既存の接続は切れる
  • レプリカ数で作るカナリアは、正確な割合にならない。 振り分けは確率、刻みはPod の数の粒度、さらに接続が使い回されて偏る
  • アプリは戻せても、データベースのスキーマは戻らない。 足す → 移す → 消すの3段階に分けて、古い版でも動く形(前方互換)にしてから更新する

この回でいちばん効いたのは、curl を0.2秒おきに叩き続けたことでした。 それまでは「たぶん落ちる」「たぶん大丈夫」で話していました。000 が5個並ぶのを見た瞬間に、議論が終わりました。

「無停止」は、誰かが用意してくれる状態ではなく、自分で1つずつ塞いだ結果でした。

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 11 / 15 本目です。

記事
← 前の記事Podのスケジューリング — 全部同じノードに載った
→ 次の記事HPAでオートスケール — TARGETSがunknownのまま

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Rolling Updates
  • readinessProbe と maxSurge / maxUnavailable
  • Blue/Green とカナリア

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次