Podという最小単位 — 消したPodは戻ってこない

Podという最小単位。2つのコンテナを包むPod、YAMLのカードと虫眼鏡。

消したPodは戻ってきません。Kubernetesの最小単位であるPodが何をまとめているのかを確かめます。

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、Kubernetes の一番小さい部品である Pod だけを、作って壊して確かめます。

前回: Kubernetesは要るのか — 1台で足りるなら入れない

この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。

前提: 本線の Kubernetesは「状態を宣言する」 — minikube入門 で minikube と kubectl を入れ、kubectl get nodes が Ready を返すところまで済んでいること。 この記事はわざと Pod を落とします。 ただし壊すのは Pod だけで、VMやクラスタは壊しません。

本線の minikube入門で、私はこう書きました。

docker run は「こう動かせ」という命令、Kubernetes は「この状態であれ」という宣言。

これを読んだ直後に、自分でこうやりました。

bash
$ kubectl run test --image=nginx
$ kubectl delete pod test
$ kubectl get pods
No resources found in default namespace.

戻ってきませんでした。

私はここで固まりました。「宣言的なら、消しても勝手に戻るんじゃないのか」と思っていたからです。本線の minikube入門の記事では、確かに Pod を消したら新しい Pod が生えてきました。同じ kubectl delete pod を打ったのに、今回は何も起きません。

この差が、Pod という部品の正体そのものです。

Pod 自身は、自分の面倒を見てくれません。 「あるべき状態」を覚えていて、現実がズレたら直す係は、Pod の中には居ません。

本線の minikube入門では kubectl create deployment で作りました。今回は kubectl run で作りました。復活したのは、そこでは「Pod を1個保て」と覚えている別のものが上に居たからです。今回はそれが居ません。Pod だけを直に作ると、それは「いま置いただけの箱」で、消えたら消えたままです。

この記事は、その一番小さい箱だけを見ます。 上に乗るものは扱いません。下の階を先に見ておかないと、上の階の話が全部「魔法」になるからです。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • 「宣言的」は「何でも勝手に復旧する」という意味ではないこと。復旧するのは、あるべき状態を覚えている係が居るときだけで、Pod 単体には居ない
  • Pod はコンテナではないこと。1つ以上のコンテナ・1つのIP・共有できるボリュームをまとめた最小の配置単位で、中のコンテナ同士は localhost で繋がる(Docker では繋がらなかった)
  • マニフェストの書き方は暗記しないこと。kubectl explain でクラスタ本人に聞けば、そのバージョンで書ける項目が全部出る
  • Running は「正常」という意味ではないこと。Pod には5つの見え方があり、CrashLoopBackOff は状態ではなく「待たされている」という説明
  • 落ちた Pod の調べ方には順番があること。get → describe(Events)→ logs --previous → exec を飛ばすと、毎回同じところで詰まる
  • Kubernetes の部品同士は、名前ではなくラベルで繋がっていること。これが後から出てくる全部の土台

この記事でやること

  1. 最小のマニフェスト(YAML)を4行の骨組みから書き、kubectl apply -f で Pod を1つ作る
  2. kubectl explain pod.spec で、書ける項目を自分で調べる(記事を見ずに引ける状態にする)
  3. その Pod を kubectl delete pod で消し、戻ってこないことを確かめる
  4. 1つの Pod に2つのコンテナを入れ、localhost で繋がるところと、initContainers が先に走って終わるところを見る
  5. Pending / Succeeded / Failed / CrashLoopBackOff をわざと作り、get → describe → logs → exec の順で調べる

先に知る言葉

この記事で初めて出てくる言葉だけ、その場で短く置きます。 詳しくは 用語集 を見てください。

言葉この記事での意味
マニフェスト「こうあってほしい状態」を書いた YAML ファイル。Kubernetes に渡すのはこれ
apiVersionその部品の仕様の版。Kubernetes は部品ごとに版を持っていて、書き間違えると受け取ってもらえない
kind何を宣言しているか。この記事では全部 Pod
metadata名前とラベル。「これは誰か」を書く場所
spec中身の希望。「どうあってほしいか」を書く場所
statusいまどうなっているか。人が書く場所ではなく、クラスタが書き込む場所
コンテナランタイムコンテナを実際に起動する下回り。Kubernetes 自身はコンテナを動かさず、これに頼む
サイドカー主役のコンテナに寄り添って働く、脇役のコンテナ。同じ Pod に同居させる
initContainers主役より先に走り、終わってから主役が始まるコンテナ。準備係
ラベル(label)Pod などに貼る キー: 値 の名札。Kubernetes は名前ではなくこれで対象を選ぶ
セレクタ(selector)「この名札が付いたものを対象にする」という指定
Eventsクラスタが残した出来事の記録。「なぜ起動しないか」はほぼここに書いてある

準備:クラスタを起こす

bash
$ minikube status

Stopped なら起こします。

bash
$ minikube start --driver=docker
$ kubectl get nodes
NAME       STATUS   ROLES           AGE   VERSION
minikube   Ready    control-plane   12d   v1.3x.x

Ready が出てから先に進んでください。 ここが出ないうちに kubectl を打つと、全部「繋がらない」で終わります。

前回の練習が残っているかもしれないので、先に見ます。

bash
$ kubectl get all

web などが残っていたら、消しておきます。

bash
$ kubectl delete deployment web --ignore-not-found
$ kubectl delete service web --ignore-not-found

--ignore-not-found は「無くてもエラーにするな」という指定です。無い前提のコマンドを安心して打てるので、片づけのときによく使います。

作業用のフォルダを作ります。

bash
$ mkdir -p ~/k8s-pod
$ cd ~/k8s-pod

Pod を YAML で作る

まず kubectl run を使いません。 打ちやすいのですが、何が作られたのかが見えないからです。ファイルに書きます。

bash
$ nano ~/k8s-pod/01-minimal.yaml
apiVersion: v1
kind: Pod
metadata:
  name: hello
spec:
  containers:
    - name: web
      image: nginx:1.27

これが Pod の最小です。 1行ずつ見ます。

行何を言っているか
apiVersion: v1Pod の仕様の版は v1。 Pod は Kubernetes の一番古い部品なので、グループ名の付かない v1 です。新しめの部品は apps/v1 のようにグループ名が付きます(本線の minikube入門で作った Deployment がそれ)
kind: Pod作るのは Pod。 ここを間違えると、spec の中身の意味が丸ごと変わります
metadata:「これは誰か」を書く区画。 ここから下の name と、あとで足す labels が入ります
name: helloPod の名前。 Pod を直に作るときは自分で決められます(Deployment 経由だと決められません)
spec:「どうあってほしいか」を書く区画。 ここから下が中身の希望です
containers:中に入れるコンテナの一覧。 - で始まるリストなので、1つでもリストとして書きます
- name: webPod の中でのコンテナの呼び名。 Pod の名前とは別物です。kubectl logs -c web のように後で指すときに使います
image: nginx:1.27どのイメージを動かすか。 タグを latest にしないのは Dockerの回と同じ理由です

YAMLはインデントが意味を持ちます。 半角スペースで、タブを使いません。 nano は打ったとおりに入るので、タブキーを押さないでください。 ここで詰まると原因が見えません。

当てる前に、形だけ見ます。

bash
$ kubectl apply -f 01-minimal.yaml --dry-run=client
pod/hello created (dry run)

(dry run) と付いています。クラスタには何も起きていません。 nginx -t と同じ、壊す前に確かめる手順です。

では、当てます。

bash
$ kubectl apply -f 01-minimal.yaml
$ kubectl get pod hello
NAME    READY   STATUS    RESTARTS   AGE
hello   1/1     Running   0          18s
列意味
READY 1/1右が「Pod の中のコンテナ数」、左が「準備できた数」。 あとで2つ入れると 2/2 になります
STATUSいまの見え方。 あとで5種類を作り分けます
RESTARTS同じ Pod の中でコンテナが再起動した回数。 Pod ごと作り直された回数ではありません
AGEこの Pod が作られてからの時間

もっと見ます。

bash
$ kubectl get pod hello -o wide
NAME    READY   STATUS    RESTARTS   AGE   IP           NODE       NOMINATED NODE   READINESS GATES
hello   1/1     Running   0          40s   10.244.0.7   minikube   <none>           <none>

IP の列に注目してください。10.244.0.7 が、この Pod に1つ付いたIPです。コンテナに付いたのではありません。Pod に付いています。 ここが後で効いてきます。

[スクリーンショット: 01_pod作成.png] kubectl apply -f 01-minimal.yaml と kubectl get pod hello -o wide を続けて実行し、Running と Pod のIPが出ている画面を撮ってください。

describe で、書いていないことまで見る

bash
$ kubectl describe pod hello

長いので、全部読まなくて構いません。 見る場所は決まっています。

Name:             hello
Namespace:        default
Node:             minikube/192.168.49.2
Status:           Running
IP:               10.244.0.7
Containers:
  web:
    Image:          nginx:1.27
    State:          Running
    Restart Count:  0
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  60s   default-scheduler  Successfully assigned default/hello to minikube
  Normal  Pulling    59s   kubelet            Pulling image "nginx:1.27"
  Normal  Pulled     52s   kubelet            Successfully pulled image
  Normal  Created    52s   kubelet            Created container web
  Normal  Started    52s   kubelet            Started container web

一番下の Events が本体です。「どのノードに割り当てられ → イメージを取って → コンテナを作って → 起動した」という流れが、そのまま残っています。

うまくいっているときに一度読んでおいてください。 失敗したときに、この流れのどこで止まったかが分かるようになります。

自分が書いていない項目が、大量に入っている

書いたのは8行でした。クラスタが持っている実物を見ます。

bash
$ kubectl get pod hello -o yaml | head -n 40

書いた覚えのない項目が並んでいます。 restartPolicy、dnsPolicy、terminationGracePeriodSeconds、status: のブロック。

省略した項目は、クラスタが既定値で埋めます。 つまりマニフェストは「全部書くもの」ではなく「既定値と違うところだけ書くもの」です。 status: は自分では書きません。 クラスタが「いまこうなっている」と書き込む場所です。spec が希望、status が現実で、この2つを突き合わせるのが Kubernetes の仕事です。

ここが本題:書ける項目は、暗記しない

「spec の下に何を書けるのか」を、私は最初ネットで探していました。 これはやめたほうがいいです。

  • 記事はバージョンが古いことがある
  • 自分のクラスタで使えるとは限らない

クラスタ本人に聞けます。

bash
$ kubectl explain pod.spec
KIND:       Pod
VERSION:    v1

FIELD: spec <PodSpec>

DESCRIPTION:
    PodSpec is a description of a pod.

FIELDS:
  activeDeadlineSeconds <integer>
  containers    <[]Container> -required-
  initContainers        <[]Container>
  nodeSelector  <map[string]string>
  restartPolicy <string>
  volumes       <[]Volume>
  ...

このクラスタで実際に書ける項目が、全部出ます。

読み方意味
-required-省略できない。 containers にだけ付いています
<string>文字列を1つ書く
<[]Container>- で始まるリストを書く([] がリストの印)
<map[string]string>キー: 値 を並べる

掘っていけます。

bash
$ kubectl explain pod.spec.containers
$ kubectl explain pod.spec.containers.ports
$ kubectl explain pod.spec.restartPolicy

restartPolicy はこう返ります。

FIELD: restartPolicy <string>

DESCRIPTION:
    Restart policy for all containers within the pod.
    One of Always, OnFailure, Never. Default to Always.

「取れる値は3つ、既定は Always」まで書いてあります。あとで Failed を作るときに、この既定値が邪魔をします。 ここで見ておくと、そこで慌てません。

全体を一気に見たいときは、

bash
$ kubectl explain pod --recursive | head -n 60

この記事で一番持ち帰ってほしいのは、実はこのコマンドです。 Kubernetes は部品が多く、全部覚えるのは無理です。 そして覚えても、バージョンが上がるとズレます。 「引ける」状態のほうが、「覚えている」状態より強いです。公式ドキュメントを読まずに引くのと同じ姿勢を、クラスタに対してやっているだけです。

Pod を消しても、戻ってこない

冒頭でやったことを、今度は理由が分かる状態でやります。

いまの Pod のIPと名前を控えます。

bash
$ kubectl get pod hello -o wide

消します。

bash
$ kubectl delete pod hello
pod "hello" deleted

すぐに見ます。

bash
$ kubectl get pods
No resources found in default namespace.

戻ってきません。 何秒待っても戻りません。

本線の minikube入門で、同じコマンドで Pod が復活したのと、何が違うのか。

【本線】                            【今回】

Deployment「1個保て」  ← 覚えている      (誰も居ない)
      │
      └─ Pod ← 消す                      Pod ← 消す
            ↓                                  ↓
      現実 0個 ≠ 希望 1個                (比べる相手が無い)
            ↓                                  ↓
      新しい Pod を作る                   何も起きない

リコンサイル(見て、違ったら直す)ループは、「あるべき状態」を覚えている誰かが居て初めて回ります。 Pod は「あるべき状態」ではなく「いま置かれている実体」です。実体が消えたことを、実体自身は嘆けません。

言い換えると、こうです。

何を持っているか消したらどうなるか
直に作った Pod実体だけ消えたまま
上位のものに作らせた Pod上位が「何個保つか」という希望を持っている新しい Pod が作られる(名前もIPも別物)

単体の Pod には、面倒を見る人が居ません。 それだけです。

だから、実務で Pod を直に書くことは、ほとんどありません。 ではなぜこの記事で書いているかというと、上位のものが作るのも結局この Pod だからです。上位のマニフェストの中には、いま書いた spec がそのまま埋め込まれます。 ここが読めないと、上の階は一生読めません。

[スクリーンショット: 02_pod削除.png] kubectl delete pod hello の直後に kubectl get pods を打ち、No resources found が出ている画面を撮ってください。

ここで「Kubernetes は落ちても勝手に直るはずでは」と思ったなら、正しい引っかかり方です。 直るのは、直せと宣言されているものだけです。宣言していないものは直りません。 「Kubernetes を入れたから安全」ではなく、「何をあるべき状態として宣言したか」だけが効きます。

kubectl run は何をしていたのか

冒頭で打った kubectl run test --image=nginx も、いまと同じ「直に作った Pod」でした。

確かめられます。

bash
$ kubectl run test --image=nginx:1.27 --dry-run=client -o yaml

さっき手で書いたのとほぼ同じ YAML が出ます。 kubectl run は、この YAML を裏で作って投げていただけです。

--dry-run=client -o yaml は、この先ずっと使います。 「打ちやすいコマンド」を「読めるYAML」に翻訳させるやり方です。コマンドで覚えるのをやめて、ファイルで覚えるための橋になります。

いまの test は消しておきます。

bash
$ kubectl delete pod test --ignore-not-found

Pod の中身:なぜコンテナ単体ではないのか

ここで一度、部品の形を確認します。

┌─ Pod ─────────────────────────────────────┐
│  IP: 10.244.0.7        ← Pod に1つ         │
│  ボリューム: shared    ← Pod に属する      │
│                                            │
│  ┌──────────────┐   ┌──────────────────┐  │
│  │ コンテナ A   │   │ コンテナ B       │  │
│  │ nginx :80    │   │ ログ収集など     │  │
│  └──────────────┘   └──────────────────┘  │
│        └── localhost で互いに繋がる ──┘   │
└────────────────────────────────────────────┘

Pod が持っているものは3つです。

持ち物内容
1つ以上のコンテナ1つでもいいし、複数でもいい。 ただし常に「Pod」という単位で置かれる
1つのIPアドレスコンテナごとではなく Pod に1つ。 中のコンテナはこれを共有する
ボリュームPod に属する置き場。 中の複数のコンテナから同じものを見られる

「なぜコンテナ単体を置く単位にしなかったのか」という疑問が、ここで出ます。答えは「離れると困る組み合わせがあるから」です。

  • Webサーバーと、そのログを吸い出す係。ログのファイルを同じ場所で見る必要がある
  • アプリと、設定を取ってきて置く係。同じディスクに書かないと意味がない
  • アプリと、通信を横取りして暗号化する係。同じネットワークに居ないと横取りできない

これらを「別々に置いていいもの」として扱うと、別のマシンに離れて置かれた瞬間に壊れます。 「絶対に一緒に居る」を表現する単位が要るので、Pod があります。

逆に言うと、離れても困らないものは同じ Pod に入れません。 Webサーバーとデータベースは別の Pod です。 一緒に入れると、Webを3つに増やしたときにデータベースも3つになります。 判断基準は「一緒に増やしたいか」です。増やす単位が違うなら、Pod を分けます。

この設計は 名前空間と cgroups の回を読んでいると、実装まで想像がつきます。 Pod の中のコンテナは、ネットワーク名前空間を共有しているだけです。Kubernetes が新しい隔離技術を作ったわけではなく、既にあるものの束ね方を変えただけです。

2つのコンテナを1つの Pod に入れる

言葉で読むより、繋げてみたほうが早いです。

bash
$ nano ~/k8s-pod/02-sidecar.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pair
spec:
  containers:
    - name: web
      image: nginx:1.27
    - name: side
      image: busybox:1.36
      command: ["sh", "-c", "sleep 3600"]

変わったのは、containers: の下に2つ目が増えただけです。

追加分意味
- name: side2つ目のコンテナ。Pod の中での呼び名
image: busybox:1.36小さい道具箱イメージ。wget などが入っています
command: [...]イメージの既定の起動コマンドを上書き。busybox は何も指定しないとすぐ終わるので、1時間眠らせて生かしておきます

sleep 3600 を入れているのは、実験のためです。 仕事をしないコンテナは、起動した瞬間に終わります。 終わると Pod が落ちたことになり、観察できません。「終わらせないために眠らせる」は、練習中だけの手です。

bash
$ kubectl apply -f 02-sidecar.yaml
$ kubectl get pod pair
NAME   READY   STATUS    RESTARTS   AGE
pair   2/2     Running   0          25s

READY が 2/2 になりました。 さっきの 1/1 と見比べてください。READY の右は Pod の中のコンテナ数だ、というのがここで実物になります。

localhost で繋がるか試す

side の中に入って、web を呼びます。

bash
$ kubectl exec -it pair -c side -- sh
部分意味
exec動いているコンテナの中でコマンドを実行する
-it対話できる形で繋ぐ(docker exec -it と同じ)
-c sideどのコンテナか。Pod に2つ以上あるときは必須です。省くと「どっちだ」と聞かれます
-- sh-- の後ろが、コンテナの中で打つコマンド

中に入ったら、打ちます。

wget -qO- http://localhost/ | head -n 4
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>

繋がりました。 side の中から、何のIPも名前も指定せず localhost で nginx に届いています。

もう1つ見ます。

ip a | grep "inet "
inet 127.0.0.1/8 scope host lo
inet 10.244.0.9/24 scope global eth0

kubectl get pod pair -o wide で見える Pod のIPと、同じ値です。web の中で同じことをしても、同じIPが出ます。 抜けます。

exit

確かめます。

bash
$ kubectl get pod pair -o wide
$ kubectl exec pair -c web -- hostname -i
$ kubectl exec pair -c side -- hostname -i

3つとも同じIPです。 コンテナが2つあっても、IPは1つです。

[スクリーンショット: 03_localhostで繋がる.png] kubectl exec -it pair -c side -- sh で入り、wget -qO- http://localhost/ で nginx の応答が返っている画面を撮ってください。

Docker では、これは繋がらなかった

Docker の回で、同じことをやると失敗します。

bash
$ docker run -d --name a nginx:1.27
$ docker run --rm busybox:1.36 wget -qO- http://localhost/
wget: can't connect to remote host (127.0.0.1): Connection refused

繋がりません。 Docker のネットワークの回で見たとおり、コンテナごとに別のネットワーク名前空間があるので、localhost はそのコンテナ自身を指します。隣のコンテナではありません。

Compose で db のようなサービス名で呼べたのも、localhost ではなく「名前解決で相手のIPを引いていた」からです。

localhost が指す先隣を呼ぶには
Docker のコンテナ2つそのコンテナ自身相手の名前かIP(同じネットワークに置く必要がある)
同じ Pod の中の2つPod 全体(両方のコンテナ)localhost でよい

この差が、サイドカーという書き方を成立させています。

サイドカーとは、「主役のコンテナを書き換えずに、隣に機能を足す」やり方です。 アプリのコードに「ログを転送する処理」を書き足す代わりに、転送する係を隣に置いて、localhost で受け渡す。 アプリ側は、隣に誰が居るかを知らなくていいので、アプリを作り直さずに機能を足したり外したりできます。

片づけます。

bash
$ docker rm -f a
$ kubectl delete pod pair

initContainers:先に走って、終わる

サイドカーは「一緒に動き続ける係」でした。 「先に済ませてから始めたい」ものもあります。

  • 設定ファイルを取ってきて置く
  • データベースが起きるのを待つ
  • ボリュームの中身を用意する

これを主役のコンテナの中でやると、主役のイメージにその処理を入れることになります。 分けられます。

bash
$ nano ~/k8s-pod/03-init.yaml
apiVersion: v1
kind: Pod
metadata:
  name: initdemo
spec:
  volumes:
    - name: shared
      emptyDir: {}
  initContainers:
    - name: prepare
      image: busybox:1.36
      command:
        - sh
        - -c
        - "echo '<h1>init が書きました</h1>' > /work/index.html; sleep 15"
      volumeMounts:
        - name: shared
          mountPath: /work
  containers:
    - name: web
      image: nginx:1.27
      volumeMounts:
        - name: shared
          mountPath: /usr/share/nginx/html
部分意味
volumes:Pod に属する置き場を1つ用意。emptyDir: {} はPod が生きている間だけの空の置き場
initContainers:containers より先に、上から順に走るコンテナ。 全部が正常終了してから containers が始まる
volumeMounts:その置き場を、このコンテナのどこに見せるか。 init 側は /work、nginx 側は /usr/share/nginx/html
sleep 15観察用に、わざと15秒かけています。 本来は要りません

同じ置き場を、2つのコンテナが違うパスで見ています。 これが「Pod がボリュームを持つ」ということの実物です。

当てて、すぐに見ます。

bash
$ kubectl apply -f 03-init.yaml
$ kubectl get pod initdemo
NAME       READY   STATUS     RESTARTS   AGE
initdemo   0/1     Init:0/1   0          4s

Init:0/1。 「initContainers が1つあって、0個終わっている」という意味です。READY は 0/1 で、まだ主役は始まっていません。

15秒ほど待って、もう一度。

bash
$ kubectl get pod initdemo
NAME       READY   STATUS    RESTARTS   AGE
initdemo   1/1     Running   0          22s

init が終わってから、nginx が動き始めました。 中身を見ます。

bash
$ kubectl exec initdemo -- cat /usr/share/nginx/html/index.html
<h1>init が書きました</h1>

nginx のイメージには入っていなかったファイルが、別のコンテナによって置かれています。 nginx のイメージは1行も変えていません。

init コンテナの記録も残っています。

bash
$ kubectl logs initdemo -c prepare
$ kubectl describe pod initdemo | grep -A 8 "Init Containers"
Init Containers:
  prepare:
    State:          Terminated
      Reason:       Completed
      Exit Code:    0

Terminated / Completed / Exit Code: 0。 終わっているのが正常です。動き続けている必要はありません。

initContainers が失敗したら、主役は始まりません。 ここが command を書き間違えたときの詰まりどころです。STATUS が Init:Error や Init:CrashLoopBackOff で止まります。 そのときに見るのは kubectl logs <Pod名> -c <initの名前> です。-c を付けないと、まだ起動していない主役のログを探して「見つからない」と言われます。

片づけます。

bash
$ kubectl delete pod initdemo

Pod のライフサイクル:5つの見え方を、全部作る

表で読むだけだと頭に入りません。1つずつ作ります。

STATUS意味どういうときに出るか
Pendingまだどのノードでも動き始めていない置き場所が決まらない / イメージを取っている最中
Runningノードに置かれ、コンテナが1つ以上動いている「正常」という意味ではない。動いてはいる、という意味
Succeeded中のコンテナが全部、正常終了した(終了コード0)一度きりの仕事。再起動しない設定のときだけ見える
Failed中のコンテナが、異常終了した(終了コード0以外)同上
CrashLoopBackOff起動 → 落ちる を繰り返していて、次の再起動まで待たされているこれは状態ではなく「間隔を空けています」という説明

CrashLoopBackOff は「クラッシュループ」+「バックオフ」です。 バックオフ=再試行の間隔を、失敗のたびに延ばしていくこと。 10秒、20秒、40秒…と最大5分まで延びます。 「Kubernetes が諦めた」のではなく「間隔を空けて、まだ試している」という意味です。ここを取り違えると、直したのに反映されないように見えて焦ります。

Succeeded を作る

bash
$ nano ~/k8s-pod/10-succeeded.yaml
apiVersion: v1
kind: Pod
metadata:
  name: job-ok
spec:
  restartPolicy: Never
  containers:
    - name: work
      image: busybox:1.36
      command: ["sh", "-c", "echo '仕事しました'; sleep 5; exit 0"]

restartPolicy: Never が要点です。既定は Always で、それだと正常終了しても再起動されてしまい、Succeeded になりません。 さっき kubectl explain pod.spec.restartPolicy で見た既定値が、ここで効いてきます。

bash
$ kubectl apply -f 10-succeeded.yaml
$ kubectl get pod job-ok --watch
NAME     READY   STATUS              RESTARTS   AGE
job-ok   0/1     ContainerCreating   0          2s
job-ok   1/1     Running             0          4s
job-ok   0/1     Completed           0          10s

Ctrl + C で止めます。

STATUS の列には Completed と出ますが、Pod の段階(phase)としては Succeeded です。表示名と内部の名前が違うので、混乱しやすいところです。

bash
$ kubectl get pod job-ok -o jsonpath='{.status.phase}'
$ echo
Succeeded

-o jsonpath= は、YAMLの中の1箇所だけを取り出す指定です。status は自分が書いていない場所でしたが、こうやって読めます。

Failed を作る

さっきのファイルの終了コードだけ変えます。

bash
$ sed 's/job-ok/job-ng/; s/exit 0/exit 1/' 10-succeeded.yaml > 11-failed.yaml
$ kubectl apply -f 11-failed.yaml

しばらく待って、

bash
$ kubectl get pods
NAME     READY   STATUS      RESTARTS   AGE
job-ng   0/1     Error       0          20s
job-ok   0/1     Completed   0          2m

Error と出ます。phase は Failed です。

bash
$ kubectl get pod job-ng -o jsonpath='{.status.phase}'
$ echo
$ kubectl describe pod job-ng | grep -A 5 "State:"
Failed
    State:          Terminated
      Reason:       Error
      Exit Code:    1

Exit Code: 1。 「動かなかった」ではなく「動いて、1で終わった」です。エラーは下から読む回と同じで、まず数字を見ます。

CrashLoopBackOff を作る

さっきと同じ「1で終わる」コンテナを、restartPolicy を消して作ります。

bash
$ nano ~/k8s-pod/12-crashloop.yaml
apiVersion: v1
kind: Pod
metadata:
  name: crasher
spec:
  containers:
    - name: work
      image: busybox:1.36
      command: ["sh", "-c", "echo '起動しました'; sleep 3; exit 1"]

restartPolicy を書いていないので Always です。「常に動いていろ」と言われたものが、3秒で1を返して死ぬ。 これを繰り返します。

bash
$ kubectl apply -f 12-crashloop.yaml
$ kubectl get pod crasher --watch
NAME      READY   STATUS             RESTARTS   AGE
crasher   1/1     Running            0          4s
crasher   0/1     Error              0          8s
crasher   1/1     Running            1          10s
crasher   0/1     Error              1          14s
crasher   0/1     CrashLoopBackOff   1          25s
crasher   1/1     Running            2          40s
crasher   0/1     CrashLoopBackOff   2          70s

Ctrl + C で止めます。

見てほしいのは2つです。

  • RESTARTS が増えている。 さっき「同じ Pod の中でコンテナが再起動した回数」と書いた数字が、実際に増えています。Pod は作り直されていません(AGE が伸び続けているのが証拠)
  • Running と CrashLoopBackOff の間隔が、だんだん延びている

本線の minikube入門で Deployment が Pod を作り直したときは RESTARTS が 0 のままでした。 今回は同じ Pod の中で再起動しているので、数字が増えます。 「新品への置き換え」と「同じ Pod の中での再起動」は、別の出来事です。この数字がそれを見分ける手がかりになります。

[スクリーンショット: 04_crashloopbackoff.png] kubectl get pod crasher --watch の出力で、RESTARTS が増えながら CrashLoopBackOff に入っている画面を撮ってください。

Pending を作る

Pending は「置き場所が決まらない」ときに出ます。 絶対に存在しない条件を付けます。

bash
$ nano ~/k8s-pod/13-pending.yaml
apiVersion: v1
kind: Pod
metadata:
  name: nowhere
spec:
  nodeSelector:
    disktype: superfast
  containers:
    - name: web
      image: nginx:1.27

nodeSelector は「この名札が付いたノードにだけ置け」という指定です。disktype: superfast という名札のノードは存在しません。

bash
$ kubectl apply -f 13-pending.yaml
$ kubectl get pod nowhere
NAME      READY   STATUS    RESTARTS   AGE
nowhere   0/1     Pending   0          30s

いつまでも Pending のままです。 理由は get では分かりません。describe を見ます。

bash
$ kubectl describe pod nowhere | tail -n 8
Events:
  Type     Reason            Age   From               Message
  ----     ------            ----  ----               -------
  Warning  FailedScheduling  45s   default-scheduler  0/1 nodes are available: 1 node(s) didn't match Pod's node affinity/selector.

0/1 nodes are available。 「1つあるノードのうち、条件に合うのは0個」と、はっきり書いてあります。

確かめます。 ノードの名札を見ます。

bash
$ kubectl get nodes --show-labels

disktype がどこにも無いのが分かります。 付けてやれば、動き出します。

bash
$ kubectl label node minikube disktype=superfast
$ kubectl get pod nowhere
NAME      READY   STATUS    RESTARTS   AGE
nowhere   1/1     Running   0          2m

Pod を作り直していないのに、動き出しました。 「置けなかっただけ」で、希望は生きたまま待っていたということです。

名札は戻しておきます。

bash
$ kubectl label node minikube disktype-

末尾の - が「このラベルを消す」という指定です。disktype= (値が空)ではありません。

落ちたときに調べる順番

ここまでで、わざと4通りの落ち方を作りました。 調べ方には順番があります。 これを飛ばすと、毎回同じところで止まります。

① kubectl get pod          →  何が起きているか(1行で)
        ↓
② kubectl describe pod     →  なぜそうなったか(Events を読む)
        ↓
③ kubectl logs             →  中のプログラムは何と言ったか
   (落ちた後なら --previous)
        ↓
④ kubectl exec             →  中に入って手で確かめる
   (Running のときだけ使える)

この順番には理由があります。

段何が分かるかここで分かる典型
① getどの段階で止まっているかPending なら置けていない。CrashLoopBackOff なら起動はしている
② describeクラスタ側の言い分(Events)置けない理由、イメージが取れない理由。中のプログラムの話ではない
③ logs中のプログラムの言い分設定ファイルが無い、繋ぎ先が居ない
④ exec現物ファイルが実際にあるか、繋がるか

② describe は「クラスタの言い分」

イメージ名を間違えた Pod を作ってみます。

bash
$ kubectl run typo --image=nginx:99.99.99
$ kubectl get pod typo
NAME   READY   STATUS         RESTARTS   AGE
typo   0/1     ErrImagePull   0          15s
bash
$ kubectl logs typo
Error from server (BadRequest): container "typo" in pod "typo" is waiting to start: trying and failing to pull image

logs は何も教えてくれません。当然です。 プログラムがまだ起動していないので、言い分が存在しません。

bash
$ kubectl describe pod typo | tail -n 6
  Warning  Failed   30s   kubelet  Failed to pull image "nginx:99.99.99": not found
  Warning  Failed   30s   kubelet  Error: ErrImagePull
  Normal   BackOff  18s   kubelet  Back-off pulling image "nginx:99.99.99"

ここに全部書いてあります。

起動する前の失敗は describe、起動した後の失敗は logs。 この切り分けだけで、詰まる時間がかなり減ります。

bash
$ kubectl delete pod typo

③ logs --previous — 落ちた後のログを読む

さっきの crasher は、いま何度目かの再起動をしています。

bash
$ kubectl logs crasher

運が悪いと、こう返ります。

Error from server (BadRequest): container "work" in pod "crasher" is waiting to start: CrashLoopBackOff

CrashLoopBackOff の待ち時間の最中は、動いているコンテナが存在しません。 読むログがありません。

1つ前の、死んだコンテナのログを読めます。

bash
$ kubectl logs crasher --previous
起動しました

--previous(短く -p)が、この記事で2番目に持ち帰ってほしいコマンドです。 落ちて再起動を繰り返しているものは、logs だけでは読めません。 落ちる直前に何を言い残したかは --previous にあります。 タイミングを狙って logs を連打する必要はありません。

④ exec で中に入る

Running のときにしか使えません。 落ちているものには入れません。

さっきの nowhere(いまは Running)で試します。

bash
$ kubectl exec nowhere -- ls /usr/share/nginx/html
$ kubectl exec nowhere -- ls /etc/nginx/conf.d
50x.html
index.html

default.conf

-- の後ろがコンテナの中で走ります。 設定ファイルが実際に置かれているかを、目で確かめられます。

exec で中を書き換えて直さないでください。 Pod は使い捨てなので、次に作り直された瞬間に消えます。 直すのはマニフェストのほうです。 exec は「調べる」ためのもので、「直す」ためのものではありません。

ラベルとセレクタ:Kubernetes の繋ぎ方

最後に、この先ずっと出てくる仕組みを見ます。

いま、Pod がいくつか残っています。

bash
$ kubectl get pods
NAME      READY   STATUS      RESTARTS   AGE
crasher   0/1     CrashLoopBackOff  8      12m
job-ng    0/1     Error       0          15m
job-ok    0/1     Completed   0          18m
nowhere   1/1     Running     0          8m

名前がバラバラで、まとめて扱えません。 名札を貼ります。

bash
$ nano ~/k8s-pod/20-labeled.yaml
apiVersion: v1
kind: Pod
metadata:
  name: front-a
  labels:
    app: shop
    tier: frontend
spec:
  containers:
    - name: web
      image: nginx:1.27
---
apiVersion: v1
kind: Pod
metadata:
  name: front-b
  labels:
    app: shop
    tier: frontend
spec:
  containers:
    - name: web
      image: nginx:1.27
---
apiVersion: v1
kind: Pod
metadata:
  name: back-a
  labels:
    app: shop
    tier: backend
spec:
  containers:
    - name: api
      image: nginx:1.27

--- は、1つのファイルに複数の宣言を書くときの区切りです。

bash
$ kubectl apply -f 20-labeled.yaml
$ kubectl get pods --show-labels
NAME      READY   STATUS    RESTARTS   AGE   LABELS
back-a    1/1     Running   0          10s   app=shop,tier=backend
front-a   1/1     Running   0          10s   app=shop,tier=frontend
front-b   1/1     Running   0          10s   app=shop,tier=frontend

名札で選べます。

bash
$ kubectl get pods -l app=shop
$ kubectl get pods -l tier=frontend
$ kubectl get pods -l 'app=shop,tier!=frontend'
$ kubectl get pods -l 'tier in (frontend,backend)'
書き方意味
-l app=shopapp が shop のもの
-l tier!=frontendtier が frontend でないもの
-l 'tier in (a,b)'いずれかに一致
-l appapp という名札が付いている(値は問わない)
-l '!app'app という名札が付いていない

まとめて消せます。

bash
$ kubectl delete pod -l tier=frontend
$ kubectl get pods

front-a と front-b だけが消えました。 名前を1つも打っていません。

ここがこの先の全部の土台です。 Kubernetes の部品は、お互いを名前で繋いでいません。名札で繋いでいます。 「front-a に繋げ」ではなく 「tier: frontend が付いたもの、全部に繋げ」と書きます。 だから、Pod が入れ替わって名前が変わっても、繋ぎ先を書き直さなくて済みます。

逆に言うと、名札を貼り間違えると、何にも繋がらないのに何のエラーも出ません。 「動いているのに繋がらない」の原因の多くはこれです。 困ったら kubectl get pods --show-labels で、実際に何が貼ってあるかを見る。 想像で判断しないでください。

後から貼ることも、剥がすこともできます。

bash
$ kubectl label pod back-a env=dev
$ kubectl get pod back-a --show-labels
$ kubectl label pod back-a env-

つまずいたところ

「宣言的」を「全部が自動で直る」だと思っていた

この記事の出発点そのものです。 本線の minikube入門の記事で Pod が勝手に復活するのを見て、「Kubernetes に置いたものは全部そうなる」と思い込みました。

違いました。 直るのは「こうあってほしい」と誰かが宣言しているものだけです。Pod を直に置いたものは、誰も宣言していないので、消えたら消えたままです。

これは Kubernetes の欠陥ではありません。 「宣言していないものは守られない」というのは、むしろ当たり前の話です。私が「Kubernetes という道具が偉い」と勘違いしていただけでした。偉いのは道具ではなく、宣言のほうです。

kubectl exec で「コンテナを選べ」と怒られた

error: a container name must be specified for pod pair, choose one of: [web side]

Pod にコンテナが2つあると、-c を付けないと決まりません。 「Pod = コンテナ」だと思っていると、この文の意味が分かりません。 「Pod の中の、どれ」を聞かれています。

選択肢はメッセージの中に書いてあります。 エラーは下から読むと同じで、答えがメッセージに入っていることは多いです。

busybox の Pod が、作った直後に CrashLoopBackOff になった

最初、command を書かずにこう書きました。

    - name: side
      image: busybox:1.36

すぐ CrashLoopBackOff になりました。 壊れていると思って describe も logs も見ましたが、何も悪いことが書いてありません。

当たり前でした。 busybox は何も指定しないと、シェルを起動してすぐ終わります。 正常に終わっただけです。

そして restartPolicy の既定は Always なので、「常に動いていろ」と言われたものが終わる → 再起動 → また終わるを繰り返していました。

CrashLoopBackOff は「壊れている」とは限りません。 「終わるべきものに、終わるなと言っている」ときにも出ます。一度きりの仕事なら restartPolicy: Never を書きます。

kubectl logs が「waiting to start」しか返さない

落ちている最中の Pod のログを読もうとして、何度も打ち直しました。

--previous を知らなかっただけです。いま動いていないものの、直前の言い分を読むオプションがあります。タイミングを狙う必要はありませんでした。

YAML のインデントをタブで書いて、意味不明なエラーが出た

error converting YAML to JSON: yaml: line 6: found character that cannot start any token

「文字」としか言われず、何が悪いのか分かりませんでした。 タブでした。

YAML はタブを受け付けません。半角スペースだけです。nano は打ったキーがそのまま入るので、タブキーを押した時点で壊れます。 見た目では分かりません。

疑ったら、これで見えます。

bash
$ cat -A ~/k8s-pod/01-minimal.yaml | head -n 8

タブは ^I と表示されます。 見えないものは、見えるようにしてから判断します。

kubectl delete pod が返ってこない

Terminating のまま20秒ほど止まります。 壊れたと思って Ctrl + C を押しました。

待つのが正解でした。Kubernetes は、消す前にコンテナへ「終わってください」と伝えて、猶予を与えます。 既定は30秒です。

bash
$ kubectl explain pod.spec.terminationGracePeriodSeconds

急ぐときの手はありますが、練習では待ってください。 「止まらない」ではなく「片づけている最中」です。

後片づけ

Pod は残しておくとメモリを使います。 この記事で作ったものを全部消します。

まず、何が残っているかを見ます。

bash
$ kubectl get pods

ファイル単位で消せます。

bash
$ cd ~/k8s-pod
$ kubectl delete -f . --ignore-not-found

-f . は「このフォルダの中の全マニフェスト」という指定です。作ったものと消すものが、同じファイルで対応します。

kubectl run で作ったものは、ファイルがありません。名前で消します。

bash
$ kubectl delete pod typo test --ignore-not-found

残っていないか確認します。

bash
$ kubectl get all
NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   12d

service/kubernetes だけが残ります。 これはクラスタ自身のもので、消してはいけません。

ノードに貼った名札も、消し忘れていないか見ます。

bash
$ kubectl get nodes --show-labels | tr ',' '\n' | grep disktype

何も出なければ、剥がせています。

クラスタをどうするか

続けて Kubernetes を触るなら、止めるだけで構いません。

bash
$ minikube stop

しばらく間が空くなら、ディスクごと返します。

bash
$ minikube delete
$ docker system df

minikube delete はクラスタごと消えます。 作った Pod もマニフェストの適用結果も消えますが、~/k8s-pod の YAML ファイルは残ります。 これが「マニフェストに書く」ことの実利です。クラスタを消しても、宣言は手元に残っていて、kubectl apply -f でまた同じ状態にできます。

VMのメモリが戻ったか確認します。

bash
$ free -h
$ df -h /

まとめ

  • 「宣言的」は「何でも勝手に直る」ではない。 直るのはあるべき状態を宣言されているものだけ。単体の Pod には、面倒を見る人が居ない
  • kubectl run で作った Pod を消すと、戻ってこない。 本線で Pod が復活したのは、上に「1個保て」と覚えているものが居たから
  • Pod の最小は4つの区画。 apiVersion(部品の版)/ kind(何を作るか)/ metadata(誰か)/ spec(どうあってほしいか)
  • spec が希望、status が現実。 status は自分では書かない。この2つを突き合わせるのが Kubernetes の仕事
  • 書ける項目は暗記しない。kubectl explain pod.spec でクラスタ本人に聞く。 -required- と <[]...> の読み方だけ覚えれば引ける
  • 省略した項目はクラスタが既定値で埋める。 マニフェストは「全部書くもの」ではなく「既定と違うところを書くもの」
  • Pod はコンテナではない。 1つ以上のコンテナ・IPは1つ・ボリュームは Pod に属する
  • 同じ Pod の中は localhost で繋がる。 Docker のコンテナ同士では繋がらなかった。この差がサイドカーを成立させている
  • サイドカーは「主役を書き換えずに隣に機能を足す」やり方。 アプリは隣に誰が居るかを知らなくていい
  • initContainers は先に走って、終わる。 終わるのが正常。失敗すると主役が始まらない。ログは -c <initの名前> で読む
  • Running は「正常」ではなく「動いている」。 CrashLoopBackOff は状態ではなく「間隔を空けて、まだ試している」という説明
  • RESTARTS が増える=同じ Pod の中での再起動。 Pod ごと作り直されると 0 に戻る。 この数字で見分けられる
  • 調べる順番は get → describe → logs → exec。 起動する前の失敗は describe、起動した後の失敗は logs
  • 落ちて再起動を繰り返しているものは kubectl logs --previous。 タイミングを狙う必要はない
  • exec は調べるためのもの。中を書き換えて直さない(Pod は使い捨てなので消える)
  • Kubernetes の部品は名前ではなくラベルで繋がる。 貼り間違えても何のエラーも出ないので、--show-labels で実物を見る
  • クラスタを消しても、マニフェストは手元に残る。 だからコマンドではなくファイルに書く

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 2 / 15 本目です。

記事
← 前の記事Kubernetesは要るのか — 1台で足りるなら入れない
→ 次の記事DeploymentとReplicaSet — 消したPodが戻ってくる

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Pods
  • Pod をYAMLで作る / ライフサイクル
  • サイドカーと initContainers / 調べ方の型

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次