消したPodは戻ってきません。Kubernetesの最小単位であるPodが何をまとめているのかを確かめます。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、Kubernetes の一番小さい部品である Pod だけを、作って壊して確かめます。
前回: Kubernetesは要るのか — 1台で足りるなら入れない
この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。
前提: 本線の Kubernetesは「状態を宣言する」 — minikube入門 で
minikubeとkubectlを入れ、kubectl get nodesがReadyを返すところまで済んでいること。 この記事はわざと Pod を落とします。 ただし壊すのは Pod だけで、VMやクラスタは壊しません。
本線の minikube入門で、私はこう書きました。
docker runは「こう動かせ」という命令、Kubernetes は「この状態であれ」という宣言。
これを読んだ直後に、自分でこうやりました。
No resources found in default namespace.
戻ってきませんでした。
私はここで固まりました。「宣言的なら、消しても勝手に戻るんじゃないのか」と思っていたからです。本線の minikube入門の記事では、確かに Pod を消したら新しい Pod が生えてきました。同じ kubectl delete pod を打ったのに、今回は何も起きません。
この差が、Pod という部品の正体そのものです。
Pod 自身は、自分の面倒を見てくれません。 「あるべき状態」を覚えていて、現実がズレたら直す係は、Pod の中には居ません。
本線の minikube入門では kubectl create deployment で作りました。今回は kubectl run で作りました。復活したのは、そこでは「Pod を1個保て」と覚えている別のものが上に居たからです。今回はそれが居ません。Pod だけを直に作ると、それは「いま置いただけの箱」で、消えたら消えたままです。
この記事は、その一番小さい箱だけを見ます。 上に乗るものは扱いません。下の階を先に見ておかないと、上の階の話が全部「魔法」になるからです。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
- 「宣言的」は「何でも勝手に復旧する」という意味ではないこと。復旧するのは、あるべき状態を覚えている係が居るときだけで、Pod 単体には居ない
- Pod はコンテナではないこと。1つ以上のコンテナ・1つのIP・共有できるボリュームをまとめた最小の配置単位で、中のコンテナ同士は
localhostで繋がる(Docker では繋がらなかった) - マニフェストの書き方は暗記しないこと。
kubectl explainでクラスタ本人に聞けば、そのバージョンで書ける項目が全部出る Runningは「正常」という意味ではないこと。Pod には5つの見え方があり、CrashLoopBackOffは状態ではなく「待たされている」という説明- 落ちた Pod の調べ方には順番があること。
get→describe(Events)→logs --previous→execを飛ばすと、毎回同じところで詰まる - Kubernetes の部品同士は、名前ではなくラベルで繋がっていること。これが後から出てくる全部の土台
この記事でやること
- 最小のマニフェスト(YAML)を4行の骨組みから書き、
kubectl apply -fで Pod を1つ作る kubectl explain pod.specで、書ける項目を自分で調べる(記事を見ずに引ける状態にする)- その Pod を
kubectl delete podで消し、戻ってこないことを確かめる - 1つの Pod に2つのコンテナを入れ、
localhostで繋がるところと、initContainersが先に走って終わるところを見る Pending/Succeeded/Failed/CrashLoopBackOffをわざと作り、get→describe→logs→execの順で調べる
先に知る言葉
この記事で初めて出てくる言葉だけ、その場で短く置きます。 詳しくは 用語集 を見てください。
| 言葉 | この記事での意味 |
|---|---|
| マニフェスト | 「こうあってほしい状態」を書いた YAML ファイル。Kubernetes に渡すのはこれ |
apiVersion | その部品の仕様の版。Kubernetes は部品ごとに版を持っていて、書き間違えると受け取ってもらえない |
kind | 何を宣言しているか。この記事では全部 Pod |
metadata | 名前とラベル。「これは誰か」を書く場所 |
spec | 中身の希望。「どうあってほしいか」を書く場所 |
status | いまどうなっているか。人が書く場所ではなく、クラスタが書き込む場所 |
| コンテナランタイム | コンテナを実際に起動する下回り。Kubernetes 自身はコンテナを動かさず、これに頼む |
| サイドカー | 主役のコンテナに寄り添って働く、脇役のコンテナ。同じ Pod に同居させる |
initContainers | 主役より先に走り、終わってから主役が始まるコンテナ。準備係 |
| ラベル(label) | Pod などに貼る キー: 値 の名札。Kubernetes は名前ではなくこれで対象を選ぶ |
| セレクタ(selector) | 「この名札が付いたものを対象にする」という指定 |
| Events | クラスタが残した出来事の記録。「なぜ起動しないか」はほぼここに書いてある |
準備:クラスタを起こす
Stopped なら起こします。
NAME STATUS ROLES AGE VERSION
minikube Ready control-plane 12d v1.3x.x
Ready が出てから先に進んでください。 ここが出ないうちに kubectl を打つと、全部「繋がらない」で終わります。
前回の練習が残っているかもしれないので、先に見ます。
web などが残っていたら、消しておきます。
--ignore-not-foundは「無くてもエラーにするな」という指定です。無い前提のコマンドを安心して打てるので、片づけのときによく使います。
作業用のフォルダを作ります。
Pod を YAML で作る
まず kubectl run を使いません。 打ちやすいのですが、何が作られたのかが見えないからです。ファイルに書きます。
apiVersion: v1
kind: Pod
metadata:
name: hello
spec:
containers:
- name: web
image: nginx:1.27
これが Pod の最小です。 1行ずつ見ます。
| 行 | 何を言っているか |
|---|---|
apiVersion: v1 | Pod の仕様の版は v1。 Pod は Kubernetes の一番古い部品なので、グループ名の付かない v1 です。新しめの部品は apps/v1 のようにグループ名が付きます(本線の minikube入門で作った Deployment がそれ) |
kind: Pod | 作るのは Pod。 ここを間違えると、spec の中身の意味が丸ごと変わります |
metadata: | 「これは誰か」を書く区画。 ここから下の name と、あとで足す labels が入ります |
name: hello | Pod の名前。 Pod を直に作るときは自分で決められます(Deployment 経由だと決められません) |
spec: | 「どうあってほしいか」を書く区画。 ここから下が中身の希望です |
containers: | 中に入れるコンテナの一覧。 - で始まるリストなので、1つでもリストとして書きます |
- name: web | Pod の中でのコンテナの呼び名。 Pod の名前とは別物です。kubectl logs -c web のように後で指すときに使います |
image: nginx:1.27 | どのイメージを動かすか。 タグを latest にしないのは Dockerの回と同じ理由です |
YAMLはインデントが意味を持ちます。 半角スペースで、タブを使いません。
nanoは打ったとおりに入るので、タブキーを押さないでください。 ここで詰まると原因が見えません。
当てる前に、形だけ見ます。
pod/hello created (dry run)
(dry run) と付いています。クラスタには何も起きていません。 nginx -t と同じ、壊す前に確かめる手順です。
では、当てます。
NAME READY STATUS RESTARTS AGE
hello 1/1 Running 0 18s
| 列 | 意味 |
|---|---|
READY 1/1 | 右が「Pod の中のコンテナ数」、左が「準備できた数」。 あとで2つ入れると 2/2 になります |
STATUS | いまの見え方。 あとで5種類を作り分けます |
RESTARTS | 同じ Pod の中でコンテナが再起動した回数。 Pod ごと作り直された回数ではありません |
AGE | この Pod が作られてからの時間 |
もっと見ます。
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
hello 1/1 Running 0 40s 10.244.0.7 minikube <none> <none>
IP の列に注目してください。10.244.0.7 が、この Pod に1つ付いたIPです。コンテナに付いたのではありません。Pod に付いています。 ここが後で効いてきます。
[スクリーンショット: 01_pod作成.png] kubectl apply -f 01-minimal.yaml と kubectl get pod hello -o wide を続けて実行し、Running と Pod のIPが出ている画面を撮ってください。
describe で、書いていないことまで見る
長いので、全部読まなくて構いません。 見る場所は決まっています。
Name: hello
Namespace: default
Node: minikube/192.168.49.2
Status: Running
IP: 10.244.0.7
Containers:
web:
Image: nginx:1.27
State: Running
Restart Count: 0
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 60s default-scheduler Successfully assigned default/hello to minikube
Normal Pulling 59s kubelet Pulling image "nginx:1.27"
Normal Pulled 52s kubelet Successfully pulled image
Normal Created 52s kubelet Created container web
Normal Started 52s kubelet Started container web
一番下の Events が本体です。「どのノードに割り当てられ → イメージを取って → コンテナを作って → 起動した」という流れが、そのまま残っています。
うまくいっているときに一度読んでおいてください。 失敗したときに、この流れのどこで止まったかが分かるようになります。
自分が書いていない項目が、大量に入っている
書いたのは8行でした。クラスタが持っている実物を見ます。
書いた覚えのない項目が並んでいます。 restartPolicy、dnsPolicy、terminationGracePeriodSeconds、status: のブロック。
省略した項目は、クラスタが既定値で埋めます。 つまりマニフェストは「全部書くもの」ではなく「既定値と違うところだけ書くもの」です。
status:は自分では書きません。 クラスタが「いまこうなっている」と書き込む場所です。specが希望、statusが現実で、この2つを突き合わせるのが Kubernetes の仕事です。
ここが本題:書ける項目は、暗記しない
「spec の下に何を書けるのか」を、私は最初ネットで探していました。 これはやめたほうがいいです。
- 記事はバージョンが古いことがある
- 自分のクラスタで使えるとは限らない
クラスタ本人に聞けます。
KIND: Pod
VERSION: v1
FIELD: spec <PodSpec>
DESCRIPTION:
PodSpec is a description of a pod.
FIELDS:
activeDeadlineSeconds <integer>
containers <[]Container> -required-
initContainers <[]Container>
nodeSelector <map[string]string>
restartPolicy <string>
volumes <[]Volume>
...
このクラスタで実際に書ける項目が、全部出ます。
| 読み方 | 意味 |
|---|---|
-required- | 省略できない。 containers にだけ付いています |
<string> | 文字列を1つ書く |
<[]Container> | - で始まるリストを書く([] がリストの印) |
<map[string]string> | キー: 値 を並べる |
掘っていけます。
restartPolicy はこう返ります。
FIELD: restartPolicy <string>
DESCRIPTION:
Restart policy for all containers within the pod.
One of Always, OnFailure, Never. Default to Always.
「取れる値は3つ、既定は Always」まで書いてあります。あとで Failed を作るときに、この既定値が邪魔をします。 ここで見ておくと、そこで慌てません。
全体を一気に見たいときは、
この記事で一番持ち帰ってほしいのは、実はこのコマンドです。 Kubernetes は部品が多く、全部覚えるのは無理です。 そして覚えても、バージョンが上がるとズレます。 「引ける」状態のほうが、「覚えている」状態より強いです。公式ドキュメントを読まずに引くのと同じ姿勢を、クラスタに対してやっているだけです。
Pod を消しても、戻ってこない
冒頭でやったことを、今度は理由が分かる状態でやります。
いまの Pod のIPと名前を控えます。
消します。
pod "hello" deleted
すぐに見ます。
No resources found in default namespace.
戻ってきません。 何秒待っても戻りません。
本線の minikube入門で、同じコマンドで Pod が復活したのと、何が違うのか。
【本線】 【今回】
Deployment「1個保て」 ← 覚えている (誰も居ない)
│
└─ Pod ← 消す Pod ← 消す
↓ ↓
現実 0個 ≠ 希望 1個 (比べる相手が無い)
↓ ↓
新しい Pod を作る 何も起きない
リコンサイル(見て、違ったら直す)ループは、「あるべき状態」を覚えている誰かが居て初めて回ります。 Pod は「あるべき状態」ではなく「いま置かれている実体」です。実体が消えたことを、実体自身は嘆けません。
言い換えると、こうです。
| 何を持っているか | 消したらどうなるか | |
|---|---|---|
| 直に作った Pod | 実体だけ | 消えたまま |
| 上位のものに作らせた Pod | 上位が「何個保つか」という希望を持っている | 新しい Pod が作られる(名前もIPも別物) |
単体の Pod には、面倒を見る人が居ません。 それだけです。
だから、実務で Pod を直に書くことは、ほとんどありません。 ではなぜこの記事で書いているかというと、上位のものが作るのも結局この Pod だからです。上位のマニフェストの中には、いま書いた spec がそのまま埋め込まれます。 ここが読めないと、上の階は一生読めません。
[スクリーンショット: 02_pod削除.png] kubectl delete pod hello の直後に kubectl get pods を打ち、No resources found が出ている画面を撮ってください。
ここで「Kubernetes は落ちても勝手に直るはずでは」と思ったなら、正しい引っかかり方です。 直るのは、直せと宣言されているものだけです。宣言していないものは直りません。 「Kubernetes を入れたから安全」ではなく、「何をあるべき状態として宣言したか」だけが効きます。
kubectl run は何をしていたのか
冒頭で打った kubectl run test --image=nginx も、いまと同じ「直に作った Pod」でした。
確かめられます。
さっき手で書いたのとほぼ同じ YAML が出ます。 kubectl run は、この YAML を裏で作って投げていただけです。
--dry-run=client -o yamlは、この先ずっと使います。 「打ちやすいコマンド」を「読めるYAML」に翻訳させるやり方です。コマンドで覚えるのをやめて、ファイルで覚えるための橋になります。
いまの test は消しておきます。
Pod の中身:なぜコンテナ単体ではないのか
ここで一度、部品の形を確認します。
┌─ Pod ─────────────────────────────────────┐
│ IP: 10.244.0.7 ← Pod に1つ │
│ ボリューム: shared ← Pod に属する │
│ │
│ ┌──────────────┐ ┌──────────────────┐ │
│ │ コンテナ A │ │ コンテナ B │ │
│ │ nginx :80 │ │ ログ収集など │ │
│ └──────────────┘ └──────────────────┘ │
│ └── localhost で互いに繋がる ──┘ │
└────────────────────────────────────────────┘
Pod が持っているものは3つです。
| 持ち物 | 内容 |
|---|---|
| 1つ以上のコンテナ | 1つでもいいし、複数でもいい。 ただし常に「Pod」という単位で置かれる |
| 1つのIPアドレス | コンテナごとではなく Pod に1つ。 中のコンテナはこれを共有する |
| ボリューム | Pod に属する置き場。 中の複数のコンテナから同じものを見られる |
「なぜコンテナ単体を置く単位にしなかったのか」という疑問が、ここで出ます。答えは「離れると困る組み合わせがあるから」です。
- Webサーバーと、そのログを吸い出す係。ログのファイルを同じ場所で見る必要がある
- アプリと、設定を取ってきて置く係。同じディスクに書かないと意味がない
- アプリと、通信を横取りして暗号化する係。同じネットワークに居ないと横取りできない
これらを「別々に置いていいもの」として扱うと、別のマシンに離れて置かれた瞬間に壊れます。 「絶対に一緒に居る」を表現する単位が要るので、Pod があります。
逆に言うと、離れても困らないものは同じ Pod に入れません。 Webサーバーとデータベースは別の Pod です。 一緒に入れると、Webを3つに増やしたときにデータベースも3つになります。 判断基準は「一緒に増やしたいか」です。増やす単位が違うなら、Pod を分けます。
この設計は 名前空間と cgroups の回を読んでいると、実装まで想像がつきます。 Pod の中のコンテナは、ネットワーク名前空間を共有しているだけです。Kubernetes が新しい隔離技術を作ったわけではなく、既にあるものの束ね方を変えただけです。
2つのコンテナを1つの Pod に入れる
言葉で読むより、繋げてみたほうが早いです。
apiVersion: v1
kind: Pod
metadata:
name: pair
spec:
containers:
- name: web
image: nginx:1.27
- name: side
image: busybox:1.36
command: ["sh", "-c", "sleep 3600"]
変わったのは、containers: の下に2つ目が増えただけです。
| 追加分 | 意味 |
|---|---|
- name: side | 2つ目のコンテナ。Pod の中での呼び名 |
image: busybox:1.36 | 小さい道具箱イメージ。wget などが入っています |
command: [...] | イメージの既定の起動コマンドを上書き。busybox は何も指定しないとすぐ終わるので、1時間眠らせて生かしておきます |
sleep 3600を入れているのは、実験のためです。 仕事をしないコンテナは、起動した瞬間に終わります。 終わると Pod が落ちたことになり、観察できません。「終わらせないために眠らせる」は、練習中だけの手です。
NAME READY STATUS RESTARTS AGE
pair 2/2 Running 0 25s
READY が 2/2 になりました。 さっきの 1/1 と見比べてください。READY の右は Pod の中のコンテナ数だ、というのがここで実物になります。
localhost で繋がるか試す
side の中に入って、web を呼びます。
| 部分 | 意味 |
|---|---|
exec | 動いているコンテナの中でコマンドを実行する |
-it | 対話できる形で繋ぐ(docker exec -it と同じ) |
-c side | どのコンテナか。Pod に2つ以上あるときは必須です。省くと「どっちだ」と聞かれます |
-- sh | -- の後ろが、コンテナの中で打つコマンド |
中に入ったら、打ちます。
wget -qO- http://localhost/ | head -n 4
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
繋がりました。 side の中から、何のIPも名前も指定せず localhost で nginx に届いています。
もう1つ見ます。
ip a | grep "inet "
inet 127.0.0.1/8 scope host lo
inet 10.244.0.9/24 scope global eth0
kubectl get pod pair -o wide で見える Pod のIPと、同じ値です。web の中で同じことをしても、同じIPが出ます。 抜けます。
exit
確かめます。
3つとも同じIPです。 コンテナが2つあっても、IPは1つです。
[スクリーンショット: 03_localhostで繋がる.png] kubectl exec -it pair -c side -- sh で入り、wget -qO- http://localhost/ で nginx の応答が返っている画面を撮ってください。
Docker では、これは繋がらなかった
Docker の回で、同じことをやると失敗します。
wget: can't connect to remote host (127.0.0.1): Connection refused
繋がりません。 Docker のネットワークの回で見たとおり、コンテナごとに別のネットワーク名前空間があるので、localhost はそのコンテナ自身を指します。隣のコンテナではありません。
Compose で db のようなサービス名で呼べたのも、localhost ではなく「名前解決で相手のIPを引いていた」からです。
localhost が指す先 | 隣を呼ぶには | |
|---|---|---|
| Docker のコンテナ2つ | そのコンテナ自身 | 相手の名前かIP(同じネットワークに置く必要がある) |
| 同じ Pod の中の2つ | Pod 全体(両方のコンテナ) | localhost でよい |
この差が、サイドカーという書き方を成立させています。
サイドカーとは、「主役のコンテナを書き換えずに、隣に機能を足す」やり方です。 アプリのコードに「ログを転送する処理」を書き足す代わりに、転送する係を隣に置いて、
localhostで受け渡す。 アプリ側は、隣に誰が居るかを知らなくていいので、アプリを作り直さずに機能を足したり外したりできます。
片づけます。
initContainers:先に走って、終わる
サイドカーは「一緒に動き続ける係」でした。 「先に済ませてから始めたい」ものもあります。
- 設定ファイルを取ってきて置く
- データベースが起きるのを待つ
- ボリュームの中身を用意する
これを主役のコンテナの中でやると、主役のイメージにその処理を入れることになります。 分けられます。
apiVersion: v1
kind: Pod
metadata:
name: initdemo
spec:
volumes:
- name: shared
emptyDir: {}
initContainers:
- name: prepare
image: busybox:1.36
command:
- sh
- -c
- "echo '<h1>init が書きました</h1>' > /work/index.html; sleep 15"
volumeMounts:
- name: shared
mountPath: /work
containers:
- name: web
image: nginx:1.27
volumeMounts:
- name: shared
mountPath: /usr/share/nginx/html
| 部分 | 意味 |
|---|---|
volumes: | Pod に属する置き場を1つ用意。emptyDir: {} はPod が生きている間だけの空の置き場 |
initContainers: | containers より先に、上から順に走るコンテナ。 全部が正常終了してから containers が始まる |
volumeMounts: | その置き場を、このコンテナのどこに見せるか。 init 側は /work、nginx 側は /usr/share/nginx/html |
sleep 15 | 観察用に、わざと15秒かけています。 本来は要りません |
同じ置き場を、2つのコンテナが違うパスで見ています。 これが「Pod がボリュームを持つ」ということの実物です。
当てて、すぐに見ます。
NAME READY STATUS RESTARTS AGE
initdemo 0/1 Init:0/1 0 4s
Init:0/1。 「initContainers が1つあって、0個終わっている」という意味です。READY は 0/1 で、まだ主役は始まっていません。
15秒ほど待って、もう一度。
NAME READY STATUS RESTARTS AGE
initdemo 1/1 Running 0 22s
init が終わってから、nginx が動き始めました。 中身を見ます。
<h1>init が書きました</h1>
nginx のイメージには入っていなかったファイルが、別のコンテナによって置かれています。 nginx のイメージは1行も変えていません。
init コンテナの記録も残っています。
Init Containers:
prepare:
State: Terminated
Reason: Completed
Exit Code: 0
Terminated / Completed / Exit Code: 0。 終わっているのが正常です。動き続けている必要はありません。
initContainersが失敗したら、主役は始まりません。 ここがcommandを書き間違えたときの詰まりどころです。STATUSがInit:ErrorやInit:CrashLoopBackOffで止まります。 そのときに見るのはkubectl logs <Pod名> -c <initの名前>です。-cを付けないと、まだ起動していない主役のログを探して「見つからない」と言われます。
片づけます。
Pod のライフサイクル:5つの見え方を、全部作る
表で読むだけだと頭に入りません。1つずつ作ります。
STATUS | 意味 | どういうときに出るか |
|---|---|---|
Pending | まだどのノードでも動き始めていない | 置き場所が決まらない / イメージを取っている最中 |
Running | ノードに置かれ、コンテナが1つ以上動いている | 「正常」という意味ではない。動いてはいる、という意味 |
Succeeded | 中のコンテナが全部、正常終了した(終了コード0) | 一度きりの仕事。再起動しない設定のときだけ見える |
Failed | 中のコンテナが、異常終了した(終了コード0以外) | 同上 |
CrashLoopBackOff | 起動 → 落ちる を繰り返していて、次の再起動まで待たされている | これは状態ではなく「間隔を空けています」という説明 |
CrashLoopBackOffは「クラッシュループ」+「バックオフ」です。 バックオフ=再試行の間隔を、失敗のたびに延ばしていくこと。 10秒、20秒、40秒…と最大5分まで延びます。 「Kubernetes が諦めた」のではなく「間隔を空けて、まだ試している」という意味です。ここを取り違えると、直したのに反映されないように見えて焦ります。
Succeeded を作る
apiVersion: v1
kind: Pod
metadata:
name: job-ok
spec:
restartPolicy: Never
containers:
- name: work
image: busybox:1.36
command: ["sh", "-c", "echo '仕事しました'; sleep 5; exit 0"]
restartPolicy: Never が要点です。既定は Always で、それだと正常終了しても再起動されてしまい、Succeeded になりません。 さっき kubectl explain pod.spec.restartPolicy で見た既定値が、ここで効いてきます。
NAME READY STATUS RESTARTS AGE
job-ok 0/1 ContainerCreating 0 2s
job-ok 1/1 Running 0 4s
job-ok 0/1 Completed 0 10s
Ctrl + C で止めます。
STATUS の列には Completed と出ますが、Pod の段階(phase)としては Succeeded です。表示名と内部の名前が違うので、混乱しやすいところです。
Succeeded
-o jsonpath= は、YAMLの中の1箇所だけを取り出す指定です。status は自分が書いていない場所でしたが、こうやって読めます。
Failed を作る
さっきのファイルの終了コードだけ変えます。
しばらく待って、
NAME READY STATUS RESTARTS AGE
job-ng 0/1 Error 0 20s
job-ok 0/1 Completed 0 2m
Error と出ます。phase は Failed です。
Failed
State: Terminated
Reason: Error
Exit Code: 1
Exit Code: 1。 「動かなかった」ではなく「動いて、1で終わった」です。エラーは下から読む回と同じで、まず数字を見ます。
CrashLoopBackOff を作る
さっきと同じ「1で終わる」コンテナを、restartPolicy を消して作ります。
apiVersion: v1
kind: Pod
metadata:
name: crasher
spec:
containers:
- name: work
image: busybox:1.36
command: ["sh", "-c", "echo '起動しました'; sleep 3; exit 1"]
restartPolicy を書いていないので Always です。「常に動いていろ」と言われたものが、3秒で1を返して死ぬ。 これを繰り返します。
NAME READY STATUS RESTARTS AGE
crasher 1/1 Running 0 4s
crasher 0/1 Error 0 8s
crasher 1/1 Running 1 10s
crasher 0/1 Error 1 14s
crasher 0/1 CrashLoopBackOff 1 25s
crasher 1/1 Running 2 40s
crasher 0/1 CrashLoopBackOff 2 70s
Ctrl + C で止めます。
見てほしいのは2つです。
RESTARTSが増えている。 さっき「同じ Pod の中でコンテナが再起動した回数」と書いた数字が、実際に増えています。Pod は作り直されていません(AGEが伸び続けているのが証拠)RunningとCrashLoopBackOffの間隔が、だんだん延びている
本線の minikube入門で Deployment が Pod を作り直したときは
RESTARTSが 0 のままでした。 今回は同じ Pod の中で再起動しているので、数字が増えます。 「新品への置き換え」と「同じ Pod の中での再起動」は、別の出来事です。この数字がそれを見分ける手がかりになります。
[スクリーンショット: 04_crashloopbackoff.png] kubectl get pod crasher --watch の出力で、RESTARTS が増えながら CrashLoopBackOff に入っている画面を撮ってください。
Pending を作る
Pending は「置き場所が決まらない」ときに出ます。 絶対に存在しない条件を付けます。
apiVersion: v1
kind: Pod
metadata:
name: nowhere
spec:
nodeSelector:
disktype: superfast
containers:
- name: web
image: nginx:1.27
nodeSelector は「この名札が付いたノードにだけ置け」という指定です。disktype: superfast という名札のノードは存在しません。
NAME READY STATUS RESTARTS AGE
nowhere 0/1 Pending 0 30s
いつまでも Pending のままです。 理由は get では分かりません。describe を見ます。
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedScheduling 45s default-scheduler 0/1 nodes are available: 1 node(s) didn't match Pod's node affinity/selector.
0/1 nodes are available。 「1つあるノードのうち、条件に合うのは0個」と、はっきり書いてあります。
確かめます。 ノードの名札を見ます。
disktype がどこにも無いのが分かります。 付けてやれば、動き出します。
NAME READY STATUS RESTARTS AGE
nowhere 1/1 Running 0 2m
Pod を作り直していないのに、動き出しました。 「置けなかっただけ」で、希望は生きたまま待っていたということです。
名札は戻しておきます。
末尾の
-が「このラベルを消す」という指定です。disktype=(値が空)ではありません。
落ちたときに調べる順番
ここまでで、わざと4通りの落ち方を作りました。 調べ方には順番があります。 これを飛ばすと、毎回同じところで止まります。
① kubectl get pod → 何が起きているか(1行で)
↓
② kubectl describe pod → なぜそうなったか(Events を読む)
↓
③ kubectl logs → 中のプログラムは何と言ったか
(落ちた後なら --previous)
↓
④ kubectl exec → 中に入って手で確かめる
(Running のときだけ使える)
この順番には理由があります。
| 段 | 何が分かるか | ここで分かる典型 |
|---|---|---|
① get | どの段階で止まっているか | Pending なら置けていない。CrashLoopBackOff なら起動はしている |
② describe | クラスタ側の言い分(Events) | 置けない理由、イメージが取れない理由。中のプログラムの話ではない |
③ logs | 中のプログラムの言い分 | 設定ファイルが無い、繋ぎ先が居ない |
④ exec | 現物 | ファイルが実際にあるか、繋がるか |
② describe は「クラスタの言い分」
イメージ名を間違えた Pod を作ってみます。
NAME READY STATUS RESTARTS AGE
typo 0/1 ErrImagePull 0 15s
Error from server (BadRequest): container "typo" in pod "typo" is waiting to start: trying and failing to pull image
logs は何も教えてくれません。当然です。 プログラムがまだ起動していないので、言い分が存在しません。
Warning Failed 30s kubelet Failed to pull image "nginx:99.99.99": not found
Warning Failed 30s kubelet Error: ErrImagePull
Normal BackOff 18s kubelet Back-off pulling image "nginx:99.99.99"
ここに全部書いてあります。
起動する前の失敗は
describe、起動した後の失敗はlogs。 この切り分けだけで、詰まる時間がかなり減ります。
③ logs --previous — 落ちた後のログを読む
さっきの crasher は、いま何度目かの再起動をしています。
運が悪いと、こう返ります。
Error from server (BadRequest): container "work" in pod "crasher" is waiting to start: CrashLoopBackOff
CrashLoopBackOff の待ち時間の最中は、動いているコンテナが存在しません。 読むログがありません。
1つ前の、死んだコンテナのログを読めます。
起動しました
--previous(短く-p)が、この記事で2番目に持ち帰ってほしいコマンドです。 落ちて再起動を繰り返しているものは、logsだけでは読めません。 落ちる直前に何を言い残したかは--previousにあります。 タイミングを狙ってlogsを連打する必要はありません。
④ exec で中に入る
Running のときにしか使えません。 落ちているものには入れません。
さっきの nowhere(いまは Running)で試します。
50x.html
index.html
default.conf
-- の後ろがコンテナの中で走ります。 設定ファイルが実際に置かれているかを、目で確かめられます。
execで中を書き換えて直さないでください。 Pod は使い捨てなので、次に作り直された瞬間に消えます。 直すのはマニフェストのほうです。execは「調べる」ためのもので、「直す」ためのものではありません。
ラベルとセレクタ:Kubernetes の繋ぎ方
最後に、この先ずっと出てくる仕組みを見ます。
いま、Pod がいくつか残っています。
NAME READY STATUS RESTARTS AGE
crasher 0/1 CrashLoopBackOff 8 12m
job-ng 0/1 Error 0 15m
job-ok 0/1 Completed 0 18m
nowhere 1/1 Running 0 8m
名前がバラバラで、まとめて扱えません。 名札を貼ります。
apiVersion: v1
kind: Pod
metadata:
name: front-a
labels:
app: shop
tier: frontend
spec:
containers:
- name: web
image: nginx:1.27
---
apiVersion: v1
kind: Pod
metadata:
name: front-b
labels:
app: shop
tier: frontend
spec:
containers:
- name: web
image: nginx:1.27
---
apiVersion: v1
kind: Pod
metadata:
name: back-a
labels:
app: shop
tier: backend
spec:
containers:
- name: api
image: nginx:1.27
--- は、1つのファイルに複数の宣言を書くときの区切りです。
NAME READY STATUS RESTARTS AGE LABELS
back-a 1/1 Running 0 10s app=shop,tier=backend
front-a 1/1 Running 0 10s app=shop,tier=frontend
front-b 1/1 Running 0 10s app=shop,tier=frontend
名札で選べます。
| 書き方 | 意味 |
|---|---|
-l app=shop | app が shop のもの |
-l tier!=frontend | tier が frontend でないもの |
-l 'tier in (a,b)' | いずれかに一致 |
-l app | app という名札が付いている(値は問わない) |
-l '!app' | app という名札が付いていない |
まとめて消せます。
front-a と front-b だけが消えました。 名前を1つも打っていません。
ここがこの先の全部の土台です。 Kubernetes の部品は、お互いを名前で繋いでいません。名札で繋いでいます。 「
front-aに繋げ」ではなく 「tier: frontendが付いたもの、全部に繋げ」と書きます。 だから、Pod が入れ替わって名前が変わっても、繋ぎ先を書き直さなくて済みます。逆に言うと、名札を貼り間違えると、何にも繋がらないのに何のエラーも出ません。 「動いているのに繋がらない」の原因の多くはこれです。 困ったら
kubectl get pods --show-labelsで、実際に何が貼ってあるかを見る。 想像で判断しないでください。
後から貼ることも、剥がすこともできます。
つまずいたところ
「宣言的」を「全部が自動で直る」だと思っていた
この記事の出発点そのものです。 本線の minikube入門の記事で Pod が勝手に復活するのを見て、「Kubernetes に置いたものは全部そうなる」と思い込みました。
違いました。 直るのは「こうあってほしい」と誰かが宣言しているものだけです。Pod を直に置いたものは、誰も宣言していないので、消えたら消えたままです。
これは Kubernetes の欠陥ではありません。 「宣言していないものは守られない」というのは、むしろ当たり前の話です。私が「Kubernetes という道具が偉い」と勘違いしていただけでした。偉いのは道具ではなく、宣言のほうです。
kubectl exec で「コンテナを選べ」と怒られた
error: a container name must be specified for pod pair, choose one of: [web side]
Pod にコンテナが2つあると、-c を付けないと決まりません。 「Pod = コンテナ」だと思っていると、この文の意味が分かりません。 「Pod の中の、どれ」を聞かれています。
選択肢はメッセージの中に書いてあります。 エラーは下から読むと同じで、答えがメッセージに入っていることは多いです。
busybox の Pod が、作った直後に CrashLoopBackOff になった
最初、command を書かずにこう書きました。
- name: side
image: busybox:1.36
すぐ CrashLoopBackOff になりました。 壊れていると思って describe も logs も見ましたが、何も悪いことが書いてありません。
当たり前でした。 busybox は何も指定しないと、シェルを起動してすぐ終わります。 正常に終わっただけです。
そして restartPolicy の既定は Always なので、「常に動いていろ」と言われたものが終わる → 再起動 → また終わるを繰り返していました。
CrashLoopBackOffは「壊れている」とは限りません。 「終わるべきものに、終わるなと言っている」ときにも出ます。一度きりの仕事ならrestartPolicy: Neverを書きます。
kubectl logs が「waiting to start」しか返さない
落ちている最中の Pod のログを読もうとして、何度も打ち直しました。
--previous を知らなかっただけです。いま動いていないものの、直前の言い分を読むオプションがあります。タイミングを狙う必要はありませんでした。
YAML のインデントをタブで書いて、意味不明なエラーが出た
error converting YAML to JSON: yaml: line 6: found character that cannot start any token
「文字」としか言われず、何が悪いのか分かりませんでした。 タブでした。
YAML はタブを受け付けません。半角スペースだけです。nano は打ったキーがそのまま入るので、タブキーを押した時点で壊れます。 見た目では分かりません。
疑ったら、これで見えます。
タブは ^I と表示されます。 見えないものは、見えるようにしてから判断します。
kubectl delete pod が返ってこない
Terminating のまま20秒ほど止まります。 壊れたと思って Ctrl + C を押しました。
待つのが正解でした。Kubernetes は、消す前にコンテナへ「終わってください」と伝えて、猶予を与えます。 既定は30秒です。
急ぐときの手はありますが、練習では待ってください。 「止まらない」ではなく「片づけている最中」です。
後片づけ
Pod は残しておくとメモリを使います。 この記事で作ったものを全部消します。
まず、何が残っているかを見ます。
ファイル単位で消せます。
-f .は「このフォルダの中の全マニフェスト」という指定です。作ったものと消すものが、同じファイルで対応します。
kubectl run で作ったものは、ファイルがありません。名前で消します。
残っていないか確認します。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 12d
service/kubernetes だけが残ります。 これはクラスタ自身のもので、消してはいけません。
ノードに貼った名札も、消し忘れていないか見ます。
何も出なければ、剥がせています。
クラスタをどうするか
続けて Kubernetes を触るなら、止めるだけで構いません。
しばらく間が空くなら、ディスクごと返します。
minikube deleteはクラスタごと消えます。 作った Pod もマニフェストの適用結果も消えますが、~/k8s-podの YAML ファイルは残ります。 これが「マニフェストに書く」ことの実利です。クラスタを消しても、宣言は手元に残っていて、kubectl apply -fでまた同じ状態にできます。
VMのメモリが戻ったか確認します。
まとめ
- 「宣言的」は「何でも勝手に直る」ではない。 直るのはあるべき状態を宣言されているものだけ。単体の Pod には、面倒を見る人が居ない
kubectl runで作った Pod を消すと、戻ってこない。 本線で Pod が復活したのは、上に「1個保て」と覚えているものが居たから- Pod の最小は4つの区画。
apiVersion(部品の版)/kind(何を作るか)/metadata(誰か)/spec(どうあってほしいか) specが希望、statusが現実。statusは自分では書かない。この2つを突き合わせるのが Kubernetes の仕事- 書ける項目は暗記しない。
kubectl explain pod.specでクラスタ本人に聞く。-required-と<[]...>の読み方だけ覚えれば引ける - 省略した項目はクラスタが既定値で埋める。 マニフェストは「全部書くもの」ではなく「既定と違うところを書くもの」
- Pod はコンテナではない。 1つ以上のコンテナ・IPは1つ・ボリュームは Pod に属する
- 同じ Pod の中は
localhostで繋がる。 Docker のコンテナ同士では繋がらなかった。この差がサイドカーを成立させている - サイドカーは「主役を書き換えずに隣に機能を足す」やり方。 アプリは隣に誰が居るかを知らなくていい
initContainersは先に走って、終わる。 終わるのが正常。失敗すると主役が始まらない。ログは-c <initの名前>で読むRunningは「正常」ではなく「動いている」。CrashLoopBackOffは状態ではなく「間隔を空けて、まだ試している」という説明RESTARTSが増える=同じ Pod の中での再起動。 Pod ごと作り直されると 0 に戻る。 この数字で見分けられる- 調べる順番は
get→describe→logs→exec。 起動する前の失敗はdescribe、起動した後の失敗はlogs - 落ちて再起動を繰り返しているものは
kubectl logs --previous。 タイミングを狙う必要はない execは調べるためのもの。中を書き換えて直さない(Pod は使い捨てなので消える)- Kubernetes の部品は名前ではなくラベルで繋がる。 貼り間違えても何のエラーも出ないので、
--show-labelsで実物を見る - クラスタを消しても、マニフェストは手元に残る。 だからコマンドではなくファイルに書く
参考リンク
- roadmap.sh — Kubernetes
- Kubernetes 公式ドキュメント(日本語)
- Kubernetes — Pod
- Kubernetes — Pod のライフサイクル
- Kubernetes — Init コンテナ
- Kubernetes — ラベルとセレクター
- Kubernetes — ノードへの Pod の割り当て
- Kubernetes — アプリケーションのトラブルシューティング
- kubectl チートシート
次に読む
この記事は 【深掘り】Kubernetes の 2 / 15 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- Pod をYAMLで作る / ライフサイクル
- サイドカーと initContainers / 調べ方の型
この記事は、上の項目を実際に手を動かして確かめる回です。

コメント