logsが空なのに落ちていることがあります。Kubernetesで原因を追うときに、どこから順に見るのかを決めます。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Prometheusは取りに行く — 監視とログの入口 の続きとして、Kubernetes の中で「詰まったときにどこを見るか」だけを扱います。
前回: RBACとPodのセキュリティ — 全員がcluster-adminだった
この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。
前提: 本線の minikubeでKubernetesを試す|宣言的な状態管理の基本 で
kubectl get nodesがReadyを返すところまで済んでいること。 監視を入れる章では Helmの使い方|Kubernetesのマニフェストをテンプレート化する のhelmを使います。
Pod が動きません。
Pod の回で身につけた順番どおり、kubectl logs を打ちました。
Error from server (BadRequest): container "app" in pod "my-app-7c9d4b6f5-2xk8p" is waiting to start: ContainerCreating
何も出ません。
私はここで、しばらく同じコマンドを打ち続けました。ログさえ読めれば原因が分かると思い込んでいたからです。何度打っても同じ1行が返ってきて、そのうち「Kubernetes はログも見せてくれないのか」と腹を立てました。
腹を立てる相手が違いました。メッセージは正しいことを言っています。
waiting to start。まだ起動していません。
kubectl logs が見せるのは、コンテナのプロセスが標準出力に書いたものです。プロセスがまだ始まっていないなら、書いた人が居ません。 ログが空なのは壊れているからではなく、そもそもログが生まれる前の段階で止まっているからです。
つまり、こういうことでした。
Runningになる前の失敗は、logsには絶対に出ない。 見る場所が違う。
起動する前に何が起きたかを知っているのは、アプリではなくクラスタのほうです。イメージを取りに行った、失敗した、もう一度試している、置く場所が見つからない —— それは全部クラスタ側の出来事で、kubectl describe の Events に書かれています。
この記事は、この「見る場所が違う」を、症状ごとに機械的に決められるようにする回です。そのうえで、毎回 kubectl を打たなくても異常に気づけるように、監視を1つだけ入れます。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
kubectl logsが空なのは異常ではないこと。Runningになる前の失敗はアプリのログには出ないので、見るのはdescribeの Events になる- 症状を見た瞬間に、次に打つコマンドは1つに決まること。当てずっぽうに
logsを打つのをやめられる kubectl get eventsは過去を全部覚えていないこと。既定では1時間ほどで消えるので、「あとで見よう」が通用しないkubectl execが使えないコンテナがあること。シェルの入っていないイメージには入れず、代わりにkubectl debugという別の入口がある- Pod を消すと、その Pod のログも一緒に消えること。だからログ集約が必要になる。「あとで調べる」は集約してから成立する
- Kubernetes を入れたことで、新しく見るべき指標が増えること。CPUやメモリだけでなく、再起動回数・
Pendingの数・ノードのReadyを見る - アラートは「原因」ではなく「症状」で鳴らすこと。Pod が1つ落ちても鳴らさない。ノードが落ちたら鳴らす
この記事でやること
- 5つの症状に対して「最初に打つコマンド」を決めた表を作り、手元に置く
events/logs --previous/exec/debug/port-forward/-o yaml/describe nodeを、実際に全部打つfree -hでメモリを確認し、足りるなら Helm で監視を1つ入れる(足りなければ読むだけで先に進む)kubectl port-forwardで Grafana を開き、最初に見る2画面(ノードの資源/Pod の再起動回数)を決めるk9sなどの道具を1つだけ入れて試し、最後に監視スタックを必ず消す
先に知る言葉
この記事で初めて出てくる言葉だけ、その場で短く置きます。 詳しくは 用語集 を見てください。
| 言葉 | この記事での意味 |
|---|---|
| Events(イベント) | クラスタが「いま何をしたか」を書き残した短いメモ。人ではなくクラスタが書く。保存期間が短い |
ImagePullBackOff | イメージを取りに行って失敗し、間隔を空けて再挑戦している状態。名前・タグ・認証のどれかが違う |
CrashLoopBackOff | 起動はしたが落ちる、を繰り返している状態。状態名ではなく「待たされている」という説明 |
Pending | まだどのノードにも置かれていない状態。置き場所が決まっていない |
| エフェメラルコンテナ | 調査のためだけに、動いている Pod へ後から差し込む使い捨てのコンテナ。kubectl debug が使う |
| distroless | シェルもパッケージマネージャも入っていない、極端に小さいイメージ。軽くて安全だがexec で入れない |
port-forward | 手元の kubectl から Pod や Service へ、一時的にトンネルを掘ること。Service を作らずに繋げる |
| メトリクス | 数字で測れる状態(CPU使用率、再起動回数など)。ログとは別物 |
| Helm | Kubernetes 用のインストーラ。大量のYAMLをまとめて入れる。本線の回で扱いました |
① 症状から、見る場所を決める
この表が、この記事で一番持ち帰ってほしいものです。
私は最初、何が起きても kubectl logs を打っていました。打つコマンドを1つしか知らなかったからです。ですが Kubernetes では、症状ごとに「情報を持っている人」が違います。
症状(kubectl get pods の見え方) | 誰が原因を知っているか | 最初に打つコマンド |
|---|---|---|
Pending | スケジューラ(置き場所を決める係) | kubectl describe pod <名前> の Events |
ImagePullBackOff / ErrImagePull | ノードのコンテナランタイム | kubectl describe pod <名前> の Events |
CrashLoopBackOff | アプリ自身(起動はしている) | kubectl logs <名前> --previous |
Running だが繋がらない | ネットワークの経路(Service / ラベル) | kubectl get endpoints <Service名> |
Running だが遅い | 資源(ノードとPod) | kubectl top pod / kubectl top node |
上の3行と下の2行のあいだに、はっきりした線があります。
Runningになる前 →describeの Events。Runningになった後 →logsと、その先。
logs が読めるのは「アプリのプロセスが動き始めた後」だけです。Pending や ImagePullBackOff は、アプリがまだ1行も実行されていません。 ここで logs を打つのは、着いていない配達員に「荷物の中身は何ですか」と聞いているのと同じです。
なぜ Events に書いてあるのか
Pod の回で見たとおり、Kubernetes は「あるべき状態」と「いまの状態」を突き合わせて、差を埋め続ける仕組みです。
その「埋めようとした作業の記録」が Events です。
- 置き場所を探した → 見つからなかった
- イメージを取りに行った → 認証で弾かれた
- コンテナを起動した → 3秒で終了した
全部、アプリの外側の出来事です。だからアプリのログには出ません。クラスタが自分の作業日誌に書いています。
[スクリーンショット: 01_logs空.png] kubectl logs を打って is waiting to start が返っている画面を撮ってください。
② 【】調べ方を、実際に全部打つ
表を眺めるだけでは身につきません。7つ、順番に打ちます。
1. kubectl describe pod — 一番下だけ読む
describe の出力は長いです。上から読もうとすると必ず疲れます。
describeは、一番下のEvents:から読む。
私はこれを知るまで、毎回上から Labels: や Annotations: を読んでいて、肝心のところに着く前に集中が切れていました。上半分は「どういう設定か」で、下の Events が「何が起きたか」です。困っているときに要るのは後者だけです。
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 2m default-scheduler Successfully assigned default/my-app to minikube
Normal Pulling 2m kubelet Pulling image "myapp:v9"
Warning Failed 100s kubelet Failed to pull image "myapp:v9": not found
Warning Failed 100s kubelet Error: ErrImagePull
Normal BackOff 45s (x5 over 100s) kubelet Back-off pulling image "myapp:v9"
Type が Warning の行だけ拾えば、たいてい終わります。
From の列も見てください。default-scheduler なら置き場所の問題、kubelet ならノードの上での問題です。誰が困っているかが書いてあります。
2. kubectl get events — クラスタ全体を時系列で
describe は Pod 1つ分です。「何かおかしいが、どの Pod かも分からない」ときは、全体を時系列で見ます。
-A は全ネームスペース。既定では新しい順に並ばないので、--sort-by はほぼ必須だと思ってください。
ここに重大な落とし穴があります。
Events は、既定でおよそ1時間で消えます。
Kubernetes の API サーバーには --event-ttl という設定があり、既定値は1時間です。昨日落ちた Pod の Events は、もう残っていません。
私はこれを知らずに、「朝おかしかったやつを昼に調べよう」として何も残っていない画面を見ました。 そのときは自分の打ち間違いだと思って、同じコマンドを5回打ちました。
覚えることは1つです。
異常に気づいた瞬間に、Events を取る。あとで見ようは通用しない。
その場で保存するなら、こうします。
この「短命さ」が、後で出てくるログ集約と監視が必要になる理由そのものです。人間がその場に居ないと消えるなら、居なくても記録が残る仕掛けが要ります。
3. kubectl logs — 4つのオプションだけ覚える
Running まで行ったら、ようやくログです。素の kubectl logs だけでは足りません。
| オプション | 何をするか | いつ使うか |
|---|---|---|
--previous(-p) | 1つ前に落ちた回のログを読む | CrashLoopBackOff のとき。ほぼ必ず使う |
-f | 出続けるのを追いかける | 操作しながら、その場の反応を見たいとき |
--since=10m | 直近10分だけに絞る | ログが多すぎて流れてしまうとき |
--all-containers | Pod の中の全コンテナをまとめて出す | サイドカーが居るとき |
--previous が要る理由を、はっきりさせておきます。
CrashLoopBackOff の Pod は、いま動いているコンテナが存在しません。「落ちた → 待っている」の待ち時間です。素の kubectl logs は「いまのコンテナ」を見に行くので、空か、起動直後の数行しか出ません。
落ちた本人の遺言は --previous にあります。
私は最初、これを知らずに再起動の瞬間を狙って kubectl logs を連打していました。 タイミングを狙う必要はありませんでした。
複数コンテナの Pod では、コンテナ名を指定します。
コンテナ名が分からなければ、こう引けます。
4. kubectl exec — と、入れないとき
中に入って、設定ファイルや名前解決を確かめたいことがあります。
-- の後ろがコンテナの中で実行される命令です。-- を忘れると kubectl 自身のオプションだと解釈されます。
入れたら、たとえばこう確かめます。
ですが、入れないことがあります。
OCI runtime exec failed: exec failed: unable to start container process: exec: "sh": executable file not found in $PATH
私はこれを見て、Pod が壊れていると思いました。 違いました。
そのイメージには、
shが入っていません。
gcr.io/distroless/... のような distroless イメージや、Go の実行ファイル1つだけを詰めたイメージには、シェルもコマンドも入っていません。 Docker 深掘りのイメージサイズの回で「1.2GBが50MBになる」と喜んで削ったもの、それがそのまま「入れない」に効いてきます。
軽さと安全さを取ったぶん、調査の入口が閉じているわけです。これはトレードオフであって、故障ではありません。
そこで用意されているのが kubectl debug です。
これは、動いている Pod に、調査用のコンテナを後から1つ差し込みます(エフェメラルコンテナ)。--target で指定したコンテナとプロセスやネットワークを共有するので、元のイメージにシェルが無くても、busybox のシェルから隣を覗けます。
この記事では「そういう入口がある」ことを知っていれば十分です。詰まったときに「distroless だから入れない、kubectl debug がある」と思い出せれば、そこで止まりません。
exec も debug も、調べるためのものです。 中を書き換えて直さないでください。Pod の回で見たとおり、Pod は作り直された瞬間に元へ戻ります。
5. kubectl port-forward — Service を作らずに繋ぐ
「アプリ自体は生きているのか」を確かめたいのに、Service や Ingress の設定が疑わしい、という場面があります。
このとき、経路を全部飛ばして Pod へ直接繋げます。
別のターミナルで叩きます。
ここで返事が返ってきたら、アプリは無罪です。犯人は Service か Ingress か、その手前です。返事が返ってこなければ、アプリ側です。
この1回で、疑う範囲が半分になります。 本線の 障害対応は切り分けの順番がすべてで書いた「上から順に潰さず、真ん中で割る」を、Kubernetes でやるとこの形になります。
Service を経由して確かめたいときは、こう書きます。
VMの中で打っていることを忘れないでください。 port-forward が待ち受けるのはVMの 127.0.0.1 です。Windows のブラウザからは、そのままでは開けません。Windows 側の PowerShell から、SSHトンネルを1本足します。
この状態で Windows のブラウザから http://localhost:8080/ を開くと届きます。kubectl port-forward に --address 0.0.0.0 を付けてVMの外へ晒す方法もありますが、この記事ではやりません。認証が何も無い口を、そのままネットワークへ開けることになるためです。
6. kubectl get pod -o yaml — status.conditions を読む
describe は人向けに整形された文章です。機械が持っている生の状態は、YAML で読めます。
長いので、必要なところだけ抜きます。
status:
conditions:
- type: PodScheduled
status: "True"
- type: Initialized
status: "True"
- type: ContainersReady
status: "False"
reason: ContainersNotReady
- type: Ready
status: "False"
reason: ContainersNotReady
これは「起動の関門を、どこまで通ったか」の記録です。
type | 意味 | False なら |
|---|---|---|
PodScheduled | ノードが決まった | 置き場所が無い(資源不足など) |
Initialized | initContainers が全部終わった | 準備係が失敗している |
ContainersReady | 全コンテナが準備完了と言った | アプリの中で詰まっている |
Ready | Service が流していい状態 | 上のどれかが False |
上から順に見て、最初に
Falseになったところが、詰まっている場所です。
Service の回で扱った「Pod は動いているのに振り分けてもらえない」は、ここが Ready: False になっているという形で必ず現れます。Running と Ready は違います。
get の出力の READY 列(0/1 や 1/1)は、まさにこれを数えたものです。
7. kubectl describe node — ノード側を疑う
Pod を何度作り直しても同じところで失敗するなら、Pod ではなくノードを疑います。
見る場所は2つです。
Conditions:
Type Status Reason
---- ------ ------
MemoryPressure False KubeletHasSufficientMemory
DiskPressure True KubeletHasDiskPressure
PIDPressure False KubeletHasSufficientPID
Ready True KubeletReady
DiskPressure が True。 これはノードのディスクが逼迫しているという意味で、この状態になるとクラスタは新しい Pod を置かなくなり、既にある Pod を追い出します。 Pod 側をいくら直しても直りません。
もう1つは下のほうにある割り当て状況です。
Allocated resources:
Resource Requests Limits
-------- -------- ------
cpu 1750m (87%) 2 (100%)
memory 2Gi (68%) 3Gi (102%)
Pending の Pod があるとき、ここが埋まっていれば理由はこれです。「置く場所が無い」。
学習用のVMでは、ディスク逼迫は本当によく起きます。 イメージを何度も取り直しているうちに埋まります。
後者は、そのクラスタが持っているイメージを消します。 次の起動でイメージを取り直す時間がかかることを承知のうえで打ってください。
[スクリーンショット: 02_describe_events.png] kubectl describe pod の出力の、Events: の部分を撮ってください。Warning の行が写っていると分かりやすいです。
③ ログは、どこへ行っているのか
kubectl logs は、どこからログを取ってきているのでしょうか。
私はずっと「Kubernetes がログを溜めている」と思っていました。違いました。
流れはこうです。
- コンテナの中のプロセスが、標準出力(と標準エラー)に書く
- コンテナランタイムが、それを受け取って、ノードのファイルに書く
kubectl logsは、そのノードのファイルを読んで返しているだけ
ノードの中を実際に見られます。
ただのファイルです。/var/log/containers/ にあるのは /var/log/pods/ へのシンボリックリンクで、<Pod名>_<ネームスペース>_<コンテナ名>-<ID>.log という名前が付いています。
ここから、大事な性質が2つ出てきます。
① ログはファイルなので、放っておくと増える。 だからローテーション(一定サイズで切って古いのを捨てる)が入っています。古いログは、既定でも消えます。
② ログはノードの上のファイルなので、Pod を消すとログも消える。
これが効きます。
Error from server (NotFound): pods "my-app-7c9d4b6f5-2xk8p" not found
証拠ごと消えました。
私はこれを、自分でやりました。 落ちている Pod を「とりあえず作り直せば直るだろう」と消して、原因を調べる手段を自分で捨てました。 その後、同じ障害が2日後にまた起きました。
落ちた Pod を消す前に、
kubectl logs --previousとkubectl describeを取る。
さらに厄介なのは、Deployment の回で見たとおり、Pod は自分の意思とは関係なく作り直されるということです。人が消さなくても、Pod は入れ替わり、そのたびにログが消えます。
「あとで調べる」を成立させるには、ログをノードの外へ出しておくしかありません。 これが、本線の ログが3箇所に散っている — Lokiで1画面にするでやった集約が、Kubernetes ではもっと切実になる理由です。
アプリ側にも1つ決まりごとがあります。
Kubernetes 上のアプリは、ログをファイルに書かない。標準出力に出す。
ファイルに書くと、そのファイルは Pod と一緒に消えます。(ストレージの回でやったとおり、消えないようにするには別の仕掛けが要ります。)標準出力に出しておけば、集約の仕組みが勝手に拾ってくれます。
④ 【】監視を、1つだけ入れる
ここまでは「気づいた後」の話でした。気づく仕掛けを作ります。
先に、メモリを確認する
この章は、VMのメモリを大きく食います。 先に測ってください。
kubectl top が「Metrics API not available」と言う場合は、まだ測る仕組みが入っていません(この後で入れます)。
free -h の available | やること |
|---|---|
| 6GB 以上 | kube-prometheus-stack を入れる(この章のフルコース) |
| 2〜6GB | 軽い構成だけ(metrics-server → kubectl top)。Grafana は入れない |
| 2GB 未満 | 読むだけにして、次の章へ進んでください |
読むだけでも、この記事の目的は達成できます。 大事なのは「入れられたこと」ではなく、何を見るために入れるのかを決められることです。メモリが足りないVMに無理やり入れると、監視スタックが原因でクラスタが不安定になり、何を見ているのか分からなくなります。 これは私が実際にやりました。監視を入れたせいで落ちた Pod を、監視で調べるという無意味な時間を過ごしました。
minikube に割り当てたメモリを増やすなら、作り直しになります。
軽い構成 — metrics-server だけ
kubectl top が使えるようになるだけの、一番小さい監視です。数十MBしか使いません。
NAME CPU(cores) MEMORY(bytes)
my-app-7c9d4b6f5-2xk8p 3m 28Mi
「Running だが遅い」の切り分けは、これだけでもかなり進みます。 どの Pod がメモリを食っているかが、1行で出ます。
ただし、これは「いまの値」しか見せません。 過去がありません。「夜中に何が起きたか」には答えられません。 そこが次の話です。
フルコース — kube-prometheus-stack を Helm で入れる
本線の Prometheusは取りに行く では、Prometheus と Grafana を Compose で1つずつ立てました。Kubernetes では、それを手で組み立てません。
Kubernetes の中を監視するには、必要なものが多すぎるからです。
- ノードの資源を取る仕組み
- クラスタ全体の状態(Pod の数、再起動回数など)を取る仕組み
- Prometheus 本体と、その設定
- Grafana と、Kubernetes 用のダッシュボード一式
- それぞれの権限(RBACの回でやった、読み取り権限の割り当て)
これを手で書くと、YAMLが数千行になります。 だから Helm を使います。
数分かかります。 イメージを何個も取りに行くためです。待っているあいだ、別のターミナルで進み具合を見られます。
-w(watch)は、変化があるたびに行を足していきます。 Ctrl+C で止めます。
全部 Running かつ READY が揃ったら完了です。
もし Pending のまま止まったら、この記事の①の表に戻ってください。
たいていは Insufficient memory です。それが出たら、素直に消して軽い構成に切り替えます。(消し方は後片づけの章にあります。)これは失敗ではなく、測った結果です。
Grafana を開く
Grafana も Pod として動いています。Service を公開せず、port-forward で覗きます。
Windows のブラウザから見るために、Windows 側の PowerShell でトンネルを掘ります。
ブラウザで http://localhost:3000/ を開きます。初期パスワードは Secret に入っています。
これは Secret の回でやったとおり、暗号化ではなく Base64 です。 誰でも読めます。この構成のまま外へ公開しないでください。
port-forward を選んでいる理由がここです。 Grafana は認証が弱い状態で立ち上がるので、Service を NodePort や LoadBalancer で外へ出す(Service の回)のは、この段階ではやりません。必要なときだけトンネルを掘って、閉じたら誰からも見えなくなる、が一番安全です。
[スクリーンショット: 03_grafana初期画面.png] port-forward 経由で Grafana にログインした直後の画面を撮ってください。
最初に見るのは、2つだけ
ログインすると、ダッシュボードが20枚以上入っています。 私はこれを全部開いて、30分後に何も分からないまま閉じました。
最初に見る画面を、先に2つだけ決めてから開きます。
| 見るもの | どのダッシュボードか | 何を判断するか |
|---|---|---|
| ノードの資源 | Node Exporter / Nodes | クラスタ全体に余裕があるか。 ここが埋まっていれば、Pod 側を直しても無駄 |
| Pod の再起動回数 | Kubernetes / Compute Resources / Namespace (Pods) | 静かに落ちて復活しているものが居ないか |
この2枚で、「土台が苦しいのか、特定のアプリが苦しいのか」が分かれます。 それが分かってから、③で見た kubectl に降りていきます。
ダッシュボードを自作するのは、まだです。 本線の 監視の回でも書いたとおり、最初から凝ったものを作ると、見ない画面が増えるだけです。
⑤ Kubernetes を入れたことで、新しく増えた指標
CPU・メモリ・ディスクを見るのは、本線の監視の回でやりました。そこは変わりません。 ここでは、Kubernetes を入れたから増えたぶんだけを挙げます。
| 指標 | なぜ Kubernetes 固有か | 異常の見え方 |
|---|---|---|
| Pod の再起動回数 | Kubernetes は落ちた Pod を黙って再起動する。 直っているように見えてしまう | RESTARTS が増え続ける。 総数ではなく増え方を見る |
Pending の Pod 数 | 置き場所が無くても、エラーにならず待ち続ける | Pending が減らない。 資源不足か、置けない条件がある |
ノードの Ready | 1台落ちても全体は動き続ける(クラスタの回) | NotReady のノードが放置される。 残りに負荷が寄る |
| PVC の空き | ボリュームは Pod と寿命が違う(ストレージの回) | 満杯になると書けなくなる。 Pod は Running のまま壊れる |
共通しているのは1つです。
Kubernetes は、壊れても止まらない。だから、気づけない。
サーバー1台なら、落ちれば繋がらなくなるので嫌でも気づきます。 Kubernetes は落ちた Pod を勝手に作り直して、外からは正常に見せてくれます。 これは長所ですが、「毎晩3回落ちているが誰も知らない」という状態が、平気で続くという短所でもあります。
再起動回数を見る、というのは、その静かな異常を見つけるためのものです。
コマンドでも見られます。
この3行を、朝いちで打つ。 監視を入れる前でも、これだけで気づけることは多いです。
⑥ ログ集約は、ここでは入れない
③で見たとおり、Pod を消すとログも消えます。 ですから、まともに運用するならログ集約は必須です。
Kubernetes での定番の形はこうです。
- 各ノードに1つずつ、収集役を常駐させる(DaemonSet という仕組みを使います)
- 収集役が
/var/log/containers/のファイルを読む - Pod 名・ネームスペース・ラベルを付けて、保存先へ送る
道具は主に2つです。
| 道具 | 位置づけ |
|---|---|
| Grafana Alloy(Promtail の後継)+ Loki | Grafana にそのまま乗る。 本線で使ったのは Promtail + Loki。Promtail は 2026年3月2日でサポートが終了し、今後の開発は Alloy で行われる |
| Fluent Bit | 送り先を選ばない。 C言語製で非常に軽く、Elasticsearch でもクラウドでも送れる |
この記事では入れません。 本線の ログが3箇所に散っている — Lokiで1画面にするでやり方も、ラベルを増やしすぎてはいけない理由も、保持期間の決め方も済んでいるからです。Kubernetes だから変わるのは「収集役を各ノードに配る」ところだけで、考え方は同じです。
Kubernetes 側で1つだけ足しておくと良いのは、ラベルの設計です。Pod 名は作り直すたびに変わります。 my-app-7c9d4b6f5-2xk8p で検索できるようにしても、明日には存在しません。 アプリ名やネームスペースで引けるようにしておかないと、集約した意味がありません。
⑦ アラートは、症状で鳴らす
監視を入れると、次に「通知を出したい」となります。ここで必ず失敗します。
私の失敗は、「Pod が落ちたら通知」を設定したことでした。
翌朝、通知が47件来ていました。
全部正常な出来事でした。デプロイで入れ替わった、ノードの都合で移った、CrashLoopBackOff から復活した —— Kubernetes では、Pod が消えて生まれるのは日常です。Deployment の回でやったとおり、それが仕組みの中心なのですから。
そして47件目のあたりに、本物が1件混じっていました。私はそれを見ていません。
鳴りすぎるアラートは、無いのと同じです。
判断の基準は1つに絞れます。
| 状況 | 鳴らすか | 理由 |
|---|---|---|
| Pod が1つ落ちた | 鳴らさない | Kubernetes が自分で直す。 人がやることがない |
| Pod が10分以上復活しない | 鳴らす | 自動復旧が効いていない。 人がやることがある |
| 同じ Pod が1時間に5回以上再起動 | 鳴らす | 復活しているが治っていない。 静かな異常 |
ノードが NotReady | 鳴らす | 土台が減っている。 残りに寄る |
Pending が10分以上続く | 鳴らす | 置き場所が無い。 自然には解消しない |
| CPU使用率が80%を超えた | 鳴らさない | 80%でも困っていないなら、それは正常 |
| 応答が5分間ずっと遅い | 鳴らす | 利用者が困っている |
並べると、線がはっきり見えます。
原因では鳴らさない。症状で鳴らす。 人がやることが無いものは、鳴らさない。
「CPUが高い」は原因の候補にすぎません。高くても速いなら、誰も困っていません。 逆にCPUが低いのに遅いこともあります。 鳴らすべきは「遅い」のほうです。
Kubernetes 特有の言い方に直すと、こうなります。
「Kubernetes が自分で直せることでは鳴らさない。直せなかったときに鳴らす。」
Pod が1つ落ちるのは直せることです。10分経っても戻らないのは直せなかったことです。その差だけを通知します。
そして、鳴らす前に必ず決めておくことが1つあります。
鳴ったとき、受け取った人は何をすればいいのか。
答えられない通知は、設定してはいけません。「見て、困る」だけの通知が増えると、全部の通知が無視されるようになります。
判断軸の全体は本線の 監視は自前かSaaSかにまとめてあります。Kubernetes だから変わるのは、「落ちる」が正常だという前提だけです。
⑧ kubectl を楽にする道具
ここまでで、打つコマンドがかなり増えました。 毎回フルで打つのは現実的ではありません。
ただし、道具から入らないでください。 素の kubectl で何を見ているかを分かってから入れないと、道具が隠している部分がそのまま分からないままになります。この章が最後にあるのは、そのためです。
| 道具 | 何をしてくれるか |
|---|---|
k9s | ターミナルの中で Kubernetes を対話的に見る。 Pod 一覧から、そのままログ・describe・exec へ飛べる |
kubectx / kubens | クラスタとネームスペースの切り替え。 -n monitoring を毎回打たなくて済む |
stern | 複数の Pod のログを、まとめて色分けして追う。 レプリカが3つあるときに効く |
1つだけ入れて試します。 私は k9s を選びました。一覧を見ながら l でログ、d で describe に飛べるので、この記事でやった「見る場所を移す」動きが、そのまま指の動きになります。
上のURLは配布方法が変わることがあります。 404 になったら k9s のリリースページで実物のファイル名を確認してください。「記事に書いてあるURLをそのまま信じない」は、本線の 公式ドキュメントは読まずに引くでやったとおりです。
k9s の中では :pods でPod一覧、0 で全ネームスペース、l でログ、d で describe、Ctrl+C で終了です。
[スクリーンショット: 04_k9s画面.png] k9s で Pod 一覧が表示されている画面を撮ってください。
道具を入れない場合でも、これだけは設定しておくと違います。
補完が効くと、Pod 名を手で打たなくて済みます。 打ち間違いで「そんな Pod は無い」と言われる時間が、まるごと消えます。
つまずいたところ
遠回りした順に、そのまま書きます。
1. kubectl logs を10回打った
ContainerCreating の Pod に対して、同じコマンドを打ち直せば違う結果が出ると思っていました。 メッセージは最初から is waiting to start と正しく言っていました。読んでいませんでした。 エラーメッセージを読まずに再実行するのは、エラーは下から読むで自分が書いたことの真逆でした。
2. CrashLoopBackOff で、再起動の瞬間を狙った
kubectl logs が数行しか出ないので、「動いている一瞬に打てば読める」と考えて連打しました。 --previous を知った後は、1回で終わりました。 落ちた本人のログは、ちゃんと取ってあります。
3. 昨日の Events を探した
朝おかしかった Pod を昼に調べようとして、kubectl get events が空でした。打ち間違いだと思って5回打ちました。 既定でおよそ1時間で消えます。気づいた瞬間に取るしかありません。
4. 落ちた Pod を、調べる前に消した
「作り直せば直る」と思って kubectl delete pod を打ちました。直りました。2日後に同じことが起きました。 そのときも証拠はありません。消す前に logs --previous と describe を取る、を体で覚えました。
5. distroless のコンテナに exec できず、Pod が壊れたと思った
"sh": executable file not found を見て、イメージのビルドが失敗したのだと考え、Dockerfile を1時間見直しました。イメージは正しく、シェルが入っていないだけでした。イメージを小さくした回で自分が削ったものです。
6. メモリ4GBのVMに kube-prometheus-stack を入れた
Pod が Pending のまま並び、既に動いていたアプリまで追い出されました。 「監視のせいで壊れたクラスタを、監視で調べる」という時間を過ごしました。free -h を先に打つ、それだけの話でした。
7. Grafana を開いて、ダッシュボードを全部開いた
20枚以上あり、どれも意味ありげなグラフが出ていて、30分見て何も分かりませんでした。 見る画面を先に2つ決めてから開くと、同じ画面が急に読めるようになりました。
8. 「Pod が落ちたら通知」で、朝47件
全部正常でした。本物が1件混じっていたのに、私はそれを見ていません。 Kubernetes では Pod が消えて生まれるのが日常だという前提が、頭に入っていませんでした。
後片づけ
監視スタックは、この記事で入れたものの中で一番メモリを食います。必ず消してください。
入れっぱなしにすると、次に Kubernetes を触るときに「なぜかクラスタが重い」という状態から始まります。 その原因を調べる時間は、まるごと無駄です。
まず、port-forward を止めます(動かしているターミナルで Ctrl+C)。Windows 側の SSH トンネルも exit で閉じます。
Helm で入れたものは、Helm で消します。
helm uninstall では消え残るものがあります。 CRD(Kubernetes に新しい種類の部品を追加する定義)と PVC は、わざと残ります。 中のデータを守るためです。
残っているか確認します。
学習用なので、消します。
最後の1行は、monitoring.coreos.com を名前に含む CRD をまとめて消します。 grep の結果を先に目で見てから実行してください。別のものが混ざっていないことを確かめるのは、xargs を使うときの決まりごとです。
metrics-server を止める場合はこちらです。
消えたか、資源が戻ったかを確認します。
クラスタごと片づけるなら、これで全部消えます。
ただし、クラスタを消しても手元のマニフェストは残ります。 消えて困るのは書いたファイルのほうなので、そこだけ気にしてください。
まとめ — 理解できたこと
kubectl logsが空なのは、壊れているからではない。Runningになる前の失敗は、アプリのログには絶対に出ない- 症状で見る場所が決まる。
Pending/ImagePullBackOffはdescribeの Events、CrashLoopBackOffはlogs --previous、繋がらないならendpoints、遅いならtop describeは一番下のEvents:から読む。TypeがWarningの行と、Fromの列(default-schedulerかkubeletか)だけで、たいてい足りる- Events は既定でおよそ1時間で消える。 異常に気づいた瞬間に取る。「あとで見よう」は成立しない
--previousは落ちた本人のログ。 再起動の瞬間を狙う必要はないexecできないイメージがある。 distroless にはシェルが無い。壊れているのではなく、削ってあるだけ。入口はkubectl debugport-forwardは、経路を全部飛ばして真ん中で切り分ける道具。 ここで返事が返ればアプリは無罪status.conditionsは「起動の関門をどこまで通ったか」。 上から見て最初のFalseが、詰まっている場所- Pod を何度作り直しても同じなら、ノードを疑う。
describe nodeのConditionsとAllocated resources - ログはノードの上のただのファイル。 Pod を消すとログも消える。 だから集約が要る。アプリはログをファイルに書かず、標準出力に出す
- 監視を入れる前に
free -h。 足りないVMに入れると、監視が原因で壊れる。読むだけでも目的は達成できる - Grafana は、見る画面を2つ決めてから開く。 ノードの資源とPod の再起動回数
- Kubernetes は壊れても止まらない。だから気づけない。 再起動回数・
Pendingの数・ノードのReady・PVCの空きは、Kubernetes を入れたから増えた見張り - アラートは症状で鳴らす。 Kubernetes が自分で直せることでは鳴らさない。直せなかったときに鳴らす
- 鳴ったとき受け取った人が何をするか答えられない通知は、設定しない
- 道具(
k9sなど)は、素のkubectlが分かってから入れる。 先に入れると、隠されたものが分からないままになる - 監視スタックは必ず消す。
helm uninstallでは CRD と PVC が残る
参考リンク
- roadmap.sh — Kubernetes
- Kubernetes 公式ドキュメント(日本語)
- Kubernetes — アプリケーションのトラブルシューティング
- Kubernetes — 実行中の Pod をデバッグする
- Kubernetes — クラスターのロギングアーキテクチャ
- Kubernetes — Pod のライフサイクル
- kubectl チートシート
- prometheus-community/helm-charts — kube-prometheus-stack
- Grafana Loki ドキュメント
- Fluent Bit ドキュメント
- k9s
- kubectx / kubens
- stern
次に読む
この記事は 【深掘り】Kubernetes の 14 / 15 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- 症状から見る場所を決める
- Prometheus / Grafana / ログ集約
この記事は、上の項目を実際に手を動かして確かめる回です。
コメント