Kubernetesの監視と調べ方 — logsが空なのに落ちている

logsが空なのに落ちていることがあります。Kubernetesで原因を追うときに、どこから順に見るのかを決めます。

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Prometheusは取りに行く — 監視とログの入口 の続きとして、Kubernetes の中で「詰まったときにどこを見るか」だけを扱います。

前回: RBACとPodのセキュリティ — 全員がcluster-adminだった

この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。

前提: 本線の minikubeでKubernetesを試す|宣言的な状態管理の基本 で kubectl get nodes が Ready を返すところまで済んでいること。 監視を入れる章では Helmの使い方|Kubernetesのマニフェストをテンプレート化する の helm を使います。

Pod が動きません。

Pod の回で身につけた順番どおり、kubectl logs を打ちました。

bash
$ kubectl logs my-app-7c9d4b6f5-2xk8p
Error from server (BadRequest): container "app" in pod "my-app-7c9d4b6f5-2xk8p" is waiting to start: ContainerCreating

何も出ません。

私はここで、しばらく同じコマンドを打ち続けました。ログさえ読めれば原因が分かると思い込んでいたからです。何度打っても同じ1行が返ってきて、そのうち「Kubernetes はログも見せてくれないのか」と腹を立てました。

腹を立てる相手が違いました。メッセージは正しいことを言っています。

waiting to start。まだ起動していません。

kubectl logs が見せるのは、コンテナのプロセスが標準出力に書いたものです。プロセスがまだ始まっていないなら、書いた人が居ません。 ログが空なのは壊れているからではなく、そもそもログが生まれる前の段階で止まっているからです。

つまり、こういうことでした。

Running になる前の失敗は、logs には絶対に出ない。 見る場所が違う。

起動する前に何が起きたかを知っているのは、アプリではなくクラスタのほうです。イメージを取りに行った、失敗した、もう一度試している、置く場所が見つからない —— それは全部クラスタ側の出来事で、kubectl describe の Events に書かれています。

この記事は、この「見る場所が違う」を、症状ごとに機械的に決められるようにする回です。そのうえで、毎回 kubectl を打たなくても異常に気づけるように、監視を1つだけ入れます。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • kubectl logs が空なのは異常ではないこと。Running になる前の失敗はアプリのログには出ないので、見るのは describe の Events になる
  • 症状を見た瞬間に、次に打つコマンドは1つに決まること。当てずっぽうに logs を打つのをやめられる
  • kubectl get events は過去を全部覚えていないこと。既定では1時間ほどで消えるので、「あとで見よう」が通用しない
  • kubectl exec が使えないコンテナがあること。シェルの入っていないイメージには入れず、代わりに kubectl debug という別の入口がある
  • Pod を消すと、その Pod のログも一緒に消えること。だからログ集約が必要になる。「あとで調べる」は集約してから成立する
  • Kubernetes を入れたことで、新しく見るべき指標が増えること。CPUやメモリだけでなく、再起動回数・Pending の数・ノードの Ready を見る
  • アラートは「原因」ではなく「症状」で鳴らすこと。Pod が1つ落ちても鳴らさない。ノードが落ちたら鳴らす

この記事でやること

  1. 5つの症状に対して「最初に打つコマンド」を決めた表を作り、手元に置く
  2. events / logs --previous / exec / debug / port-forward / -o yaml / describe node を、実際に全部打つ
  3. free -h でメモリを確認し、足りるなら Helm で監視を1つ入れる(足りなければ読むだけで先に進む)
  4. kubectl port-forward で Grafana を開き、最初に見る2画面(ノードの資源/Pod の再起動回数)を決める
  5. k9s などの道具を1つだけ入れて試し、最後に監視スタックを必ず消す

先に知る言葉

この記事で初めて出てくる言葉だけ、その場で短く置きます。 詳しくは 用語集 を見てください。

言葉この記事での意味
Events(イベント)クラスタが「いま何をしたか」を書き残した短いメモ。人ではなくクラスタが書く。保存期間が短い
ImagePullBackOffイメージを取りに行って失敗し、間隔を空けて再挑戦している状態。名前・タグ・認証のどれかが違う
CrashLoopBackOff起動はしたが落ちる、を繰り返している状態。状態名ではなく「待たされている」という説明
Pendingまだどのノードにも置かれていない状態。置き場所が決まっていない
エフェメラルコンテナ調査のためだけに、動いている Pod へ後から差し込む使い捨てのコンテナ。kubectl debug が使う
distrolessシェルもパッケージマネージャも入っていない、極端に小さいイメージ。軽くて安全だがexec で入れない
port-forward手元の kubectl から Pod や Service へ、一時的にトンネルを掘ること。Service を作らずに繋げる
メトリクス数字で測れる状態(CPU使用率、再起動回数など)。ログとは別物
HelmKubernetes 用のインストーラ。大量のYAMLをまとめて入れる。本線の回で扱いました

① 症状から、見る場所を決める

この表が、この記事で一番持ち帰ってほしいものです。

私は最初、何が起きても kubectl logs を打っていました。打つコマンドを1つしか知らなかったからです。ですが Kubernetes では、症状ごとに「情報を持っている人」が違います。

症状(kubectl get pods の見え方)誰が原因を知っているか最初に打つコマンド
Pendingスケジューラ(置き場所を決める係)kubectl describe pod <名前> の Events
ImagePullBackOff / ErrImagePullノードのコンテナランタイムkubectl describe pod <名前> の Events
CrashLoopBackOffアプリ自身(起動はしている)kubectl logs <名前> --previous
Running だが繋がらないネットワークの経路(Service / ラベル)kubectl get endpoints <Service名>
Running だが遅い資源(ノードとPod)kubectl top pod / kubectl top node

上の3行と下の2行のあいだに、はっきりした線があります。

Running になる前 → describe の Events。 Running になった後 → logs と、その先。

logs が読めるのは「アプリのプロセスが動き始めた後」だけです。Pending や ImagePullBackOff は、アプリがまだ1行も実行されていません。 ここで logs を打つのは、着いていない配達員に「荷物の中身は何ですか」と聞いているのと同じです。

なぜ Events に書いてあるのか

Pod の回で見たとおり、Kubernetes は「あるべき状態」と「いまの状態」を突き合わせて、差を埋め続ける仕組みです。

その「埋めようとした作業の記録」が Events です。

  • 置き場所を探した → 見つからなかった
  • イメージを取りに行った → 認証で弾かれた
  • コンテナを起動した → 3秒で終了した

全部、アプリの外側の出来事です。だからアプリのログには出ません。クラスタが自分の作業日誌に書いています。

[スクリーンショット: 01_logs空.png] kubectl logs を打って is waiting to start が返っている画面を撮ってください。


② 【】調べ方を、実際に全部打つ

表を眺めるだけでは身につきません。7つ、順番に打ちます。

1. kubectl describe pod — 一番下だけ読む

bash
$ kubectl describe pod my-app-7c9d4b6f5-2xk8p

describe の出力は長いです。上から読もうとすると必ず疲れます。

describe は、一番下の Events: から読む。

私はこれを知るまで、毎回上から Labels: や Annotations: を読んでいて、肝心のところに着く前に集中が切れていました。上半分は「どういう設定か」で、下の Events が「何が起きたか」です。困っているときに要るのは後者だけです。

Events:
  Type     Reason     Age                 From               Message
  ----     ------     ----                ----               -------
  Normal   Scheduled  2m                  default-scheduler  Successfully assigned default/my-app to minikube
  Normal   Pulling    2m                  kubelet            Pulling image "myapp:v9"
  Warning  Failed     100s                kubelet            Failed to pull image "myapp:v9": not found
  Warning  Failed     100s                kubelet            Error: ErrImagePull
  Normal   BackOff    45s (x5 over 100s)  kubelet            Back-off pulling image "myapp:v9"

Type が Warning の行だけ拾えば、たいてい終わります。

From の列も見てください。default-scheduler なら置き場所の問題、kubelet ならノードの上での問題です。誰が困っているかが書いてあります。

2. kubectl get events — クラスタ全体を時系列で

describe は Pod 1つ分です。「何かおかしいが、どの Pod かも分からない」ときは、全体を時系列で見ます。

bash
$ kubectl get events --sort-by=.lastTimestamp
bash
$ kubectl get events -A --sort-by=.lastTimestamp | tail -30

-A は全ネームスペース。既定では新しい順に並ばないので、--sort-by はほぼ必須だと思ってください。

ここに重大な落とし穴があります。

Events は、既定でおよそ1時間で消えます。

Kubernetes の API サーバーには --event-ttl という設定があり、既定値は1時間です。昨日落ちた Pod の Events は、もう残っていません。

私はこれを知らずに、「朝おかしかったやつを昼に調べよう」として何も残っていない画面を見ました。 そのときは自分の打ち間違いだと思って、同じコマンドを5回打ちました。

覚えることは1つです。

異常に気づいた瞬間に、Events を取る。あとで見ようは通用しない。

その場で保存するなら、こうします。

bash
$ kubectl get events -A --sort-by=.lastTimestamp > ~/events-$(date +%Y%m%d-%H%M).txt

この「短命さ」が、後で出てくるログ集約と監視が必要になる理由そのものです。人間がその場に居ないと消えるなら、居なくても記録が残る仕掛けが要ります。

3. kubectl logs — 4つのオプションだけ覚える

Running まで行ったら、ようやくログです。素の kubectl logs だけでは足りません。

bash
$ kubectl logs my-app-7c9d4b6f5-2xk8p --previous
bash
$ kubectl logs my-app-7c9d4b6f5-2xk8p -f
bash
$ kubectl logs my-app-7c9d4b6f5-2xk8p --since=10m
bash
$ kubectl logs my-app-7c9d4b6f5-2xk8p --all-containers
オプション何をするかいつ使うか
--previous(-p)1つ前に落ちた回のログを読むCrashLoopBackOff のとき。ほぼ必ず使う
-f出続けるのを追いかける操作しながら、その場の反応を見たいとき
--since=10m直近10分だけに絞るログが多すぎて流れてしまうとき
--all-containersPod の中の全コンテナをまとめて出すサイドカーが居るとき

--previous が要る理由を、はっきりさせておきます。

CrashLoopBackOff の Pod は、いま動いているコンテナが存在しません。「落ちた → 待っている」の待ち時間です。素の kubectl logs は「いまのコンテナ」を見に行くので、空か、起動直後の数行しか出ません。

落ちた本人の遺言は --previous にあります。

私は最初、これを知らずに再起動の瞬間を狙って kubectl logs を連打していました。 タイミングを狙う必要はありませんでした。

複数コンテナの Pod では、コンテナ名を指定します。

bash
$ kubectl logs my-app-7c9d4b6f5-2xk8p -c sidecar

コンテナ名が分からなければ、こう引けます。

bash
$ kubectl get pod my-app-7c9d4b6f5-2xk8p -o jsonpath='{.spec.containers[*].name}'

4. kubectl exec — と、入れないとき

中に入って、設定ファイルや名前解決を確かめたいことがあります。

bash
$ kubectl exec -it my-app-7c9d4b6f5-2xk8p -- sh

-- の後ろがコンテナの中で実行される命令です。-- を忘れると kubectl 自身のオプションだと解釈されます。

入れたら、たとえばこう確かめます。

bash
$ cat /etc/resolv.conf
bash
$ wget -qO- http://localhost:8080/health

ですが、入れないことがあります。

OCI runtime exec failed: exec failed: unable to start container process: exec: "sh": executable file not found in $PATH

私はこれを見て、Pod が壊れていると思いました。 違いました。

そのイメージには、sh が入っていません。

gcr.io/distroless/... のような distroless イメージや、Go の実行ファイル1つだけを詰めたイメージには、シェルもコマンドも入っていません。 Docker 深掘りのイメージサイズの回で「1.2GBが50MBになる」と喜んで削ったもの、それがそのまま「入れない」に効いてきます。

軽さと安全さを取ったぶん、調査の入口が閉じているわけです。これはトレードオフであって、故障ではありません。

そこで用意されているのが kubectl debug です。

bash
$ kubectl debug -it my-app-7c9d4b6f5-2xk8p --image=busybox:1.36 --target=app

これは、動いている Pod に、調査用のコンテナを後から1つ差し込みます(エフェメラルコンテナ)。--target で指定したコンテナとプロセスやネットワークを共有するので、元のイメージにシェルが無くても、busybox のシェルから隣を覗けます。

この記事では「そういう入口がある」ことを知っていれば十分です。詰まったときに「distroless だから入れない、kubectl debug がある」と思い出せれば、そこで止まりません。

exec も debug も、調べるためのものです。 中を書き換えて直さないでください。Pod の回で見たとおり、Pod は作り直された瞬間に元へ戻ります。

5. kubectl port-forward — Service を作らずに繋ぐ

「アプリ自体は生きているのか」を確かめたいのに、Service や Ingress の設定が疑わしい、という場面があります。

このとき、経路を全部飛ばして Pod へ直接繋げます。

bash
$ kubectl port-forward pod/my-app-7c9d4b6f5-2xk8p 8080:80

別のターミナルで叩きます。

bash
$ curl -I http://localhost:8080/

ここで返事が返ってきたら、アプリは無罪です。犯人は Service か Ingress か、その手前です。返事が返ってこなければ、アプリ側です。

この1回で、疑う範囲が半分になります。 本線の 障害対応は切り分けの順番がすべてで書いた「上から順に潰さず、真ん中で割る」を、Kubernetes でやるとこの形になります。

Service を経由して確かめたいときは、こう書きます。

bash
$ kubectl port-forward svc/my-app 8080:80

VMの中で打っていることを忘れないでください。 port-forward が待ち受けるのはVMの 127.0.0.1 です。Windows のブラウザからは、そのままでは開けません。Windows 側の PowerShell から、SSHトンネルを1本足します。

PowerShell
PS> ssh -L 8080:localhost:8080 ユーザー名@VMのIPアドレス

この状態で Windows のブラウザから http://localhost:8080/ を開くと届きます。kubectl port-forward に --address 0.0.0.0 を付けてVMの外へ晒す方法もありますが、この記事ではやりません。認証が何も無い口を、そのままネットワークへ開けることになるためです。

6. kubectl get pod -o yaml — status.conditions を読む

describe は人向けに整形された文章です。機械が持っている生の状態は、YAML で読めます。

bash
$ kubectl get pod my-app-7c9d4b6f5-2xk8p -o yaml

長いので、必要なところだけ抜きます。

bash
$ kubectl get pod my-app-7c9d4b6f5-2xk8p -o jsonpath='{.status.conditions}' | tr ',' '\n'
status:
  conditions:
    - type: PodScheduled
      status: "True"
    - type: Initialized
      status: "True"
    - type: ContainersReady
      status: "False"
      reason: ContainersNotReady
    - type: Ready
      status: "False"
      reason: ContainersNotReady

これは「起動の関門を、どこまで通ったか」の記録です。

type意味False なら
PodScheduledノードが決まった置き場所が無い(資源不足など)
InitializedinitContainers が全部終わった準備係が失敗している
ContainersReady全コンテナが準備完了と言ったアプリの中で詰まっている
ReadyService が流していい状態上のどれかが False

上から順に見て、最初に False になったところが、詰まっている場所です。

Service の回で扱った「Pod は動いているのに振り分けてもらえない」は、ここが Ready: False になっているという形で必ず現れます。Running と Ready は違います。

get の出力の READY 列(0/1 や 1/1)は、まさにこれを数えたものです。

7. kubectl describe node — ノード側を疑う

Pod を何度作り直しても同じところで失敗するなら、Pod ではなくノードを疑います。

bash
$ kubectl get nodes
bash
$ kubectl describe node minikube

見る場所は2つです。

Conditions:
  Type             Status  Reason
  ----             ------  ------
  MemoryPressure   False   KubeletHasSufficientMemory
  DiskPressure     True    KubeletHasDiskPressure
  PIDPressure      False   KubeletHasSufficientPID
  Ready            True    KubeletReady

DiskPressure が True。 これはノードのディスクが逼迫しているという意味で、この状態になるとクラスタは新しい Pod を置かなくなり、既にある Pod を追い出します。 Pod 側をいくら直しても直りません。

もう1つは下のほうにある割り当て状況です。

Allocated resources:
  Resource   Requests     Limits
  --------   --------     ------
  cpu        1750m (87%)  2 (100%)
  memory     2Gi (68%)    3Gi (102%)

Pending の Pod があるとき、ここが埋まっていれば理由はこれです。「置く場所が無い」。

学習用のVMでは、ディスク逼迫は本当によく起きます。 イメージを何度も取り直しているうちに埋まります。

bash
$ df -h /
bash
$ minikube ssh -- docker system prune -a

後者は、そのクラスタが持っているイメージを消します。 次の起動でイメージを取り直す時間がかかることを承知のうえで打ってください。

[スクリーンショット: 02_describe_events.png] kubectl describe pod の出力の、Events: の部分を撮ってください。Warning の行が写っていると分かりやすいです。


③ ログは、どこへ行っているのか

kubectl logs は、どこからログを取ってきているのでしょうか。

私はずっと「Kubernetes がログを溜めている」と思っていました。違いました。

流れはこうです。

  1. コンテナの中のプロセスが、標準出力(と標準エラー)に書く
  2. コンテナランタイムが、それを受け取って、ノードのファイルに書く
  3. kubectl logs は、そのノードのファイルを読んで返しているだけ

ノードの中を実際に見られます。

bash
$ minikube ssh
bash
$ ls /var/log/pods/
bash
$ ls -l /var/log/containers/

ただのファイルです。/var/log/containers/ にあるのは /var/log/pods/ へのシンボリックリンクで、<Pod名>_<ネームスペース>_<コンテナ名>-<ID>.log という名前が付いています。

ここから、大事な性質が2つ出てきます。

① ログはファイルなので、放っておくと増える。 だからローテーション(一定サイズで切って古いのを捨てる)が入っています。古いログは、既定でも消えます。

② ログはノードの上のファイルなので、Pod を消すとログも消える。

これが効きます。

bash
$ kubectl delete pod my-app-7c9d4b6f5-2xk8p
bash
$ kubectl logs my-app-7c9d4b6f5-2xk8p --previous
Error from server (NotFound): pods "my-app-7c9d4b6f5-2xk8p" not found

証拠ごと消えました。

私はこれを、自分でやりました。 落ちている Pod を「とりあえず作り直せば直るだろう」と消して、原因を調べる手段を自分で捨てました。 その後、同じ障害が2日後にまた起きました。

落ちた Pod を消す前に、kubectl logs --previous と kubectl describe を取る。

さらに厄介なのは、Deployment の回で見たとおり、Pod は自分の意思とは関係なく作り直されるということです。人が消さなくても、Pod は入れ替わり、そのたびにログが消えます。

「あとで調べる」を成立させるには、ログをノードの外へ出しておくしかありません。 これが、本線の ログが3箇所に散っている — Lokiで1画面にするでやった集約が、Kubernetes ではもっと切実になる理由です。

アプリ側にも1つ決まりごとがあります。

Kubernetes 上のアプリは、ログをファイルに書かない。標準出力に出す。

ファイルに書くと、そのファイルは Pod と一緒に消えます。(ストレージの回でやったとおり、消えないようにするには別の仕掛けが要ります。)標準出力に出しておけば、集約の仕組みが勝手に拾ってくれます。


④ 【】監視を、1つだけ入れる

ここまでは「気づいた後」の話でした。気づく仕掛けを作ります。

先に、メモリを確認する

この章は、VMのメモリを大きく食います。 先に測ってください。

bash
$ free -h
bash
$ kubectl top node

kubectl top が「Metrics API not available」と言う場合は、まだ測る仕組みが入っていません(この後で入れます)。

free -h の availableやること
6GB 以上kube-prometheus-stack を入れる(この章のフルコース)
2〜6GB軽い構成だけ(metrics-server → kubectl top)。Grafana は入れない
2GB 未満読むだけにして、次の章へ進んでください

読むだけでも、この記事の目的は達成できます。 大事なのは「入れられたこと」ではなく、何を見るために入れるのかを決められることです。メモリが足りないVMに無理やり入れると、監視スタックが原因でクラスタが不安定になり、何を見ているのか分からなくなります。 これは私が実際にやりました。監視を入れたせいで落ちた Pod を、監視で調べるという無意味な時間を過ごしました。

minikube に割り当てたメモリを増やすなら、作り直しになります。

bash
$ minikube delete
bash
$ minikube start --memory=6144 --cpus=4

軽い構成 — metrics-server だけ

kubectl top が使えるようになるだけの、一番小さい監視です。数十MBしか使いません。

bash
$ minikube addons enable metrics-server
bash
$ kubectl top node
bash
$ kubectl top pod -A --sort-by=memory
NAME                        CPU(cores)   MEMORY(bytes)
my-app-7c9d4b6f5-2xk8p      3m           28Mi

「Running だが遅い」の切り分けは、これだけでもかなり進みます。 どの Pod がメモリを食っているかが、1行で出ます。

ただし、これは「いまの値」しか見せません。 過去がありません。「夜中に何が起きたか」には答えられません。 そこが次の話です。

フルコース — kube-prometheus-stack を Helm で入れる

本線の Prometheusは取りに行く では、Prometheus と Grafana を Compose で1つずつ立てました。Kubernetes では、それを手で組み立てません。

Kubernetes の中を監視するには、必要なものが多すぎるからです。

  • ノードの資源を取る仕組み
  • クラスタ全体の状態(Pod の数、再起動回数など)を取る仕組み
  • Prometheus 本体と、その設定
  • Grafana と、Kubernetes 用のダッシュボード一式
  • それぞれの権限(RBACの回でやった、読み取り権限の割り当て)

これを手で書くと、YAMLが数千行になります。 だから Helm を使います。

bash
$ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
bash
$ helm repo update
bash
$ helm install monitoring prometheus-community/kube-prometheus-stack --namespace monitoring --create-namespace

数分かかります。 イメージを何個も取りに行くためです。待っているあいだ、別のターミナルで進み具合を見られます。

bash
$ kubectl get pods -n monitoring -w

-w(watch)は、変化があるたびに行を足していきます。 Ctrl+C で止めます。

全部 Running かつ READY が揃ったら完了です。

bash
$ kubectl get pods -n monitoring

もし Pending のまま止まったら、この記事の①の表に戻ってください。

bash
$ kubectl describe pod -n monitoring <止まっているPod名>

たいていは Insufficient memory です。それが出たら、素直に消して軽い構成に切り替えます。(消し方は後片づけの章にあります。)これは失敗ではなく、測った結果です。

Grafana を開く

Grafana も Pod として動いています。Service を公開せず、port-forward で覗きます。

bash
$ kubectl get svc -n monitoring
bash
$ kubectl port-forward -n monitoring svc/monitoring-grafana 3000:80

Windows のブラウザから見るために、Windows 側の PowerShell でトンネルを掘ります。

PowerShell
PS> ssh -L 3000:localhost:3000 ユーザー名@VMのIPアドレス

ブラウザで http://localhost:3000/ を開きます。初期パスワードは Secret に入っています。

bash
$ kubectl get secret -n monitoring monitoring-grafana -o jsonpath='{.data.admin-password}' | base64 -d; echo

これは Secret の回でやったとおり、暗号化ではなく Base64 です。 誰でも読めます。この構成のまま外へ公開しないでください。

port-forward を選んでいる理由がここです。 Grafana は認証が弱い状態で立ち上がるので、Service を NodePort や LoadBalancer で外へ出す(Service の回)のは、この段階ではやりません。必要なときだけトンネルを掘って、閉じたら誰からも見えなくなる、が一番安全です。

[スクリーンショット: 03_grafana初期画面.png] port-forward 経由で Grafana にログインした直後の画面を撮ってください。

最初に見るのは、2つだけ

ログインすると、ダッシュボードが20枚以上入っています。 私はこれを全部開いて、30分後に何も分からないまま閉じました。

最初に見る画面を、先に2つだけ決めてから開きます。

見るものどのダッシュボードか何を判断するか
ノードの資源Node Exporter / Nodesクラスタ全体に余裕があるか。 ここが埋まっていれば、Pod 側を直しても無駄
Pod の再起動回数Kubernetes / Compute Resources / Namespace (Pods)静かに落ちて復活しているものが居ないか

この2枚で、「土台が苦しいのか、特定のアプリが苦しいのか」が分かれます。 それが分かってから、③で見た kubectl に降りていきます。

ダッシュボードを自作するのは、まだです。 本線の 監視の回でも書いたとおり、最初から凝ったものを作ると、見ない画面が増えるだけです。


⑤ Kubernetes を入れたことで、新しく増えた指標

CPU・メモリ・ディスクを見るのは、本線の監視の回でやりました。そこは変わりません。 ここでは、Kubernetes を入れたから増えたぶんだけを挙げます。

指標なぜ Kubernetes 固有か異常の見え方
Pod の再起動回数Kubernetes は落ちた Pod を黙って再起動する。 直っているように見えてしまうRESTARTS が増え続ける。 総数ではなく増え方を見る
Pending の Pod 数置き場所が無くても、エラーにならず待ち続けるPending が減らない。 資源不足か、置けない条件がある
ノードの Ready1台落ちても全体は動き続ける(クラスタの回)NotReady のノードが放置される。 残りに負荷が寄る
PVC の空きボリュームは Pod と寿命が違う(ストレージの回)満杯になると書けなくなる。 Pod は Running のまま壊れる

共通しているのは1つです。

Kubernetes は、壊れても止まらない。だから、気づけない。

サーバー1台なら、落ちれば繋がらなくなるので嫌でも気づきます。 Kubernetes は落ちた Pod を勝手に作り直して、外からは正常に見せてくれます。 これは長所ですが、「毎晩3回落ちているが誰も知らない」という状態が、平気で続くという短所でもあります。

再起動回数を見る、というのは、その静かな異常を見つけるためのものです。

コマンドでも見られます。

bash
$ kubectl get pods -A --sort-by='.status.containerStatuses[0].restartCount' | tail -10
bash
$ kubectl get pods -A --field-selector=status.phase=Pending
bash
$ kubectl get nodes

この3行を、朝いちで打つ。 監視を入れる前でも、これだけで気づけることは多いです。


⑥ ログ集約は、ここでは入れない

③で見たとおり、Pod を消すとログも消えます。 ですから、まともに運用するならログ集約は必須です。

Kubernetes での定番の形はこうです。

  • 各ノードに1つずつ、収集役を常駐させる(DaemonSet という仕組みを使います)
  • 収集役が /var/log/containers/ のファイルを読む
  • Pod 名・ネームスペース・ラベルを付けて、保存先へ送る

道具は主に2つです。

道具位置づけ
Grafana Alloy(Promtail の後継)+ LokiGrafana にそのまま乗る。 本線で使ったのは Promtail + Loki。Promtail は 2026年3月2日でサポートが終了し、今後の開発は Alloy で行われる
Fluent Bit送り先を選ばない。 C言語製で非常に軽く、Elasticsearch でもクラウドでも送れる

この記事では入れません。 本線の ログが3箇所に散っている — Lokiで1画面にするでやり方も、ラベルを増やしすぎてはいけない理由も、保持期間の決め方も済んでいるからです。Kubernetes だから変わるのは「収集役を各ノードに配る」ところだけで、考え方は同じです。

Kubernetes 側で1つだけ足しておくと良いのは、ラベルの設計です。Pod 名は作り直すたびに変わります。 my-app-7c9d4b6f5-2xk8p で検索できるようにしても、明日には存在しません。 アプリ名やネームスペースで引けるようにしておかないと、集約した意味がありません。


⑦ アラートは、症状で鳴らす

監視を入れると、次に「通知を出したい」となります。ここで必ず失敗します。

私の失敗は、「Pod が落ちたら通知」を設定したことでした。

翌朝、通知が47件来ていました。

全部正常な出来事でした。デプロイで入れ替わった、ノードの都合で移った、CrashLoopBackOff から復活した —— Kubernetes では、Pod が消えて生まれるのは日常です。Deployment の回でやったとおり、それが仕組みの中心なのですから。

そして47件目のあたりに、本物が1件混じっていました。私はそれを見ていません。

鳴りすぎるアラートは、無いのと同じです。

判断の基準は1つに絞れます。

状況鳴らすか理由
Pod が1つ落ちた鳴らさないKubernetes が自分で直す。 人がやることがない
Pod が10分以上復活しない鳴らす自動復旧が効いていない。 人がやることがある
同じ Pod が1時間に5回以上再起動鳴らす復活しているが治っていない。 静かな異常
ノードが NotReady鳴らす土台が減っている。 残りに寄る
Pending が10分以上続く鳴らす置き場所が無い。 自然には解消しない
CPU使用率が80%を超えた鳴らさない80%でも困っていないなら、それは正常
応答が5分間ずっと遅い鳴らす利用者が困っている

並べると、線がはっきり見えます。

原因では鳴らさない。症状で鳴らす。 人がやることが無いものは、鳴らさない。

「CPUが高い」は原因の候補にすぎません。高くても速いなら、誰も困っていません。 逆にCPUが低いのに遅いこともあります。 鳴らすべきは「遅い」のほうです。

Kubernetes 特有の言い方に直すと、こうなります。

「Kubernetes が自分で直せることでは鳴らさない。直せなかったときに鳴らす。」

Pod が1つ落ちるのは直せることです。10分経っても戻らないのは直せなかったことです。その差だけを通知します。

そして、鳴らす前に必ず決めておくことが1つあります。

鳴ったとき、受け取った人は何をすればいいのか。

答えられない通知は、設定してはいけません。「見て、困る」だけの通知が増えると、全部の通知が無視されるようになります。

判断軸の全体は本線の 監視は自前かSaaSかにまとめてあります。Kubernetes だから変わるのは、「落ちる」が正常だという前提だけです。


⑧ kubectl を楽にする道具

ここまでで、打つコマンドがかなり増えました。 毎回フルで打つのは現実的ではありません。

ただし、道具から入らないでください。 素の kubectl で何を見ているかを分かってから入れないと、道具が隠している部分がそのまま分からないままになります。この章が最後にあるのは、そのためです。

道具何をしてくれるか
k9sターミナルの中で Kubernetes を対話的に見る。 Pod 一覧から、そのままログ・describe・exec へ飛べる
kubectx / kubensクラスタとネームスペースの切り替え。 -n monitoring を毎回打たなくて済む
stern複数の Pod のログを、まとめて色分けして追う。 レプリカが3つあるときに効く

1つだけ入れて試します。 私は k9s を選びました。一覧を見ながら l でログ、d で describe に飛べるので、この記事でやった「見る場所を移す」動きが、そのまま指の動きになります。

bash
$ curl -sSL -o /tmp/k9s.deb https://github.com/derailed/k9s/releases/latest/download/k9s_linux_amd64.deb
bash
$ sudo apt install /tmp/k9s.deb
bash
$ k9s

上のURLは配布方法が変わることがあります。 404 になったら k9s のリリースページで実物のファイル名を確認してください。「記事に書いてあるURLをそのまま信じない」は、本線の 公式ドキュメントは読まずに引くでやったとおりです。

k9s の中では :pods でPod一覧、0 で全ネームスペース、l でログ、d で describe、Ctrl+C で終了です。

[スクリーンショット: 04_k9s画面.png] k9s で Pod 一覧が表示されている画面を撮ってください。

道具を入れない場合でも、これだけは設定しておくと違います。

bash
$ echo 'alias k=kubectl' >> ~/.bashrc
bash
$ echo 'source <(kubectl completion bash)' >> ~/.bashrc
bash
$ echo 'complete -o default -F __start_kubectl k' >> ~/.bashrc
bash
$ source ~/.bashrc

補完が効くと、Pod 名を手で打たなくて済みます。 打ち間違いで「そんな Pod は無い」と言われる時間が、まるごと消えます。


つまずいたところ

遠回りした順に、そのまま書きます。

1. kubectl logs を10回打った

ContainerCreating の Pod に対して、同じコマンドを打ち直せば違う結果が出ると思っていました。 メッセージは最初から is waiting to start と正しく言っていました。読んでいませんでした。 エラーメッセージを読まずに再実行するのは、エラーは下から読むで自分が書いたことの真逆でした。

2. CrashLoopBackOff で、再起動の瞬間を狙った

kubectl logs が数行しか出ないので、「動いている一瞬に打てば読める」と考えて連打しました。 --previous を知った後は、1回で終わりました。 落ちた本人のログは、ちゃんと取ってあります。

3. 昨日の Events を探した

朝おかしかった Pod を昼に調べようとして、kubectl get events が空でした。打ち間違いだと思って5回打ちました。 既定でおよそ1時間で消えます。気づいた瞬間に取るしかありません。

4. 落ちた Pod を、調べる前に消した

「作り直せば直る」と思って kubectl delete pod を打ちました。直りました。2日後に同じことが起きました。 そのときも証拠はありません。消す前に logs --previous と describe を取る、を体で覚えました。

5. distroless のコンテナに exec できず、Pod が壊れたと思った

"sh": executable file not found を見て、イメージのビルドが失敗したのだと考え、Dockerfile を1時間見直しました。イメージは正しく、シェルが入っていないだけでした。イメージを小さくした回で自分が削ったものです。

6. メモリ4GBのVMに kube-prometheus-stack を入れた

Pod が Pending のまま並び、既に動いていたアプリまで追い出されました。 「監視のせいで壊れたクラスタを、監視で調べる」という時間を過ごしました。free -h を先に打つ、それだけの話でした。

7. Grafana を開いて、ダッシュボードを全部開いた

20枚以上あり、どれも意味ありげなグラフが出ていて、30分見て何も分かりませんでした。 見る画面を先に2つ決めてから開くと、同じ画面が急に読めるようになりました。

8. 「Pod が落ちたら通知」で、朝47件

全部正常でした。本物が1件混じっていたのに、私はそれを見ていません。 Kubernetes では Pod が消えて生まれるのが日常だという前提が、頭に入っていませんでした。


後片づけ

監視スタックは、この記事で入れたものの中で一番メモリを食います。必ず消してください。

入れっぱなしにすると、次に Kubernetes を触るときに「なぜかクラスタが重い」という状態から始まります。 その原因を調べる時間は、まるごと無駄です。

まず、port-forward を止めます(動かしているターミナルで Ctrl+C)。Windows 側の SSH トンネルも exit で閉じます。

Helm で入れたものは、Helm で消します。

bash
$ helm list -n monitoring
bash
$ helm uninstall monitoring -n monitoring

helm uninstall では消え残るものがあります。 CRD(Kubernetes に新しい種類の部品を追加する定義)と PVC は、わざと残ります。 中のデータを守るためです。

残っているか確認します。

bash
$ kubectl get pvc -n monitoring
bash
$ kubectl get crd | grep monitoring.coreos.com

学習用なので、消します。

bash
$ kubectl delete pvc --all -n monitoring
bash
$ kubectl delete namespace monitoring
bash
$ kubectl get crd -o name | grep monitoring.coreos.com | xargs -r kubectl delete

最後の1行は、monitoring.coreos.com を名前に含む CRD をまとめて消します。 grep の結果を先に目で見てから実行してください。別のものが混ざっていないことを確かめるのは、xargs を使うときの決まりごとです。

metrics-server を止める場合はこちらです。

bash
$ minikube addons disable metrics-server

消えたか、資源が戻ったかを確認します。

bash
$ kubectl get all -A | grep -c monitoring
bash
$ free -h

クラスタごと片づけるなら、これで全部消えます。

bash
$ minikube delete

ただし、クラスタを消しても手元のマニフェストは残ります。 消えて困るのは書いたファイルのほうなので、そこだけ気にしてください。


まとめ — 理解できたこと

  • kubectl logs が空なのは、壊れているからではない。 Running になる前の失敗は、アプリのログには絶対に出ない
  • 症状で見る場所が決まる。 Pending / ImagePullBackOff は describe の Events、CrashLoopBackOff は logs --previous、繋がらないなら endpoints、遅いなら top
  • describe は一番下の Events: から読む。 Type が Warning の行と、From の列(default-scheduler か kubelet か)だけで、たいてい足りる
  • Events は既定でおよそ1時間で消える。 異常に気づいた瞬間に取る。「あとで見よう」は成立しない
  • --previous は落ちた本人のログ。 再起動の瞬間を狙う必要はない
  • exec できないイメージがある。 distroless にはシェルが無い。壊れているのではなく、削ってあるだけ。入口は kubectl debug
  • port-forward は、経路を全部飛ばして真ん中で切り分ける道具。 ここで返事が返ればアプリは無罪
  • status.conditions は「起動の関門をどこまで通ったか」。 上から見て最初の False が、詰まっている場所
  • Pod を何度作り直しても同じなら、ノードを疑う。 describe node の Conditions と Allocated resources
  • ログはノードの上のただのファイル。 Pod を消すとログも消える。 だから集約が要る。アプリはログをファイルに書かず、標準出力に出す
  • 監視を入れる前に free -h。 足りないVMに入れると、監視が原因で壊れる。読むだけでも目的は達成できる
  • Grafana は、見る画面を2つ決めてから開く。 ノードの資源とPod の再起動回数
  • Kubernetes は壊れても止まらない。だから気づけない。 再起動回数・Pending の数・ノードの Ready・PVCの空きは、Kubernetes を入れたから増えた見張り
  • アラートは症状で鳴らす。 Kubernetes が自分で直せることでは鳴らさない。直せなかったときに鳴らす
  • 鳴ったとき受け取った人が何をするか答えられない通知は、設定しない
  • 道具(k9s など)は、素の kubectl が分かってから入れる。 先に入れると、隠されたものが分からないままになる
  • 監視スタックは必ず消す。 helm uninstall では CRD と PVC が残る

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 14 / 15 本目です。

記事
← 前の記事RBACとPodのセキュリティ — 全員がcluster-adminだった
→ 次の記事自前運用かマネージドか — 放っておくと1年で止まる

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Monitoring & Logging
  • 症状から見る場所を決める
  • Prometheus / Grafana / ログ集約

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次