障害対応は切り分けの順番がすべて — わざと壊して直す

障害対応と復旧。サーバーと点検用の虫眼鏡、工具と復旧のチェック。

※本記事はアフィリエイト広告(PR)を含みます。

障害対応は、勘ではなく順番です。動いているものをわざと壊し、層ごとに切り分けて原因を特定する練習をします。

前回: FTPは平文で流れる — 仕事で出会う古い技術 作業場所はVMの中(Ubuntu Server)です。~/server の API、nginx、MySQL、Redis、ufw が動いている状態から始めます。

ここまでで、動くものは作れました。

nginx が前に立ち、myserver が systemd で動き、MySQL にデータが残り、Redis がキャッシュを持ち、Prometheus がそれを見ている。全部 active (running) です。

では、これが止まったらどうしますか。

「止まったら」ではありません。止まります。 ディスクは埋まりますし、プロセスは殺されますし、設定は間違えます。やってこなかった人と、やってきた人の差は、そこで出ます。

一番まずいのは、本番で初めて障害に会うことです。

そのとき何が起きるかは、だいたい決まっています。画面を見つめて固まるか、思いついた順に設定をいじって傷口を広げるかです。ネットワークの回で書いた「闇雲に設定ファイルを書き換える」を、もっと悪い状況でやることになります。

練習しておけば済みます。 そして、このサイトがずっと VMware の仮想マシンで作業してきた一番の理由が、ここです。

スナップショットが取れる。だから、本気で壊せる。

この回では、6つの障害を自分で起こして、自分で直します。

対象レベル: 中級 / 区分: 必要に応じて読む

目次

この記事でわかること

  • 障害対応は「勘」ではなく「順番」であること。順番を持たない人だけが固まる
  • 同じ「繋がらない」でも、症状の出方(502 / 500 / タイムアウト / 即拒否)で見る場所が変わること
  • active (running) は「直った」の証明にならないこと(再起動で元に戻る直し方がある)
  • 障害の記録は、犯人を書く場所ではないこと。書くべきは時刻と操作と観測

この記事でやること

  1. 何よりも先にスナップショットを取る
  2. 切り分けの型を1枚にまとめ、手元に置く
  3. 6つの障害をわざと起こし、症状 → 何を見るか → 原因 → 直し方 の順で辿る
  4. 「直った」を、再起動まで含めて確認する
  5. ポストモーテムを1枚書いて、スナップショットに戻す

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
スナップショットVMのある瞬間の状態を丸ごと保存したもの。何をどう壊しても、ボタン1つでその瞬間に戻せる
切り分け「どこが壊れているか」を、範囲を半分ずつ潰しながら特定すること。直すより先にやること
502 Bad Gatewaynginx が後ろに繋ごうとして繋がらなかったときに返す番号。nginx 自身は生きている
OOM Killerメモリが尽きたとき、Linuxがプロセスを1つ選んで強制終了する仕組み。落ちるのは犯人とは限らない
fallocateファイルの大きさを一瞬で確保するコマンド。ディスクを意図的に埋めるのに使う
ポストモーテム障害のあとに書く記録。何が起きて、何をして、何で直ったか。反省文ではない

何よりも先に、スナップショットを取る

この節を飛ばさないでください。この記事の残りは、全部これが前提です。

ここから先でやることは、意図的にサーバーを壊す操作です。 直し方は毎回書きますが、手順を1つ読み違えただけで戻れなくなることは普通に起きます。戻れる状態を先に作ります。

取り方(Windows 側の VMware の画面で操作します)

  1. VMを起動したままで構いません
  2. VMware Workstation のメニューから [VM]→[スナップショット]→[スナップショットの取得]
  3. 名前を 障害演習まえ のように、あとで自分が読んで分かる名前にする
  4. 説明欄に日付と、その時点で何が動いていたかを書いておく

[スクリーンショット: 01_スナップショット.png] スナップショットマネージャーに 障害演習まえ が1つ並んでいる画面を撮ってください。名前が読めることが条件です。

取れたことを、必ず確認する

「取ったつもり」が一番危険です。 スナップショットマネージャー([VM]→[スナップショット]→[スナップショットマネージャー])を開いて、一覧に載っていることを目で見てください。

VMを29台溜めた回でも触れましたが、スナップショットはディスクを食います。 数GB単位で増えます。 Ubuntu Server を入れた回の構成なら1つ取るくらいは問題ありませんが、演習が終わったら消してください(後片づけの節でやります)。

戻し方も、先に確認しておく

戻すのは [VM]→[スナップショット]→[スナップショットに戻す] です。VMの電源が入っていても実行できます(強制的に電源が切れた扱いになります)。

戻すと、スナップショット以降にVMの中で作ったものは全部消えます。 ~/server に書きかけのコードがあるなら、先に GitHub に push しておいてください。

ここまでできたら、壊す準備は完了です。

切り分けの型 — 「層で切る」を障害対応の形にする

このサイトは第1段階から、ずっと同じことをやってきました。

障害対応は、これを1枚にまとめたものでしかありません。 新しい技は出てきません。

型(上から順に打つ)

bash
$ uptime                       # ① いつからか / 負荷はどうか
$ df -h                        # ② ディスクは空いているか
$ free -h                      # ③ メモリは残っているか
$ systemctl --failed           # ④ 落ちているサービスはあるか
$ sudo ss -tlnp                # ⑤ 誰が何番で待っているか
$ sudo ufw status              # ⑥ 塞いでいないか
$ journalctl -p err -b --no-pager | tail -n 30   # ⑦ 直近の起動で出たエラー

7行です。これを順に打つだけで、6つの障害のうち5つは原因が見えます。

行分かること
uptimeさっき再起動したのか、ずっと動いていたのか。負荷(load average)
df -hディスク満杯。ここが100%だと、あらゆる書き込みが失敗して症状が無関係に見える
free -hメモリ枯渇。available が極端に少ないか
systemctl --failed落ちたサービスだけが並ぶ。一発で分かることが多い
ss -tlnp待ち受けが消えているか、別のプロセスが奪っているか
ufw status自分で塞いだ設定が残っていないか
journalctl -p err -bエラーだけを、今回の起動分だけ

df -h と free -h を先に打つのには理由があります。 ディスク満杯とメモリ枯渇は、症状が原因とまったく似ていません。 「ログインが遅い」「DBが落ちた」「nginx が 500 を返す」が、全部ディスクが100%なだけということがあります。 先に体調を測ってから、症状を追う。 順番を逆にすると、何時間も溶けます。

症状から入る早見表

上から順に打つのが基本ですが、症状がはっきりしているときは、ここから入れます。

症状まず疑うところ
502 Bad Gatewaynginx は生きている。後ろ(myserver)が死んでいる
500 Internal Server Errorアプリは生きている。アプリの中で例外が出ている(DB・Redis を疑う)
すぐ「接続が拒否されました」誰も待っていない(プロセスが落ちている)
待たされてタイムアウト途中で捨てられている(ファイアウォール・ネットワーク)
404 が出る経路の設定。nginx の error.log にフルパスが出る
全部が急に遅い / 書き込みだけ失敗ディスクかメモリ

「502 と 500 の違い」が読めるだけで、探す範囲が半分になります。

誰が返しているか意味
502nginx後ろに繋げなかった。 アプリは動いていない
500アプリ(Express)繋がったが、中で失敗した。 アプリは動いている

リバースプロキシの回で、nginx の後ろに myserver を置きました。あの構成にしたから、この2つを見分けられます。

障害対応の3つのルール

技術の話ではありませんが、これを守らないと直りません。

  1. 一度に1つだけ変える。 2つ変えて直ったら、どちらが効いたか永久に分かりません
  2. やったことを、その場で書く。 記憶は10分でおかしくなります(この記事の最後でやります)
  3. 元に戻せない操作の前に、手を止める。 rm / DROP / ufw enable は、打つ前に一呼吸

ログの読み順

壊す前に、ログの読み方を決めておきます。 障害の最中に man を読む余裕はありません。

順序は「新しいほうから」

ログは上から読むものではありません。 数万行あります。知りたいのは「最後に何が起きたか」です。

bash
$ journalctl -u myserver -n 50 --no-pager
オプション意味
-u サービス名そのサービスの分だけに絞る。これが一番効く
-n 50最後の50行(新しいほう)
--no-pager画面送りをせず、そのまま出す(スクショを撮るときに便利)
-eページャーで開いて、いきなり末尾へ飛ぶ
-f流れ続ける(tail -f と同じ)。再現させながら見るとき

時刻で絞る

「10分前から急に」が分かっているなら、そこだけ見ます。

bash
$ journalctl --since "10 min ago" --no-pager
$ journalctl --since "2026-09-05 14:00" --until "2026-09-05 14:30" --no-pager
$ journalctl -u myserver --since today --no-pager

エラーだけに絞る

bash
$ journalctl -p err -b --no-pager
意味
-p errエラー以上の重要度だけ。情報ログが消えて見やすくなる
-b今回の起動以降だけ。-b -1 で「1つ前の起動」=落ちる直前が読める

-b -1 は、いざというとき効きます。 VMが固まって強制的に電源を切ったあと、「落ちる前に何が出ていたか」を読む唯一の手段がこれです。電源を切った時点でログは消えていません。 ディスクに残っています。

サービスごとに、ログの場所が違う

全部が journalctl にあるわけではありません。

対象読み方
myserver / MySQL / Redis / sshjournalctl -u サービス名
nginx のアクセス・エラー/var/log/nginx/access.log と error.log
Docker のコンテナdocker compose logs サービス名
カーネル(OOM など)journalctl -k

nginx だけ別の場所なのが、引っかかりやすいところです。 nginx の回で見た error.log は、journalctl -u nginx には出てきません。

障害① サービスを止める → 502 が出る

一番よくある障害です。アプリが死んでいる。

先に、戻し方

bash
$ sudo systemctl start myserver
$ systemctl is-active myserver

これだけです。 迷ったらこれを打てば元に戻ります。

壊す

bash
$ sudo systemctl stop myserver

症状

ホストのブラウザで http://192.168.226.50/ を開きます(IPは ip a で確認した自分のもの)。

502 Bad Gateway
nginx/1.24.0 (Ubuntu)

「502」と「nginx」が両方書いてあります。 この時点で、nginx は生きていると分かります。死んでいたら、この画面すら出ません。

何を見るか

型の上から打ちます。

bash
$ systemctl --failed
$ systemctl status myserver
○ myserver.service - はじめての自作Webサーバー
     Loaded: loaded (/etc/systemd/system/myserver.service; enabled; preset: enabled)
     Active: inactive (dead) since Sat 2026-09-05 14:02:11 JST; 40s ago

inactive (dead)。 そして注目すべきはもう1つです。

enabled のままです。 つまり「次に起動したときは立ち上がる設定だが、いまは動いていない」。 start と enable は別物の回そのままです。この2つを別々に読めることが、ここで効きます。

待ち受けが消えていることも確認できます。

bash
$ sudo ss -tlnp | grep 3000

何も出ません。 誰も3000番で待っていない。だから nginx は繋げず、502 を返した。

nginx 側のログにも、はっきり出ています。

bash
$ sudo tail -n 5 /var/log/nginx/error.log
2026/09/05 14:02:31 [error] 1421#1421: *12 connect() failed (111: Connection refused) while connecting to upstream, client: 192.168.226.1, server: _, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:3000/"

connect() failed Connection refused upstream: http://127.0.0.1:3000/。 推測の余地がありません。

原因

myserver が停止している。 nginx は正常。

直す

bash
$ sudo systemctl start myserver
$ systemctl is-active myserver
$ curl -I http://localhost/
active
HTTP/1.1 200 OK

ブラウザを再読み込みして、200 に戻ることを確認します。

[スクリーンショット: 02_502とjournalctl.png] ブラウザの 502 画面と、VM側の systemctl status myserver の inactive (dead) を並べて撮ってください。

本番でこれが起きるときは、自分で止めたわけではありません。 アプリが例外で落ちています。 そのときは journalctl -u myserver -n 50 --no-pager に、落ちた理由がそのまま出ます。 unit に Restart=on-failure を書いてあるので、落ちても自動で起き直します。 ただし起き直しては落ちるを繰り返していることもあるので、systemctl status の Active: の時刻がやたら新しいときは疑ってください。

障害② nginx の設定を壊す → nginx -t で気づく

「設定を直したら、サイトごと落ちた」を防ぐ練習です。

先に、戻し方

壊す前にコピーを取ります。これが戻し方そのものです。

bash
$ sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.bak

戻すときは、

bash
$ sudo cp /etc/nginx/sites-available/default.bak /etc/nginx/sites-available/default
$ sudo nginx -t && sudo systemctl reload nginx

壊す

/etc/nginx/sites-available/default を開いて、proxy_pass の行末のセミコロンを1つ消して保存します。

bash
$ sudo nano /etc/nginx/sites-available/default

症状 — ここが分かれ道です

ここで、2通りの未来があります。

(A)検査してから反映した場合:

bash
$ sudo nginx -t
nginx: [emerg] invalid number of arguments in "proxy_pass" directive in /etc/nginx/sites-enabled/default:25
nginx: configuration file /etc/nginx/nginx.conf test failed

(セミコロンが無いと、次の行までを proxy_pass の続きとして読むので「引数の数が違う」と言われます。行番号はセミコロンが見つかった行、パスは nginx が読み込んだ sites-enabled 側を指します。)
サイトは動いたままです。 反映していないので、利用者には何も起きていません。

(B)いきなり reload した場合:

bash
$ sudo systemctl reload nginx
Job for nginx.service failed.
See "systemctl status nginx.service" and "journalctl -xeu nginx.service" for details.

この場合、reload は失敗しますが、nginx は古い設定のまま動き続けます。 助かっています。しかし restart だったら止まります。

bash
$ sudo systemctl restart nginx     # ← これをやると本当に落ちる
$ systemctl status nginx
Active: failed (Result: exit-code)

ブラウザは、502 ではなく「接続が拒否されました」になります。 nginx 自体が居ないからです。502 との違いを、ここで体験できます。

何を見るか

bash
$ sudo nginx -t
$ journalctl -u nginx -n 20 --no-pager

どちらにも、ファイル名と行番号が出ます。

原因

設定ファイルの文法エラー。 24行目のセミコロン。

直す

bash
$ sudo cp /etc/nginx/sites-available/default.bak /etc/nginx/sites-available/default
$ sudo nginx -t && sudo systemctl restart nginx
$ curl -I http://localhost/

&& で繋ぐのが要点です。 シェルスクリプトの回でやったとおり、検査に失敗したら restart しません。 nginx -t → reload を、指が勝手にやるようになるまで繰り返してください。 ここだけは習慣の問題です。

障害③ MySQL を止める → API が 500 を返す

①との違いを見るための障害です。

先に、戻し方

bash
$ sudo systemctl start mysql
$ systemctl is-active mysql

壊す

bash
$ sudo systemctl stop mysql

症状

bash
$ curl -i -s -b cookie.txt http://localhost:3000/api/tasks | head -n 5
HTTP/1.1 500 Internal Server Error
Content-Type: application/json; charset=utf-8

{"error":"データベースに繋がりません"}

502 ではなく 500 です。 ブラウザから nginx 経由で見ても 500 です。

この違いが、この記事の中心にあります。 502 は「アプリに繋がらなかった」、500 は「アプリには繋がったが、アプリが失敗した」。 500 が出た時点で、myserver は生きています。 myserver を再起動しても直りません。探す場所は、アプリが依存しているもの(DB・Redis・外部API)です。

何を見るか

利用者に返るメッセージは、MySQLの回で書いたとおり、わざと詳しく書いていません。 詳細はサーバー側のログにあります。

bash
$ journalctl -u myserver -n 30 --no-pager
Error: connect ECONNREFUSED 127.0.0.1:3306
    at ...
  code: 'ECONNREFUSED',
  address: '127.0.0.1',
  port: 3306

ECONNREFUSED と 3306。 アドレスとポート番号が書いてあるので、誰に繋げなかったかが確定します。

型の④と⑤でも見えます。

bash
$ systemctl --failed
$ sudo ss -tlnp | grep 3306

3306 が消えています。

原因

MySQL が停止している。

直す

bash
$ sudo systemctl start mysql
$ systemctl is-active mysql
$ curl -s -b cookie.txt http://localhost:3000/api/tasks | jq 'length'

Redis でも同じことが起きます。 Redis の回の構成なら、sudo systemctl stop redis-server で ECONNREFUSED 127.0.0.1:6379 が出ます。 ポート番号を見るだけで、どの依存先が死んだか分かる。 これが「番号を覚える」ことの実利です。

番号誰
3000myserver(アプリ)
3306MySQL
6379Redis
80nginx

障害④ ufw で塞ぐ → 外から繋がらないが、中からは繋がる

一番たちの悪い障害です。 なぜなら、サーバーの中では全部正常に見えるからです。

先に、戻し方

bash
$ sudo ufw allow 'Nginx HTTP'
$ sudo ufw status

sudo ufw disable で全部止めて解決しないでください。 それは直したのではなく、防御を外しただけです。 原因を特定してから、必要な1行だけを戻します。

壊す

bash
$ sudo ufw delete allow 'Nginx HTTP'
$ sudo ufw status

22/tcp と OpenSSH の行は、絶対に消さないでください。 ネットワークの回で書いたとおり、SSHごと切れて入れなくなります。 VMware のコンソール画面からは入れるので復旧はできますが、リモートのサーバーなら本当に終わりです。

症状

ホストのブラウザで開くと、読み込み中のまま、しばらくしてタイムアウトします。

「接続が拒否されました」ではありません。ここが決定的です。

症状意味
即座に「拒否されました」相手が「そんなポートは開いていない」と返事をしている=プロセスが居ない
待たされてタイムアウト返事が来ない=途中で黙って捨てられている=ファイアウォール

ファイアウォールは「断る」のではなく「無視する」ので、送った側は返事を待ち続けます。 だから時間がかかります。 「即断られたか、待たされたか」を必ず覚えてください。 これだけで、探す層が2つに絞れます。

何を見るか

まず、内側から外側へ(nginx の回の順番です)。

bash
$ curl -I http://localhost/            # ① VMの中から → 200 OK
$ curl -I http://192.168.226.50/       # ② VMの中から自分のIPへ → 200 OK

両方通ります。VMの中では、何も壊れていません。

bash
$ systemctl is-active nginx            # active
$ sudo ss -tlnp | grep :80             # 0.0.0.0:80 で待っている

全部正常です。 ここまで正常で、外からだけ繋がらない。 この時点で、残っている層は1つです。

bash
$ sudo ufw status
Status: active

To                         Action      From
--                         ------      ----
22/tcp                     ALLOW       Anywhere

Nginx HTTP の行が消えています。

「中からは繋がるのに外からは繋がらない」と分かった時点で、ufw かネットワーク方式の2択です。 そこまで絞ってから ufw を見るのが型で、いきなり ufw を見て、たまたま当たるのは型ではありません。次に外すからです。

原因

ufw の許可ルールが消えている。

直す

bash
$ sudo ufw allow 'Nginx HTTP'
$ sudo ufw status

ホストのブラウザを再読み込みして、戻ることを確認します。

障害⑤ ディスクを埋める → 書き込みが全部失敗する

症状が原因にまったく似ていない障害です。 ここが一番、練習の価値があります。

先に、戻し方と、確認

この障害は、後片づけを間違えるとVMが本当に使えなくなります。

作るファイルは1つだけ、場所も名前も固定します。

bash
$ rm -f ~/fill.img
$ df -h /

これが戻し方です。 打ち間違えても消せるように、ホームディレクトリの fill.img 以外は作りません。

スナップショットを取っていることを、もう一度確認してください。 ディスクが100%になると、ログインすらまともにできなくなることがあります。そのときの最終手段はスナップショットです。

壊す

まず、いま何GB空いているかを見ます。

bash
$ df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        24G  9.2G   14G  41% /

Avail が 14G です。ここから少しだけ残して埋めます。

bash
$ fallocate -l 13G ~/fill.img
$ df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        24G   22G  200M  99% /

fallocate は、中身を書かずに場所だけ確保します。 だから一瞬で終わります。 dd で13GB書くと数分かかります。 -l 13G の数字は、自分の Avail から1〜2GB引いた値にしてください。Avail ちょうどにすると、この後の操作すらできなくなります。

症状

症状は、原因とまるで関係なく見えます。

bash
$ curl -s -b cookie.txt -X POST http://localhost:3000/api/tasks \
    -H "Content-Type: application/json" -d '{"title":"入るか試す"}' | jq
{"error":"保存できませんでした"}

「保存できませんでした」。 アプリのバグに見えます。MySQL のログを見ると、もっと紛らわしいものが出ます。

bash
$ journalctl -u mysql -n 20 --no-pager
[ERROR] [MY-011980] [InnoDB] Could not write to file ... (OS errno 28 - No space left on device)

No space left on device。 ここで初めて分かります。

他にも、あちこちが同時におかしくなります。

  • apt install が失敗する
  • journalctl に新しいログが書かれなくなる(ログが止まるので、原因がログに残らない)
  • nano で保存できない
  • Docker のコンテナが起動しない

これが「ディスク満杯が厄介な理由」です。 壊れるのは「書き込む全員」なので、症状がバラバラに、同時に出ます。 そして「DBが壊れた」「アプリのバグだ」と思い込んで、関係ないところを何時間も掘ることになります。

だから型の②に df -h を置いています。 30秒で潰せる可能性を、最初に潰すためです。

何を見るか

bash
$ df -h

Use% が 100%(あるいは 99%)の行を探します。

次に、「何が食っているか」を探します。

bash
$ sudo du -h -d 1 / 2>/dev/null | sort -h | tail -n 10
部分意味
duディレクトリごとの使用量(df は全体、du は内訳)
-d 11階層だけ(付けないと延々と潜って終わりません)
2>/dev/null権限エラーの表示を捨てる(読めない場所が必ずある)
sort -h人が読む単位(G / M)のまま大きさ順に並べる
tail -n 10大きいほうから10件

大きいところが見つかったら、その中をもう1段掘ります。

bash
$ sudo du -h -d 1 /home 2>/dev/null | sort -h | tail -n 10

fill.img に辿り着きます。

本番でよく犯人になるのは、この3つです。

場所中身
/var/log/ログ。放っておくと無限に増える
/var/lib/docker/使っていないイメージとボリューム
/var/lib/mysql/データそのもの。これは消せない

ログなら、監視の回でやった sudo journalctl --vacuum-size=200M で削れます。 Docker なら docker system df で内訳が見え、docker image prune で使っていないイメージを消せます。

[スクリーンショット: 03_df満杯.png] df -h / の Use% 99% と、du で fill.img を見つけたところを1枚に収めて撮ってください。

原因

~/fill.img が13GB占有している。

直す

bash
$ rm -f ~/fill.img
$ df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        24G  9.2G   14G  41% /

戻ったことを確認してから、APIをもう一度叩きます。

bash
$ curl -s -b cookie.txt -X POST http://localhost:3000/api/tasks \
    -H "Content-Type: application/json" -d '{"title":"直った"}' | jq

消したのに Avail が増えないことがあります。 削除したファイルを、まだ誰かが開いているときです。Linux では、開いている間はディスクから消えません。 そのときは sudo lsof +L1 で「消えたのに開かれているファイル」が分かります。そのプロセスを再起動すれば解放されます。

障害⑥ メモリを食い潰す → OOM Killer が何かを殺す

「何もしていないのに、DBが落ちた」の正体です。

先に、知っておくこと

Linux はメモリが尽きると、プロセスを1つ選んで強制終了します。 これが OOM Killer です。

殺されるのは、メモリを食った犯人とは限りません。 Linux は「殺したら一番メモリが空いて、被害が小さそうなもの」を選びます。結果として、一番大きい MySQL や myserver が殺されることがよくあります。 「落ちたやつが原因」ではありません。 ここを間違えると、無実のプロセスを何時間も調べることになります。

まず、安全なほうでやる

いきなりVM全体のメモリを食い潰すと、VMが固まって操作できなくなります。 まず限界を決めてやります。

bash
$ systemd-run --scope -p MemoryMax=200M --user tail /dev/zero
部分意味
systemd-run --scope一時的な入れ物を作って、その中で実行する
-p MemoryMax=200Mその入れ物は200MBまで。超えたらそれだけが殺される
tail /dev/zero無限にゼロを読み続ける=メモリを際限なく食う

数秒で、こう出て終わります。

Running scope as unit: run-r9f2....scope
Killed

VMは無傷です。 他のサービスは何も落ちていません。systemctl --failed を打って、何も出ないことを確認してください。

何が起きたかをログで読む

これがこの節の本題です。

bash
$ journalctl -k -n 30 --no-pager | grep -i -A 3 "out of memory"

または、

bash
$ journalctl --since "5 min ago" --no-pager | grep -i "killed process"
kernel: Memory cgroup out of memory: Killed process 6120 (tail) total-vm:1049320kB, anon-rss:203112kB, file-rss:1024kB, shmem-rss:0kB, UID:1000 pgtables:432kB oom_score_adj:0

読むところは3つです。

部分意味
Killed process 6120 (tail)殺されたプロセスの番号と名前
anon-rss:203112kBそのプロセスが実際に使っていたメモリ(約200MB)
oom_score_adj殺されやすさの調整値。 大きいほど先に殺される

-k は「カーネルのログだけ」です。OOM Killer はカーネルが動かしているので、journalctl -u myserver には出てきません。サービスのログをいくら見ても見つからないのはこのためです。

[スクリーンショット: 04_oom_killer.png] Killed process ... (tail) の行が読める journalctl の画面を撮ってください。

本物のほうを、やるかどうか

入れ物を外すと、VM全体のメモリを食い潰します。

bash
$ tail /dev/zero

これを打つと、VMは数十秒〜数分、操作を受け付けなくなります。 そして OOM Killer が mysqld か node を殺す可能性が高いです。それを見るのがこの演習の目的ですが、スナップショットを取っていない状態では絶対に打たないでください。 VMが完全に固まったら、VMware の[VM]→[パワー]→[パワーオフ]で強制終了し、起動後に journalctl -k -b -1 で「落ちる前」を読みます。

打ったあと、落ち着いたら Ctrl + C で止めて、被害を数えます。

bash
$ systemctl --failed
$ journalctl -k -b --no-pager | grep -i "killed process"
$ free -h

mysql.service が failed に出ていたら、それが「巻き添えで殺された」ものです。

直す

bash
$ sudo systemctl start mysql
$ sudo systemctl start myserver
$ systemctl --failed

0 loaded units listed. になれば戻っています。

本番での対策は「気をつける」ではありません。
・unit に MemoryMax= を書いて、アプリが食える上限を決める
・監視の回のメモリのグラフを見て、増え続けていないかを確かめる(メモリリークは、じわじわ増えます)
・Restart=on-failure を書いておく(殺されても起き直る)

この3つ目は、すでに myserver.service に入っています。 殺されても勝手に戻ってくるのは、そのためです。

「直った」と言う前に確認すること

ここが、この記事で一番大事な節です。

active (running) が出た瞬間に「直った」と言いたくなりますが、それは半分です。

いまの起動で動いていることと、次の起動でも動くことは、別の話です。

start と enable は別物の回で書いたとおりです。 障害対応で start だけして満足すると、次に誰かがサーバーを再起動した瞬間に、同じ障害がもう一度起きます。 そしてそのときは、もう原因を覚えていません。

確認する4つ

bash
$ # ① いま動いているか
$ systemctl is-active myserver nginx mysql redis-server

$ # ② 次の起動でも立ち上がるか  ← ここを忘れる
$ systemctl is-enabled myserver nginx mysql redis-server

$ # ③ 落ちているものが残っていないか
$ systemctl --failed

$ # ④ 利用者の経路で、本当に返るか
$ curl -I http://localhost/

②の出力が、全部 enabled であることを確認してください。

enabled
enabled
enabled
enabled

1つでも disabled があったら、直っていません。

bash
$ sudo systemctl enable サービス名

本当に確かめるなら、再起動する

一番確実な確認は、これです。

bash
$ sudo reboot

繋ぎ直して、

bash
$ uptime
$ systemctl --failed
$ curl -I http://localhost/

uptime が数分になっていて、--failed が空で、200 が返る。 ここまで見て、初めて「直った」です。

「再起動して確かめる」を、演習のうちに習慣にしてください。 本番では気軽に再起動できないので、手癖になっていないと一生やりません。 そして「再起動したら戻らなかった」は、本番で最も気まずい事故です。

利用者の経路で確かめる

curl -I http://localhost/ だけで終わらせないでください。

bash
$ curl -I http://localhost/            # ① VMの中から
$ curl -I http://192.168.226.50/       # ② 自分のIPで

そして、ホストのブラウザから開きます(③)。

①が通るのに③が駄目なら、まだ ufw かネットワークが残っています。利用者が通る経路の、一番外側まで確かめて終わりです。

記録を残す — ポストモーテム

直したら終わり、ではありません。 ここまでの6つを、1枚に書き残します。

なぜ書くのか

理由は3つです。

  1. 1週間後の自分は、何をしたか覚えていません。 同じ障害が再発したとき、ゼロからやり直すことになります
  2. 「直った」と思ったが直っていなかったを、あとから検証できます
  3. 同じ穴を塞ぐ材料になります。「ディスクが埋まった」なら、次は埋まる前に気づく仕組みを作る話になります

犯人探しをしない

ここは、書き方の問題ではなく、姿勢の問題です。

ポストモーテムに「誰が」を書きません。書くのは「何が」です。

理由は単純で、犯人を書く文化になると、誰も障害を報告しなくなるからです。 隠された障害は、もっと大きくなってから出てきます。

書かない書く
「私が stop を打ったのが悪かった」「14:02 に myserver を停止した」
「確認不足でした」「nginx -t を打たずに restart した。検査を挟んでいれば止まらなかった」
「気をつけます」「nginx -t を通ったときだけ reload するよう、&& で繋いだ手順に変えた」

「気をつけます」は対策ではありません。 次も同じことが起きます。手順か仕組みを変えたときだけ、対策と呼べます。

書く(そのまま使えるひな形)

bash
$ mkdir -p ~/incidents
$ nano ~/incidents/2026-09-05-disk-full.md
# 2026-09-05 ディスク満杯でAPIの保存が失敗した

## 影響
- 14:20 〜 14:35(15分)
- POST /api/tasks が 500 を返した。GET は成功していた
- 練習環境。利用者への影響なし

## 時系列
- 14:20 fallocate で 13GB のファイルを作成(演習として意図的)
- 14:22 POST が {"error":"保存できませんでした"} を返すのを確認
- 14:25 journalctl -u mysql に "No space left on device"
- 14:28 df -h で / が 99%
- 14:30 du -h -d 1 /home で ~/fill.img (13G) を特定
- 14:32 rm -f ~/fill.img
- 14:35 POST が 201 を返すのを確認

## 直接の原因
- ルートファイルシステムの空き容量が枯渇した

## なぜ気づくのが遅れたか
- 症状(保存できない)が原因(ディスク)と結びつかなかった
- アプリのエラーメッセージには容量の話が出てこない

## やった対策
- 切り分けの型の2行目に `df -h` を置いた(症状を追う前に体調を測る)
- journalctl の保存上限を 200M に設定した

## やらなかったこと / 残った宿題
- 容量のアラートは設定していない。監視の回で扱う

見るところは「時系列」

上の項目のうち、あとで一番役に立つのは時系列です。

「何時何分に、何を打って、何が返ったか」。これがあると、「その操作の前から壊れていた」「その操作で壊れた」が区別できます。 障害対応で一番揉めるのがそこです。

障害の最中にきれいに書こうとしないでください。 打ったコマンドをメモ帳に貼るだけで十分です。整えるのは終わってからです。

[スクリーンショット: 05_ポストモーテム.png] ~/incidents/ に書いた記録を cat で表示した画面を撮ってください。

つまずいたところ

症状原因
502 なのに myserver を再起動しても直らない500 と読み違えている。 ブラウザではなく curl -i で番号を確認する
journalctl -u nginx にエラーが出てこないnginx のエラーは /var/log/nginx/error.log。 journal には出ない
journalctl に OOM の行が無い-k を付けていない。 OOM Killer はカーネルのログ
rm したのに df の空きが増えない削除したファイルを、まだ誰かが開いている。 sudo lsof +L1 で探す
fallocate が Operation not supportedファイルシステムが対応していない。~ 直下(ext4)でやる
ufw disable したら直ったので、そのままにした直っていない。 防御を外しただけ。必要な1行を戻して enable に戻す
演習中にVMが固まって、何も打てないパワーオフ → 起動 → journalctl -k -b -1 で落ちる前を読む
直したはずが、翌日また落ちているsystemctl is-enabled を確認していない。 start しかしていない

後片づけ

作ったゴミを消します。

bash
$ rm -f ~/fill.img
$ sudo rm -f /etc/nginx/sites-available/default.bak
$ df -h /

全部が元どおりか、最後にもう一度確認します。

bash
$ systemctl is-active myserver nginx mysql redis-server
$ systemctl is-enabled myserver nginx mysql redis-server
$ systemctl --failed
$ sudo ufw status
$ curl -I http://localhost/

is-active と is-enabled が全部そろって、--failed が空で、200 が返ること。

記録だけは残す

bash
$ ls ~/incidents/

~/incidents/ は消さないでください。 ここまでの演習が、そのまま自分の障害対応の教科書になります。 GitHub に上げておくと、VMを作り直しても残ります。

スナップショットを片づける

演習が終わったら、Windows 側の VMware で片づけます。

やりたいこと操作
壊す前の状態に戻したい[VM]→[スナップショット]→[スナップショットに戻す]
いまの状態のまま進みたいスナップショットマネージャーで [削除]

[削除]はVMを壊しません。 「戻る先を消す」だけで、いまのVMはそのまま残ります。 ディスクを数GB取り返せるので、残す理由が無いなら消してください。

この記事の演習は、全部元に戻せる形で書いてあります。 手順どおりにやったなら、戻さずに削除して構いません。 途中で何か分からなくなったなら、迷わず戻してください。それがスナップショットの存在理由です。

まとめ

  • 「動いた」の次は「壊れたときに直せる」。 本番で初めて障害に会うのが、一番まずい
  • 壊す前に、必ずスナップショット。 これがVMで作業してきた最大の理由
  • 型は7行。 uptime / df -h / free -h / systemctl --failed / ss -tlnp / ufw status / journalctl -p err -b
  • df -h と free -h を先に打つ。 ディスク満杯とメモリ枯渇は、症状が原因に似ていない
  • 502 は nginx が「後ろに繋げなかった」、500 はアプリが「中で失敗した」。 探す場所がまったく違う
  • 即「拒否されました」=プロセスが居ない。待たされてタイムアウト=ファイアウォール
  • ログは新しいほうから。 -u で絞り、-n で切り、--since で時刻を挟む。-b -1 は落ちる直前が読める
  • OOM Killer はカーネルのログ(journalctl -k)。 そして殺されるのは犯人とは限らない
  • 一度に1つだけ変える。 2つ変えて直ったら、どちらが効いたか永久に分からない
  • ufw disable は解決ではない。 防御を外しただけ
  • 「直った」の条件は is-active だけではない。 is-enabled、そして再起動して確かめる
  • 利用者の経路の一番外側(ホストのブラウザ)まで確認して、はじめて終わり
  • 記録を残す。書くのは時刻と操作と観測。 「誰が」と「気をつけます」は書かない
  • 手順か仕組みを変えたときだけ、対策と呼べる

手元のVMで型が身についたら、同じ6つの障害を外から到達できるサーバーでも起こしてみると、障害④の「中からは繋がるのに外からは繋がらない」が実感として残ります。さくらのVPSはクレジットカード払いなら全プランを2週間無料で試せるので(2026-11 時点)、壊す練習用に1台借りて期間内に解約する使い方ができます。ただしバックアップ機能は標準・オプションともに無く、VMのスナップショットのような戻り方はできない点だけ押さえておいてください。

参考リンク


この段階の確認

【第8段階】深掘り は、ここで終わりです。 次に進む前に、答えを見ずに試してください。

読み終えた直後は、たいてい「分かった気」になっています。 手が動くかどうかは別です。

説明できますか

  1. 「速くする前に必ず測る」のはなぜか。測らずに直すと何が起きますか
  2. ボトルネックは動くとはどういう意味か
  3. 安全にはできない、被害を小さくする——この言い換えは何を諦めていますか

手が動きますか

  • 遅いSQLを EXPLAIN で見て、インデックスが使われているかを確かめる
  • わざと障害を起こし、切り分けの順番どおりに直す
  • 自分のVMを点検し、開いているポートを棚卸しする

1つでも詰まったら、飛ばした回があります。 そこへ戻ってください。戻るのは後退ではありません。 戻り先の目安: パフォーマンス改善の回 / システム設計の回 / セキュリティ点検の回 / わざと壊す回

全部答えられたなら、次の段階へ進んでください。


次に読む

この記事は 【第8段階】深掘り の 21 / 30 本目です。

記事
← 前の記事FTPは平文で流れる — 仕事で出会う古い技術
→ 次の記事要件定義と基本設計・詳細設計 — V字モデルの対応表

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

roadmap.sh に「わざと壊して直す」という項目はありません。 ただし DevOps ロードマップの監視・インシデント対応の実地版です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次