障害対応の回では、わざと壊して直すところまでやりました。切り分けの順番が分かれば、たいていの障害は直せます。
実務で足りなくなるのは、その先です。 直したあとに「何が起きて、何をして、なぜ起きたのか」を残さないと、同じ障害が3回起きても、3回とも初見として調べ直すことになります。 そして、原因の多くは「誰かが何かを変えたこと」なのに、その変更が記録されていないので辿れません。
この記事は、障害票と変更票を実際に作り、前回わざと壊した障害を1件書ききる回です。文書仕事に見えますが、次に同じことが起きたときの時間を、いま買っている作業です。
対象レベル: 中級 / 区分: 必修
この記事でわかること
- インシデント・問題・変更が別物であること(混ぜると回らない)
- 優先度が影響度 × 緊急度で決まること
- 暫定対応と恒久対策を分ける理由
- 変更管理で本当に要るのは「切り戻し手順」1つだということ
- 記録を機械で検査するやり方(書き漏れを人の目で防がない)
この記事でやること
- 3つの管理を分ける
- 優先度をマトリクスで決める(山場①)
- わざと障害を起こし、障害票を1件書ききる(山場②)
- 変更票を書いて、切り戻しまで実際に通す(山場③)
- 記録の抜けを、機械で見つける
先に知る言葉
この記事で初めて出てくる言葉です。 詳しくは用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| インシデント | いま困っている状態。目的は復旧で、原因究明ではない |
| 問題 | その根っこ。目的は再発防止。急がなくてよい |
| 変更 | 意図して環境を変えること。障害の原因で一番多い |
| 暫定対応 | とりあえず止血する。再起動・切り離し・縮退 |
| 恒久対策 | 同じことが起きないようにする。設定・監視・手順の変更 |
① 3つを分ける
| インシデント | 問題 | 変更 | |
|---|---|---|---|
| 目的 | 早く戻す | 二度と起こさない | 安全に変える |
| 時間軸 | いま | あとで | 計画して |
| 成功の基準 | 復旧までの時間 | 再発しないこと | 戻せたこと |
| やりがちな失敗 | 原因を調べ始める | 忘れる | 記録しない |
インシデント対応中に原因を調べ始めるのが、一番よくある失敗です。 利用者が止まっている間は、原因が分からなくても戻すのが正解です。原因究明は「問題」として、落ち着いてからやります。この2つを分けていないと、復旧が遅れます。
② 優先度を、その場の感覚で決めない
「重要そう」で決めると、報告する人の声の大きさで順番が変わります。 2つの軸で機械的に決めます。
| 影響度 \ 緊急度 | 高(いま止まっている) | 中(近く止まる) | 低(困るが動く) |
|---|---|---|---|
| 大(全員) | P1 | P2 | P3 |
| 中(一部の部署) | P2 | P3 | P4 |
| 小(1人・回避策あり) | P3 | P4 | P4 |
| 優先度 | やること | 目安 |
|---|---|---|
| P1 | すぐ着手。第一報を出し、以後は定期的に続報 | 即時 |
| P2 | 当日中に着手 | 数時間 |
| P3 | 翌営業日 | 数日 |
| P4 | 計画に入れる | 次の定期作業で |
「回避策があるか」で緊急度が1段下がります。 別の手段で仕事が続けられるなら、深夜に叩き起こす必要はありません。
③ 障害を起こして、票を書ききる
読むだけでは身に付かないので、実際に1件やります。 前回作った作業場所を使います。
mkdir -p ~/ops/docs/incident ~/ops/docs/change
# わざと壊す: ディスクを埋めて、書き込みを失敗させる
df -h /
sudo fallocate -l 4G /var/tmp/filler.img
df -h /
sudo systemctl restart app 2>&1 | tail -3
まず戻す(原因を調べない)
sudo rm -f /var/tmp/filler.img
df -h /
curl -s -o /dev/null -w "%{http_code}\n" http://localhost:3000/health
そのあとで、票を書く
nano ~/ops/docs/incident/20260907-01.md
# 障害票 20260907-01
| 項目 | 内容 |
|---|---|
| 検知 | 2026-09-07 14:02 / 日次点検スクリプト |
| 発生 | 2026-09-07 13:48(ログの最初のエラー) |
| 復旧 | 2026-09-07 14:20 |
| 影響 | 投稿ができない(閲覧は可能)。利用者全員 |
| 影響度 / 緊急度 | 中 / 高 → **P2** |
## 時系列
| 時刻 | 出来事 |
|---|---|
| 13:48 | アプリのログに "No space left on device" |
| 14:02 | 点検スクリプトがディスク 100% を検知 |
| 14:05 | 第一報。閲覧は可能と確認 |
| 14:12 | /var/tmp の大きなファイルを特定(du) |
| 14:18 | **暫定対応**: 該当ファイルを削除 |
| 14:20 | 復旧確認(/health が 200・投稿できる) |
## 直接の原因
/var/tmp に 4GB のファイルが置かれ、ルートの空きが 0 になった。
## なぜ気づけなかったか
- 監視の閾値が「95%」で、埋まる直前まで通知されなかった
- 日次点検は 14:00 の 1 回だけで、13:48 の発生から 14 分かかった
## 暫定対応
不要ファイルの削除(同じことが起きれば再発する)
## 恒久対策
| 対策 | 期限 | 担当 |
|---|---|---|
| 閾値を 85% に下げる | 09-08 | 自分 |
| /var/tmp を別領域に分ける | 09-30 | 自分 |
| 点検を 1 時間ごとにする | 09-08 | 自分 |
## 再発防止の確認方法
閾値を 85% にしたうえで、再度 4GB を確保して**通知が出ること**を確かめる(09-08 実施)
「なぜ気づけなかったか」の欄が、この票でいちばん価値があります。 障害そのものより、検知が遅れた理由のほうが再発防止につながります。ここを書かないと、対策が「気をつける」で終わります。
恒久対策は、効くことを確かめて閉じる
# 閾値を 85% に下げた状態で、もう一度同じ障害を起こす
sudo fallocate -l 4G /var/tmp/filler.img
~/ops/bin/daily_check.sh; echo "終了コード: $?"
sudo rm -f /var/tmp/filler.img
「対策した」ではなく「対策が効いた」まで確かめます。 検査を足したら壊して確かめる——このサイトで何度も出てきた形が、運用でもそのまま使えます。
④ 変更票と、切り戻し
障害の原因で最も多いのは「誰かが何かを変えたこと」です。 だから変更を記録します。
nano ~/ops/docs/change/20260908-01.md
# 変更票 20260908-01
| 項目 | 内容 |
|---|---|
| 目的 | ディスク使用率の閾値を 95% → 85% に下げる(障害 20260907-01 の対策) |
| 対象 | ~/ops/bin/daily_check.sh |
| 実施予定 | 2026-09-08 18:00(利用者が少ない時間) |
| 影響 | 無し(点検スクリプトのみ。サービスは止めない) |
| 承認 | 自分(P4 相当のため自己承認でよい) |
## 手順
1. 変更前の状態を控える: cp daily_check.sh daily_check.sh.20260908
2. 閾値の行を書き換える
3. その場で実行して、終了コードを確認する
## 確認
- 4GB を確保した状態で実行 → **警告が出て、終了コードが 1**
- ファイルを消した状態で実行 → **警告が出ず、終了コードが 0**
## 切り戻し手順(必ず書く)
cp daily_check.sh.20260908 daily_check.sh で元に戻す(所要 1 分)
## 実施記録
| 時刻 | 内容 |
|---|---|
| 18:02 | 変更実施 |
| 18:05 | 確認 OK(両方の終了コードを確認) |
| 18:06 | 完了。切り戻し不要 |
| 変更票で本当に要るもの | 理由 |
|---|---|
| 切り戻し手順 | これが書けない変更は、やってはいけない |
| 影響範囲 | 止まるのか止まらないのかで、実施できる時間帯が変わる |
| 確認方法 | 「変えた」ではなく「効いた」を示す |
| 実施記録 | 障害が起きたとき、直前の変更から疑える |
「切り戻し手順が書けない変更は、やってはいけない」——これが変更管理の核心です。 戻せない変更(データの移行、スキーマの削除、更新の適用)は、戻せる状態を先に作るしかありません。スナップショット、バックアップ、並行稼働。全部そのためにあります。
⑤ 記録の抜けを、機械で見つける
「書き漏れないように気をつける」は仕掛けではありません。 検査します。
cat > ~/ops/bin/check_records.sh <<'EOF'
#!/bin/bash
# 障害票・変更票に、必要な欄が書かれているかを見る
cd ~/ops/docs || exit 1
ng=0
for f in incident/*.md; do
[ -e "$f" ] || continue
for key in "## 時系列" "## 直接の原因" "## なぜ気づけなかったか" "## 恒久対策"; do
grep -q "$key" "$f" || { echo "NG $f : $key が無い"; ng=1; }
done
# 恒久対策に期限が入っているか(日付らしきものがあるか)
awk '/## 恒久対策/{f=1;next} /^## /{f=0} f' "$f" | grep -qE '[0-9]{2}-[0-9]{2}' \
|| { echo "NG $f : 恒久対策に期限が無い"; ng=1; }
done
for f in change/*.md; do
[ -e "$f" ] || continue
grep -q "## 切り戻し手順" "$f" || { echo "NG $f : 切り戻し手順が無い"; ng=1; }
grep -q "## 実施記録" "$f" || { echo "NG $f : 実施記録が無い"; ng=1; }
done
[ "$ng" -eq 0 ] && echo "OK 記録に抜けはありません"
exit $ng
EOF
chmod +x ~/ops/bin/check_records.sh
~/ops/bin/check_records.sh; echo "終了コード: $?"
これを月次で回せば、書きかけの票が溜まりません。 要件定義の回で作った「テストのない要件を見つける検査」と、同じ形をしています。
⑥ 障害から学ぶときの作法
| やること | やらないこと |
|---|---|
| 仕組みの問題として書く | 個人の不注意として書く |
| 「なぜ気づけなかったか」を掘る | 「気をつける」で終わらせる |
| 期限と担当を付ける | 対策を列挙して満足する |
| 効いたことを確かめて閉じる | 対策したことにして閉じる |
「人を責めない」は、優しさの話ではありません。 責める文化では、次から報告が上がってこなくなり、もっと大きな障害になってから発覚します。 実際に、隠された小さな異常が積み重なって起きる事故のほうが被害は大きくなります。
完成の判定
| # | 確かめること | 合格の形 |
|---|---|---|
| 1 | 3つを分けられる | 復旧・原因究明・変更を別の作業として説明できる |
| 2 | 優先度を根拠で言える | 影響度と緊急度の2軸で P が決まっている |
| 3 | 障害票を1件書ききった | 「なぜ気づけなかったか」が埋まっている |
| 4 | 切り戻しを実際に通した | 変更票の手順どおりに戻せた |
| 5 | 記録を機械で検査できる | check_records.sh が 終了コード 0 |
つまずいたところ
復旧を急ぐと、原因が分からなくなる
両立させる方法があります。 戻す前に、証拠だけ確保してください。
journalctl -u app --since "-30min" > ~/ops/log/incident_$(date +%H%M).log
df -h >> ~/ops/log/incident_$(date +%H%M).log
ps aux --sort=-%mem | head -10 >> ~/ops/log/incident_$(date +%H%M).log
30 秒で取れるものだけ取って、すぐ戻します。 フォレンジックの回で「触ると証拠が変わる」と書いたのと同じ理由です。
恒久対策が「気をつける」になってしまう
それは対策ではありません。 対策は、次に同じことが起きたときに機械が気づくか、そもそも起きない形になっているかのどちらかです。「気をつける」と書きたくなったら、監視・自動化・権限のどれかに翻訳してください。
変更票を書くのが面倒で、書かなくなる
項目を減らしてください。 目的・影響・切り戻し手順・実施記録の 4 つだけでも成立します。書かれない完璧な様式より、書かれる簡素な様式のほうが役に立ちます。
同じ障害が何度も起きる
恒久対策が閉じていません。期限・担当・確認方法のどれかが抜けているはずです。check_records.sh が期限の欄を見ているのは、このためです。
後片づけ
sudo rm -f /var/tmp/filler.img
df -h /
ls ~/ops/docs/incident ~/ops/docs/change
# 票は残しておいてください。次の回で点検の題材にします
よくある質問
- 1人で運用しているのに、障害票は要りますか
- 要ります。相手は他人ではなく半年後の自分だからです。同じ障害に2回目に出会ったとき、票が残っていれば数分で終わりますが、無ければまた一から調べ直すことになります。書く量も多くありません。時系列・直接の原因・なぜ気づけなかったか・恒久対策の4項目だけで十分に役立ちます。
- インシデント対応中に原因を調べてはいけないのですか
- 復旧より優先してはいけない、という意味です。原因が分からなくても戻せるなら、先に戻します。ただし戻す前に30秒でログや状態を保存しておくと、あとで調べられます。原因が分からないと戻せない場合もあるので、そのときは調べますが、目的はあくまで復旧の手がかりを得ることで、根本原因の特定ではありません。
- ITILを勉強したほうがいいですか
- 言葉の定義を知っておくと、現場での会話が通じやすくなります。ただし体系を暗記するより、この記事でやったように障害票と変更票を1件ずつ実際に書くほうが身に付きます。ITILは大きな組織向けに整理された枠組みなので、小さな環境ではそのまま持ち込むと手続きだけが重くなります。必要な部分だけ取り込んでください。
- 変更票はどんな変更でも書くべきですか
- 本番環境に影響する変更は書いてください。逆に、検証環境での試行や、自分の作業用スクリプトの修正までは不要です。線を引く基準は、それが壊れたときに利用者が困るかどうかです。迷ったときは書いておくほうが安全で、あとから振り返るときに「その日に何をしたか」が分かる価値のほうが大きくなります。
- 恒久対策に期限を入れると、守れなかったときに困りませんか
- 守れなかったこと自体は問題ではなく、期限が無いまま忘れられるほうが問題です。期限が来て終わっていなければ、延ばす判断をして新しい期限を入れれば構いません。大事なのは、対策が宙に浮いていないことを定期的に確認できる状態にしておくことです。この記事の検査スクリプトは、そのための最低限の仕掛けです。
まとめ — 理解できたこと
- インシデントは復旧、問題は再発防止、変更は安全に変えること。 混ぜると回らない
- 対応中に原因を調べ始めない。 証拠だけ 30 秒で取って、先に戻す
- 優先度は影響度 × 緊急度。 声の大きさで決めない
- 「なぜ気づけなかったか」が、障害票でいちばん価値のある欄
- 切り戻し手順が書けない変更は、やってはいけない
- 恒久対策は、効いたことを確かめて閉じる。 「気をつける」は対策ではない
参考リンク
次に読む
この記事は 【第8段階】深掘り の 26 / 30 本目です。
| 記事 | |
|---|---|
| ← 前の記事 | 複数台の構成管理 — 台帳の7項目と構成差分の検出 |
| → 次の記事 | 定期点検とキャパシティ管理 — いつ足りなくなるかを数字で言う |
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。

コメント