運用設計で決める6項目 — 手順書に判定基準を書く

運用設計で決める6項目。運用手順書とサーバー、チェックリスト、時計と歯車。

ここまでのこのサイトは、ほぼ全部「作る話」でした。roadmap.sh が構築のロードマップなので当然ですが、実務で時間を使うのは、作り終わってからのほうです。

作ったものは、放っておくと必ず止まります。ディスクが埋まり、証明書が切れ、更新で壊れ、担当者が異動します。「動くもの」と「運用できるもの」の間には、まだ距離があります。

この記事は、自分の VM に対して運用設計を書き、点検を自動化し、誰がどこへ上げるかを決める回です。文書を書く話に見えますが、全部コマンドで確かめられる形に落とします。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • 運用設計で決めるのは6項目だけだということ
  • 手順書は「手順」ではなく「判定基準」を書くものだということ
  • エスカレーションが技術ではなく時間で決まること
  • 構成の台帳を手で書かずに自動で作る方法
  • 「運用できる状態」を機械的に判定するやり方

この記事でやること

  1. 運用設計の6項目を、自分の環境に対して埋める
  2. 手順書を1本書く(判定基準つき・山場①)
  3. エスカレーションの線を、時間で引く(山場②)
  4. 構成台帳を、コマンドで自動生成する(山場③)
  5. 「引き継げるか」を検査する

先に知る言葉

この記事で初めて出てくる言葉です。 詳しくは用語集にもまとめてあります。

言葉意味
運用設計作ったものを動かし続けるための決めごと。誰が・いつ・何を見て・どうするか
ランブック作業手順書。迷わず手が動くことが目的で、説明書ではない
一次対応最初に受ける人がやること。直すことではなく、切り分けと連絡
エスカレーション自分の手に負えないと判断して、上(または隣)へ渡すこと
構成台帳いま何が・どこに・どの設定で動いているかの一覧

① 運用設計で決めるのは、6項目だけ

網羅しようとすると終わりません。 最初はこの6つだけ埋めます。

項目決めること決めていないと起きること
監視何を見て、どうなったら異常とするか止まっていることに誰も気づかない
バックアップ何を・いつ・何世代・どこに。復元の手順も消えたときに戻せない
定期作業日次・月次で何をするかディスクが埋まる。証明書が切れる
障害対応誰が受けて、どこまでやって、誰へ上げるか連絡が止まる。同じ人だけが疲弊する
変更誰の承認で、いつ、どう戻すかいつの間にか設定が変わり、原因が追えない
引き継ぎ台帳・手順書・連絡先の置き場所担当者がいないと何もできない
mkdir -p ~/ops/docs ~/ops/bin ~/ops/log
nano ~/ops/docs/operations.md
# 運用設計書(hitokoto / VM 1台)

## 1. 監視
| 対象 | 見るもの | 異常とする条件 | 気づき方 |
|---|---|---|---|
| サービス | app.service | active でない | 日次点検・起動失敗のログ |
| ディスク | / の使用率 | 85% 超 | 日次点検 |
| 証明書 | 有効期限 | 残り 14 日未満 | 日次点検 |
| バックアップ | 前回成功日時 | 26 時間以上前 | 日次点検 |

## 2. バックアップ
- 対象: DB 全体 と /srv/app/uploads
- 頻度: 毎日 02:00 / 7 世代
- 置き場: 別ディスク(将来は別ホストへ)
- **復元手順: docs/runbook-restore.md(四半期に 1 回、実際に通す)**

## 3. 定期作業
| 周期 | 作業 |
|---|---|
| 日次 | 点検スクリプトの結果を見る(自動) |
| 月次 | OS 更新の適用、バックアップからの復元試験 |
| 年次 | 証明書の更新確認、サポート期限(EOL)の確認 |

## 4. 障害対応
- 一次: 自分。**30 分で切り分けが進まなければ二次へ**
- 記録: docs/incident/YYYYMMDD-NN.md に必ず残す

## 5. 変更
- 手順書と切り戻し手順を書いてから実施する
- 実施前にスナップショット。実施後に点検スクリプトを流す

## 6. 引き継ぎ
- 台帳: docs/inventory.md(自動生成)
- 手順書: docs/runbook-*.md
- 連絡先: docs/contacts.md

1人でやっていても、この文書は要ります。 相手は他人ではなく、半年後の自分です。「なぜこの閾値なのか」「なぜこの順番なのか」は、必ず忘れます。

② 手順書は「判定基準」を書く

よくある失敗は、手順書に手順しか書いていないことです。 そのとおり打っても、出た結果が正常なのか異常なのか分からないので、結局判断できません。

✗ 1. systemctl status app を実行する
✓ systemctl status app を実行し、Active: active (running) であること
  → active でなければ、journalctl -u app -n 50 を見て §3 へ

「何をするか」ではなく「何が出れば OK か」「違ったらどこへ行くか」を書きます。

nano ~/ops/docs/runbook-restore.md
# 手順書: バックアップからの復元

対象: appdb / 所要: 約 15 分 / 影響: 復元中はサービス停止

## 0. 前提の確認
- [ ] 最新のバックアップがあること
      ls -1t /backup/*.sql | head -1
      → ファイルがあり、日付が 26 時間以内であること
- [ ] 空き容量があること
      df -h / --output=avail
      → 5G 以上であること

## 1. サービスを止める
      sudo systemctl stop app
      → systemctl is-active app が inactive であること

## 2. 復元する
      sudo mysql appdb < /backup/最新.sql
      → エラーが 1 行も出ないこと。出たら中止して §5 へ

## 3. 確認する
      mysql appdb -e "SELECT COUNT(*) FROM posts;"
      → 件数がバックアップ取得時と一致すること(±0)

## 4. 戻す
      sudo systemctl start app
      → curl -s -o /dev/null -w "%{http_code}" http://localhost:3000/health が 200

## 5. うまくいかないとき
- 中断する判断: 30 分を超えたら、いったん停止して二次対応へ連絡する
- 連絡先: docs/contacts.md

「中断する判断」を書いておくのが要点です。 手順書に終わりが書いていないと、深夜に一人で何時間も粘ることになります。粘るほど、判断は雑になります。

③ エスカレーションは、時間で引く

「自分の手に負えないと思ったら上げる」は、線になりません。 「まだいける気がする」で時間だけが過ぎるからです。

経過時間やること
0〜5分影響範囲の確認(どこまで止まっているか)と、第一報
5〜30分一次切り分け(層で切る)。直そうとしない
30分原因が層まで絞れていなければ、二次へ渡す
60分復旧の見込みが立たなければ、暫定策(縮退・切り離し)へ切り替える

数字は環境で変えて構いませんが、決めておくこと自体に意味があります。 障害対応の回でやった「層で切る」は、この 5〜30 分でやる作業です。

nano ~/ops/docs/contacts.md
# 連絡先とエスカレーション

| 役割 | 誰 | 連絡手段 | 対応時間 |
|---|---|---|---|
| 一次 | 自分 | — | 平日 9-18 |
| 二次 | (社内の詳しい人) | チャット → 電話 | 平日 9-18 |
| ベンダー | (契約先) | Web 受付 | 契約による |

## 第一報に書くこと(5分以内)
- いつから / 何が / どこまで止まっているか
- 影響を受けている利用者の範囲
- **分かっていないこと**(原因は書かない。推測を第一報に入れない)

④ 台帳は、手で書かない

手で書いた構成表は、必ず腐ります。 更新されないからです。その場で作り直せる形にします。

cat > ~/ops/bin/inventory.sh <<'EOF'
#!/bin/bash
# いまの構成を、そのまま台帳にする。実行するたびに最新になる。
set -uo pipefail
out=~/ops/docs/inventory.md
{
  echo "# 構成台帳(自動生成: $(date '+%Y-%m-%d %H:%M'))"
  echo
  echo "## ホスト"
  echo '```'
  hostnamectl | sed -n '1,6p'
  echo '```'

  echo "## ネットワーク"
  echo '```'
  ip -brief addr show | grep -v '^lo'
  ip route | head -3
  echo '```'

  echo "## 常駐しているサービス(有効なもの)"
  echo '```'
  systemctl list-unit-files --state=enabled --type=service --no-pager | head -25
  echo '```'

  echo "## 待ち受けているポート"
  echo '```'
  sudo ss -tlnp | awk 'NR==1 || /LISTEN/'
  echo '```'

  echo "## ディスク"
  echo '```'
  df -hT -x tmpfs -x devtmpfs
  echo '```'

  echo "## 入っているパッケージ(自分で入れたもの)"
  echo '```'
  comm -23 <(apt-mark showmanual | sort) <(apt-mark showauto | sort) | head -30
  echo '```'
} > "$out"
echo "書き出しました: $out"
EOF
chmod +x ~/ops/bin/inventory.sh
~/ops/bin/inventory.sh
head -20 ~/ops/docs/inventory.md

「更新を忘れない」という気合いではなく、「その場で作り直せる」という形にします。 設計書が腐る問題に対して、UML の回では図とコードの突き合わせ、要件定義の回では ID の対応表、ここでは自動生成——どれも同じ考え方です。

差分を見れば、勝手な変更に気づける

cp ~/ops/docs/inventory.md ~/ops/docs/inventory.base.md    # 正しい状態を控える

sudo systemctl disable --now cron    # わざと構成を変えてみる(cron は初期状態で有効なので、止めてみる)
~/ops/bin/inventory.sh
diff <(tail -n +2 ~/ops/docs/inventory.base.md) <(tail -n +2 ~/ops/docs/inventory.md)   # 1行目は生成時刻なので比べない

差分が出ました。 これを日次で回して差分だけを見れば、「誰かが何かを変えた」ことに気づけます。 GitOps の回で「手で直した設定は勝手に戻る」と書いたのと同じ発想を、戻さずに検知だけする形で使っています。

⑤ 「運用できる状態」を、機械で判定する

運用設計が書けたかどうかも、機械に確かめさせます。

cat > ~/ops/bin/check_ops_ready.sh <<'EOF'
#!/bin/bash
# 「運用に渡せる状態か」を機械的に見る。1つでも欠けたら 1 で終わる。
cd ~/ops || exit 1
ng=0
need=(
  "docs/operations.md:運用設計書"
  "docs/runbook-restore.md:復元手順書"
  "docs/contacts.md:連絡先"
  "docs/inventory.md:構成台帳"
  "bin/inventory.sh:台帳の生成"
)
for item in "${need[@]}"; do
  f="${item%%:*}"; name="${item##*:}"
  if [ -s "$f" ]; then echo "OK   $name"; else echo "NG   $name が無い ($f)"; ng=1; fi
done

# 台帳が古すぎないか(7日以内に作り直されているか)
if [ -f docs/inventory.md ]; then
  age=$(( ( $(date +%s) - $(stat -c %Y docs/inventory.md) ) / 86400 ))
  if [ "$age" -gt 7 ]; then echo "NG   構成台帳が $age 日前のまま"; ng=1
  else echo "OK   構成台帳は $age 日前"; fi
fi

# 復元手順に「中断する判断」が書かれているか
grep -q "中断する判断" docs/runbook-restore.md 2>/dev/null \
  && echo "OK   手順書に中断の判断がある" \
  || { echo "NG   手順書に中断の判断が無い"; ng=1; }

exit $ng
EOF
chmod +x ~/ops/bin/check_ops_ready.sh
~/ops/bin/check_ops_ready.sh; echo "終了コード: $?"
OK   運用設計書
OK   復元手順書
OK   連絡先
OK   構成台帳
OK   台帳の生成
OK   構成台帳は 0 日前
OK   手順書に中断の判断がある
終了コード: 0

⑥ 構築と運用は、何が違うのか

構築運用・保守
終わりある(動いたら終わり)無い
評価される瞬間できたとき止まったとき(動いていて当たり前)
いちばん大事なもの動くこと戻せること・気づけること
知識の形作り方判断基準(いつ上げる・いつ諦める)
属人化しても致命的ではない致命的(休めなくなる)

運用でいちばん価値があるのは、直せることではなく、自分がいなくても回ることです。 だから台帳と手順書に時間を使います。「自分にしかできない状態」は、能力の証明ではなく、設計の失敗です。

完成の判定

#確かめること合格の形
16項目が埋まっているoperations.md に監視・バックアップ・定期・障害・変更・引き継ぎ
2手順書に判定基準がある各手順に「→ こうであること」が付いている
3中断の判断が書いてある何分で誰へ上げるかが数字で書かれている
4台帳が自動で作れるinventory.sh を叩けば最新になる
5機械で判定できるcheck_ops_ready.sh が 終了コード 0

つまずいたところ

運用設計書を書き始めたら、終わらない

網羅しようとしています。 6項目それぞれ 3 行ずつでいいので、まず一周してください。空欄のまま残しても構いません。「決めていない」ことが見えるだけで価値があります。

手順書を書いたのに、いざというとき使えなかった

一度も通していないからです。 手順書は、書いたら必ずその場で最初から最後まで実行してください。前提の記述が抜けている、コマンドが古い、といったことが必ず見つかります。

台帳の自動生成が sudo で止まる

sudo -n true 2>/dev/null || echo "パスワードが要ります"

定期実行に載せるなら、必要なコマンドだけ sudoers で許可します。NOPASSWD: ALL にはしないでください。権限の回でやった最小権限が、そのまま効きます。

点検が緑なのに、実際は止まっていた

見ている対象が違います。 プロセスが生きていることと、応答が返ることは別です。systemctl is-active ではなく、実際に HTTP で叩いて 200 を確かめる形にしてください。Kubernetes の readinessProbe の回と同じ話です。

後片づけ

sudo systemctl enable --now cron     # 実験で止めた cron を元に戻す
~/ops/bin/inventory.sh
diff <(tail -n +2 ~/ops/docs/inventory.base.md) <(tail -n +2 ~/ops/docs/inventory.md) && echo "元に戻りました"
# ~/ops は次の回でも使うので残しておいてください

よくある質問

1人で運用しているのに、エスカレーションの表は要りますか
要ります。上げる相手が社内にいなくても、ベンダーのサポート窓口や、クラウド事業者の問い合わせ先があります。大事なのは相手が誰かより、何分粘ったら次の手に移るかを先に決めておくことです。決めていないと、深夜に一人で何時間も同じ作業を繰り返すことになり、判断が雑になって二次被害を出します。
監視ツールを入れれば運用設計は要りませんか
逆で、何を異常とするかを決めていないと、監視ツールは入れられません。ツールは「決めた条件を見張る」ものであって、何を見るべきかは教えてくれないからです。実際、閾値を決めずに入れると通知が大量に出て、やがて誰も見なくなります。まず紙の上で対象と条件を決めて、それから道具に載せてください。
手順書はどこまで細かく書くべきですか
実行するコマンドと、その結果が正常かどうかの判定基準、違ったときにどこへ進むか、この3つが揃っていれば十分です。画面の説明や背景の解説は別の文書に分けてください。手順書は読み物ではなく、慌てているときに上から順に手を動かすためのものなので、判断に必要な情報だけを残すほうが役に立ちます。
台帳を自動生成すると、手で書いた補足が消えませんか
自動生成する部分と、人が書く部分を別ファイルに分けてください。この記事のinventory.mdは機械が作る事実の一覧で、なぜその構成なのかという背景はoperations.mdに書きます。事実は変わるので自動生成、判断の理由は変わりにくいので手書き、と分けると、どちらも腐りにくくなります。
運用設計はいつ書くのが正しいですか
本来は構築の前です。監視やバックアップの要件が決まっていないと、そもそも構成が決まらないからです。ただし後から書いても十分に効果があり、この記事のようにすでに動いているものに対して書くと、決めていなかった項目がその場で見つかります。作ってから書く場合は、稼働させる前に一度通しておいてください。

まとめ — 理解できたこと

  • 運用設計で決めるのは6項目。 監視・バックアップ・定期作業・障害対応・変更・引き継ぎ
  • 手順書は手順ではなく判定基準。 「こう出れば OK」「違えばどこへ」を書く
  • エスカレーションは時間で引く。 「手に負えないと感じたら」では線にならない
  • 台帳は手で書かない。 その場で作り直せる形にして、差分で変更に気づく
  • 運用の価値は、自分がいなくても回ること。 属人化は能力ではなく設計の失敗

参考リンク

次に読む

この記事は 【第8段階】深掘り の 24 / 30 本目です。

記事
← 前の記事単体・結合・総合・受入テストの違い — 工程ごとの根拠と境界値
→ 次の記事複数台の構成管理 — 台帳の7項目と構成差分の検出

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次