ここまでのこのサイトは、ほぼ全部「作る話」でした。roadmap.sh が構築のロードマップなので当然ですが、実務で時間を使うのは、作り終わってからのほうです。
作ったものは、放っておくと必ず止まります。ディスクが埋まり、証明書が切れ、更新で壊れ、担当者が異動します。「動くもの」と「運用できるもの」の間には、まだ距離があります。
この記事は、自分の VM に対して運用設計を書き、点検を自動化し、誰がどこへ上げるかを決める回です。文書を書く話に見えますが、全部コマンドで確かめられる形に落とします。
対象レベル: 中級 / 区分: 必修
この記事でわかること
- 運用設計で決めるのは6項目だけだということ
- 手順書は「手順」ではなく「判定基準」を書くものだということ
- エスカレーションが技術ではなく時間で決まること
- 構成の台帳を手で書かずに自動で作る方法
- 「運用できる状態」を機械的に判定するやり方
この記事でやること
- 運用設計の6項目を、自分の環境に対して埋める
- 手順書を1本書く(判定基準つき・山場①)
- エスカレーションの線を、時間で引く(山場②)
- 構成台帳を、コマンドで自動生成する(山場③)
- 「引き継げるか」を検査する
先に知る言葉
この記事で初めて出てくる言葉です。 詳しくは用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| 運用設計 | 作ったものを動かし続けるための決めごと。誰が・いつ・何を見て・どうするか |
| ランブック | 作業手順書。迷わず手が動くことが目的で、説明書ではない |
| 一次対応 | 最初に受ける人がやること。直すことではなく、切り分けと連絡 |
| エスカレーション | 自分の手に負えないと判断して、上(または隣)へ渡すこと |
| 構成台帳 | いま何が・どこに・どの設定で動いているかの一覧 |
① 運用設計で決めるのは、6項目だけ
網羅しようとすると終わりません。 最初はこの6つだけ埋めます。
| 項目 | 決めること | 決めていないと起きること |
|---|---|---|
| 監視 | 何を見て、どうなったら異常とするか | 止まっていることに誰も気づかない |
| バックアップ | 何を・いつ・何世代・どこに。復元の手順も | 消えたときに戻せない |
| 定期作業 | 日次・月次で何をするか | ディスクが埋まる。証明書が切れる |
| 障害対応 | 誰が受けて、どこまでやって、誰へ上げるか | 連絡が止まる。同じ人だけが疲弊する |
| 変更 | 誰の承認で、いつ、どう戻すか | いつの間にか設定が変わり、原因が追えない |
| 引き継ぎ | 台帳・手順書・連絡先の置き場所 | 担当者がいないと何もできない |
mkdir -p ~/ops/docs ~/ops/bin ~/ops/log
nano ~/ops/docs/operations.md
# 運用設計書(hitokoto / VM 1台)
## 1. 監視
| 対象 | 見るもの | 異常とする条件 | 気づき方 |
|---|---|---|---|
| サービス | app.service | active でない | 日次点検・起動失敗のログ |
| ディスク | / の使用率 | 85% 超 | 日次点検 |
| 証明書 | 有効期限 | 残り 14 日未満 | 日次点検 |
| バックアップ | 前回成功日時 | 26 時間以上前 | 日次点検 |
## 2. バックアップ
- 対象: DB 全体 と /srv/app/uploads
- 頻度: 毎日 02:00 / 7 世代
- 置き場: 別ディスク(将来は別ホストへ)
- **復元手順: docs/runbook-restore.md(四半期に 1 回、実際に通す)**
## 3. 定期作業
| 周期 | 作業 |
|---|---|
| 日次 | 点検スクリプトの結果を見る(自動) |
| 月次 | OS 更新の適用、バックアップからの復元試験 |
| 年次 | 証明書の更新確認、サポート期限(EOL)の確認 |
## 4. 障害対応
- 一次: 自分。**30 分で切り分けが進まなければ二次へ**
- 記録: docs/incident/YYYYMMDD-NN.md に必ず残す
## 5. 変更
- 手順書と切り戻し手順を書いてから実施する
- 実施前にスナップショット。実施後に点検スクリプトを流す
## 6. 引き継ぎ
- 台帳: docs/inventory.md(自動生成)
- 手順書: docs/runbook-*.md
- 連絡先: docs/contacts.md
1人でやっていても、この文書は要ります。 相手は他人ではなく、半年後の自分です。「なぜこの閾値なのか」「なぜこの順番なのか」は、必ず忘れます。
② 手順書は「判定基準」を書く
よくある失敗は、手順書に手順しか書いていないことです。 そのとおり打っても、出た結果が正常なのか異常なのか分からないので、結局判断できません。
✗ 1. systemctl status app を実行する
✓ systemctl status app を実行し、Active: active (running) であること
→ active でなければ、journalctl -u app -n 50 を見て §3 へ
「何をするか」ではなく「何が出れば OK か」「違ったらどこへ行くか」を書きます。
nano ~/ops/docs/runbook-restore.md
# 手順書: バックアップからの復元
対象: appdb / 所要: 約 15 分 / 影響: 復元中はサービス停止
## 0. 前提の確認
- [ ] 最新のバックアップがあること
ls -1t /backup/*.sql | head -1
→ ファイルがあり、日付が 26 時間以内であること
- [ ] 空き容量があること
df -h / --output=avail
→ 5G 以上であること
## 1. サービスを止める
sudo systemctl stop app
→ systemctl is-active app が inactive であること
## 2. 復元する
sudo mysql appdb < /backup/最新.sql
→ エラーが 1 行も出ないこと。出たら中止して §5 へ
## 3. 確認する
mysql appdb -e "SELECT COUNT(*) FROM posts;"
→ 件数がバックアップ取得時と一致すること(±0)
## 4. 戻す
sudo systemctl start app
→ curl -s -o /dev/null -w "%{http_code}" http://localhost:3000/health が 200
## 5. うまくいかないとき
- 中断する判断: 30 分を超えたら、いったん停止して二次対応へ連絡する
- 連絡先: docs/contacts.md
「中断する判断」を書いておくのが要点です。 手順書に終わりが書いていないと、深夜に一人で何時間も粘ることになります。粘るほど、判断は雑になります。
③ エスカレーションは、時間で引く
「自分の手に負えないと思ったら上げる」は、線になりません。 「まだいける気がする」で時間だけが過ぎるからです。
| 経過時間 | やること |
|---|---|
| 0〜5分 | 影響範囲の確認(どこまで止まっているか)と、第一報 |
| 5〜30分 | 一次切り分け(層で切る)。直そうとしない |
| 30分 | 原因が層まで絞れていなければ、二次へ渡す |
| 60分 | 復旧の見込みが立たなければ、暫定策(縮退・切り離し)へ切り替える |
数字は環境で変えて構いませんが、決めておくこと自体に意味があります。 障害対応の回でやった「層で切る」は、この 5〜30 分でやる作業です。
nano ~/ops/docs/contacts.md
# 連絡先とエスカレーション
| 役割 | 誰 | 連絡手段 | 対応時間 |
|---|---|---|---|
| 一次 | 自分 | — | 平日 9-18 |
| 二次 | (社内の詳しい人) | チャット → 電話 | 平日 9-18 |
| ベンダー | (契約先) | Web 受付 | 契約による |
## 第一報に書くこと(5分以内)
- いつから / 何が / どこまで止まっているか
- 影響を受けている利用者の範囲
- **分かっていないこと**(原因は書かない。推測を第一報に入れない)
④ 台帳は、手で書かない
手で書いた構成表は、必ず腐ります。 更新されないからです。その場で作り直せる形にします。
cat > ~/ops/bin/inventory.sh <<'EOF'
#!/bin/bash
# いまの構成を、そのまま台帳にする。実行するたびに最新になる。
set -uo pipefail
out=~/ops/docs/inventory.md
{
echo "# 構成台帳(自動生成: $(date '+%Y-%m-%d %H:%M'))"
echo
echo "## ホスト"
echo '```'
hostnamectl | sed -n '1,6p'
echo '```'
echo "## ネットワーク"
echo '```'
ip -brief addr show | grep -v '^lo'
ip route | head -3
echo '```'
echo "## 常駐しているサービス(有効なもの)"
echo '```'
systemctl list-unit-files --state=enabled --type=service --no-pager | head -25
echo '```'
echo "## 待ち受けているポート"
echo '```'
sudo ss -tlnp | awk 'NR==1 || /LISTEN/'
echo '```'
echo "## ディスク"
echo '```'
df -hT -x tmpfs -x devtmpfs
echo '```'
echo "## 入っているパッケージ(自分で入れたもの)"
echo '```'
comm -23 <(apt-mark showmanual | sort) <(apt-mark showauto | sort) | head -30
echo '```'
} > "$out"
echo "書き出しました: $out"
EOF
chmod +x ~/ops/bin/inventory.sh
~/ops/bin/inventory.sh
head -20 ~/ops/docs/inventory.md
「更新を忘れない」という気合いではなく、「その場で作り直せる」という形にします。 設計書が腐る問題に対して、UML の回では図とコードの突き合わせ、要件定義の回では ID の対応表、ここでは自動生成——どれも同じ考え方です。
差分を見れば、勝手な変更に気づける
cp ~/ops/docs/inventory.md ~/ops/docs/inventory.base.md # 正しい状態を控える
sudo systemctl disable --now cron # わざと構成を変えてみる(cron は初期状態で有効なので、止めてみる)
~/ops/bin/inventory.sh
diff <(tail -n +2 ~/ops/docs/inventory.base.md) <(tail -n +2 ~/ops/docs/inventory.md) # 1行目は生成時刻なので比べない
差分が出ました。 これを日次で回して差分だけを見れば、「誰かが何かを変えた」ことに気づけます。 GitOps の回で「手で直した設定は勝手に戻る」と書いたのと同じ発想を、戻さずに検知だけする形で使っています。
⑤ 「運用できる状態」を、機械で判定する
運用設計が書けたかどうかも、機械に確かめさせます。
cat > ~/ops/bin/check_ops_ready.sh <<'EOF'
#!/bin/bash
# 「運用に渡せる状態か」を機械的に見る。1つでも欠けたら 1 で終わる。
cd ~/ops || exit 1
ng=0
need=(
"docs/operations.md:運用設計書"
"docs/runbook-restore.md:復元手順書"
"docs/contacts.md:連絡先"
"docs/inventory.md:構成台帳"
"bin/inventory.sh:台帳の生成"
)
for item in "${need[@]}"; do
f="${item%%:*}"; name="${item##*:}"
if [ -s "$f" ]; then echo "OK $name"; else echo "NG $name が無い ($f)"; ng=1; fi
done
# 台帳が古すぎないか(7日以内に作り直されているか)
if [ -f docs/inventory.md ]; then
age=$(( ( $(date +%s) - $(stat -c %Y docs/inventory.md) ) / 86400 ))
if [ "$age" -gt 7 ]; then echo "NG 構成台帳が $age 日前のまま"; ng=1
else echo "OK 構成台帳は $age 日前"; fi
fi
# 復元手順に「中断する判断」が書かれているか
grep -q "中断する判断" docs/runbook-restore.md 2>/dev/null \
&& echo "OK 手順書に中断の判断がある" \
|| { echo "NG 手順書に中断の判断が無い"; ng=1; }
exit $ng
EOF
chmod +x ~/ops/bin/check_ops_ready.sh
~/ops/bin/check_ops_ready.sh; echo "終了コード: $?"
OK 運用設計書
OK 復元手順書
OK 連絡先
OK 構成台帳
OK 台帳の生成
OK 構成台帳は 0 日前
OK 手順書に中断の判断がある
終了コード: 0
⑥ 構築と運用は、何が違うのか
| 構築 | 運用・保守 | |
|---|---|---|
| 終わり | ある(動いたら終わり) | 無い |
| 評価される瞬間 | できたとき | 止まったとき(動いていて当たり前) |
| いちばん大事なもの | 動くこと | 戻せること・気づけること |
| 知識の形 | 作り方 | 判断基準(いつ上げる・いつ諦める) |
| 属人化 | しても致命的ではない | 致命的(休めなくなる) |
運用でいちばん価値があるのは、直せることではなく、自分がいなくても回ることです。 だから台帳と手順書に時間を使います。「自分にしかできない状態」は、能力の証明ではなく、設計の失敗です。
完成の判定
| # | 確かめること | 合格の形 |
|---|---|---|
| 1 | 6項目が埋まっている | operations.md に監視・バックアップ・定期・障害・変更・引き継ぎ |
| 2 | 手順書に判定基準がある | 各手順に「→ こうであること」が付いている |
| 3 | 中断の判断が書いてある | 何分で誰へ上げるかが数字で書かれている |
| 4 | 台帳が自動で作れる | inventory.sh を叩けば最新になる |
| 5 | 機械で判定できる | check_ops_ready.sh が 終了コード 0 |
つまずいたところ
運用設計書を書き始めたら、終わらない
網羅しようとしています。 6項目それぞれ 3 行ずつでいいので、まず一周してください。空欄のまま残しても構いません。「決めていない」ことが見えるだけで価値があります。
手順書を書いたのに、いざというとき使えなかった
一度も通していないからです。 手順書は、書いたら必ずその場で最初から最後まで実行してください。前提の記述が抜けている、コマンドが古い、といったことが必ず見つかります。
台帳の自動生成が sudo で止まる
sudo -n true 2>/dev/null || echo "パスワードが要ります"
定期実行に載せるなら、必要なコマンドだけ sudoers で許可します。NOPASSWD: ALL にはしないでください。権限の回でやった最小権限が、そのまま効きます。
点検が緑なのに、実際は止まっていた
見ている対象が違います。 プロセスが生きていることと、応答が返ることは別です。systemctl is-active ではなく、実際に HTTP で叩いて 200 を確かめる形にしてください。Kubernetes の readinessProbe の回と同じ話です。
後片づけ
sudo systemctl enable --now cron # 実験で止めた cron を元に戻す
~/ops/bin/inventory.sh
diff <(tail -n +2 ~/ops/docs/inventory.base.md) <(tail -n +2 ~/ops/docs/inventory.md) && echo "元に戻りました"
# ~/ops は次の回でも使うので残しておいてください
よくある質問
- 1人で運用しているのに、エスカレーションの表は要りますか
- 要ります。上げる相手が社内にいなくても、ベンダーのサポート窓口や、クラウド事業者の問い合わせ先があります。大事なのは相手が誰かより、何分粘ったら次の手に移るかを先に決めておくことです。決めていないと、深夜に一人で何時間も同じ作業を繰り返すことになり、判断が雑になって二次被害を出します。
- 監視ツールを入れれば運用設計は要りませんか
- 逆で、何を異常とするかを決めていないと、監視ツールは入れられません。ツールは「決めた条件を見張る」ものであって、何を見るべきかは教えてくれないからです。実際、閾値を決めずに入れると通知が大量に出て、やがて誰も見なくなります。まず紙の上で対象と条件を決めて、それから道具に載せてください。
- 手順書はどこまで細かく書くべきですか
- 実行するコマンドと、その結果が正常かどうかの判定基準、違ったときにどこへ進むか、この3つが揃っていれば十分です。画面の説明や背景の解説は別の文書に分けてください。手順書は読み物ではなく、慌てているときに上から順に手を動かすためのものなので、判断に必要な情報だけを残すほうが役に立ちます。
- 台帳を自動生成すると、手で書いた補足が消えませんか
- 自動生成する部分と、人が書く部分を別ファイルに分けてください。この記事のinventory.mdは機械が作る事実の一覧で、なぜその構成なのかという背景はoperations.mdに書きます。事実は変わるので自動生成、判断の理由は変わりにくいので手書き、と分けると、どちらも腐りにくくなります。
- 運用設計はいつ書くのが正しいですか
- 本来は構築の前です。監視やバックアップの要件が決まっていないと、そもそも構成が決まらないからです。ただし後から書いても十分に効果があり、この記事のようにすでに動いているものに対して書くと、決めていなかった項目がその場で見つかります。作ってから書く場合は、稼働させる前に一度通しておいてください。
まとめ — 理解できたこと
- 運用設計で決めるのは6項目。 監視・バックアップ・定期作業・障害対応・変更・引き継ぎ
- 手順書は手順ではなく判定基準。 「こう出れば OK」「違えばどこへ」を書く
- エスカレーションは時間で引く。 「手に負えないと感じたら」では線にならない
- 台帳は手で書かない。 その場で作り直せる形にして、差分で変更に気づく
- 運用の価値は、自分がいなくても回ること。 属人化は能力ではなく設計の失敗
参考リンク
次に読む
この記事は 【第8段階】深掘り の 24 / 30 本目です。
| 記事 | |
|---|---|
| ← 前の記事 | 単体・結合・総合・受入テストの違い — 工程ごとの根拠と境界値 |
| → 次の記事 | 複数台の構成管理 — 台帳の7項目と構成差分の検出 |
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。

コメント