※本記事はアフィリエイト広告(PR)を含みます。
ディスクが 100% になって止まるのは、事故ではありません。 何週間も前から、毎日少しずつ埋まっていたはずです。見ていなかっただけです。
運用でいちばん多い障害は、突然の故障ではなく「じわじわ増えて、ある日限界を超える」類のものです。ディスク、メモリ、接続数、ログ、証明書の残り日数。どれも、今日の数字から「あと何日か」が計算できます。
この記事は、点検を自動化し、履歴を残し、限界に達する日を予測するところまでを作ります。監視ツールを入れる話ではなく、入れる前に決めるべきことの話です。
対象レベル: 中級 / 区分: 必修
この記事でわかること
- 日次点検で見るべき5項目と、その判定条件
- 点検は「今の値」ではなく「履歴」を残すべき理由
- 今日の数字から「あと何日で満杯か」を計算するやり方
- 閾値の決め方——85% に意味はないこと
- アラート疲れが起きる仕組みと、その避け方
この記事でやること
- 点検スクリプトを1本作る(判定つき)
- 結果を履歴として残す(山場①)
- 履歴から、満杯になる日を計算する(山場②)
- 閾値を、残り日数で決め直す(山場③)
- 定期実行に載せて、失敗に気づける形にする
先に知る言葉
この記事で初めて出てくる言葉です。 詳しくは用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| キャパシティ管理 | 資源がいつ足りなくなるかを予測して、先に手を打つこと |
| 閾値 | 異常と判断する境目。決め方に根拠が要る |
| アラート疲れ | 通知が多すぎて、誰も見なくなること。監視が無いのと同じ |
| 傾向 | 時間に対する増え方。1点では分からず、履歴が要る |
① 点検スクリプトを1本作る
見るのは5項目です。 どれも「止まってから気づく」ものばかりです。
| 項目 | 見るもの | 放置すると |
|---|---|---|
| サービス | 応答が返るか(プロセスの生死ではない) | 止まったまま気づかない |
| ディスク | 使用率と増え方 | 書けなくなる。ログも残らない |
| メモリ | 空きと swap | OOM で何かが殺される |
| バックアップ | 前回の成功時刻 | 戻せない |
| 証明書 | 残り日数 | ある日突然、全員が繋がらなくなる |
mkdir -p ~/ops/bin ~/ops/log
cat > ~/ops/bin/daily_check.sh <<'EOF'
#!/bin/bash
# 日次点検。異常が1つでもあれば終了コード 1。
set -uo pipefail
LOG=~/ops/log/check.csv
NOW=$(date '+%Y-%m-%d %H:%M')
ng=0
# 1) サービス(応答で見る。プロセスの生死では見ない)
code=$(curl -s -o /dev/null -w "%{http_code}" --max-time 5 http://localhost:3000/health || echo 000)
[ "$code" = "200" ] || { echo "NG サービス応答: $code"; ng=1; }
# 2) ディスク
disk=$(df --output=pcent / | tail -1 | tr -dc '0-9')
[ "$disk" -lt 85 ] || { echo "NG ディスク使用率: ${disk}%"; ng=1; }
# 3) メモリ
memfree=$(free -m | awk '/^Mem:/ {print int($7*100/$2)}') # available の割合
[ "$memfree" -gt 10 ] || { echo "NG 空きメモリ: ${memfree}%"; ng=1; }
# 4) バックアップ(26時間以内に成功していること)
last=$(find /backup -maxdepth 1 -name '*.sql' -mmin -1560 | head -1)
[ -n "$last" ] || { echo "NG 26時間以内のバックアップが無い"; ng=1; }
# 5) 証明書(残り14日を切ったら警告)
if [ -f /etc/ssl/certs/app.pem ]; then
end=$(openssl x509 -enddate -noout -in /etc/ssl/certs/app.pem | cut -d= -f2)
days=$(( ( $(date -d "$end" +%s) - $(date +%s) ) / 86400 ))
[ "$days" -gt 14 ] || { echo "NG 証明書の残り: ${days}日"; ng=1; }
else
days=-1
fi
# 履歴を1行足す(これが後で効く)
[ -f "$LOG" ] || echo "日時,応答,ディスク%,空きメモリ%,証明書残日" > "$LOG"
echo "$NOW,$code,$disk,$memfree,$days" >> "$LOG"
[ "$ng" -eq 0 ] && echo "OK 異常なし(ディスク ${disk}% / 空きメモリ ${memfree}%)"
exit $ng
EOF
chmod +x ~/ops/bin/daily_check.sh
~/ops/bin/daily_check.sh; echo "終了コード: $?"
サービスの生死を
systemctl is-activeで見ていないのが要点です。 プロセスは生きているのに応答を返さない状態は実際によくあります。利用者と同じ経路で確かめる——Kubernetes の readinessProbe の回と同じ考え方です。
② 履歴を残す
点検で一番大事なのは、判定ではなく履歴です。 「今日 62%」だけでは、何も判断できません。
# 過去14日ぶんを作って、増え方を見る(学習用に履歴を捏造します)
python3 - <<'PY'
from datetime import datetime, timedelta
import random
rows=["日時,応答,ディスク%,空きメモリ%,証明書残日"]
d=62.0
for i in range(14,0,-1):
t=(datetime.now()-timedelta(days=i)).strftime("%Y-%m-%d %H:%M")
rows.append(f"{t},200,{d:.0f},34,45")
d += random.uniform(0.8, 1.6) # 1日あたり 1% 前後ずつ増える
open("/home/"+__import__("os").getlogin()+"/ops/log/check.csv","w").write("\n".join(rows)+"\n")
print("\n".join(rows[:3]), "...")
PY
column -s, -t ~/ops/log/check.csv | tail -5
日時 応答 ディスク% 空きメモリ% 証明書残日
2026-09-03 09:00 200 72 34 45
2026-09-04 09:00 200 73 34 45
2026-09-05 09:00 200 75 34 45
2026-09-06 09:00 200 76 34 45
2026-09-07 09:00 200 77 34 45
この5行だけで、「85% になるのは1週間後」だと分かります。 1点しか持っていなければ、絶対に分かりません。
③ 満杯になる日を計算する
cat > ~/ops/bin/forecast.sh <<'EOF'
#!/bin/bash
# 履歴から、1日あたりの増え方と、100%に達する日を出す
CSV=~/ops/log/check.csv
awk -F, 'NR>1 {n++; x[n]=n; y[n]=$3}
END {
if (n < 3) { print "履歴が足りません(3日以上必要)"; exit 1 }
for (i=1;i<=n;i++){sx+=x[i];sy+=y[i];sxx+=x[i]*x[i];sxy+=x[i]*y[i]}
slope=(n*sxy-sx*sy)/(n*sxx-sx*sx) # 1日あたりの増加(%)
last=y[n]
printf "現在: %.0f%%\n", last
printf "増え方: 1日あたり %+.2f%%\n", slope
if (slope <= 0) { print "減っているか横ばい。予測しません"; exit 0 }
printf "85%%に達する: あと %.0f 日\n", (85-last)/slope
printf "100%%に達する: あと %.0f 日\n", (100-last)/slope
}' "$CSV"
EOF
chmod +x ~/ops/bin/forecast.sh
~/ops/bin/forecast.sh
現在: 77%
増え方: 1日あたり +1.15%
85%に達する: あと 7 日
100%に達する: あと 20 日
これがキャパシティ管理の全部です。 難しい統計は要りません。直線を1本引くだけで、「来月には止まる」が今日わかります。 分かってさえいれば、深夜の障害ではなく、日中の計画作業として片づけられます。
直線で足りない場合
| 増え方 | 例 | 見るもの |
|---|---|---|
| 直線 | ログ・履歴データ | 1日あたりの増分 |
| 階段 | 月次バッチ・月末 | 週や月の周期で比べる |
| 急増 | キャンペーン・障害の再試行 | 直近数時間の傾き |
週次の周期があるものを日次の直線で見ると、月曜のたびに誤報が出ます。 「先週の同じ曜日と比べる」ほうが素直です。
④ 閾値は、残り日数で決める
「85% で警告」に根拠はありません。 同じ 85% でも、1日 0.1% しか増えないディスクと、1日 10% 増えるディスクでは、意味がまったく違います。
| 決め方 | 問題 |
|---|---|
| 使用率で決める(85%) | 増え方を見ていない。 早すぎるか、遅すぎるかのどちらかになる |
| 残り日数で決める | 対応に必要な時間から逆算できる |
「対応に何日かかるか」から逆算します。
ディスクを増やすのに必要な時間
= 気づく(1日) + 判断・手配(3日) + 作業の調整(3日) + 作業(1日)
= 約 8 日
→ 余裕を見て「残り 14 日を切ったら警告」にする
→ 現在の増え方(1日 1.15%)なら、使用率 84% が警告点になる
# 残り日数で判定する(使用率ではなく)
~/ops/bin/forecast.sh | awk '/100%に達する/ {print $(NF-1)+0}' | \
awk '{ if ($1 < 14) { print "警告: 残り " $1 " 日"; exit 1 } else { print "OK 残り " $1 " 日" } }'
アラート疲れを避ける
| やること | 理由 |
|---|---|
| 通知は、人が動くものだけ | 見て何もしない通知は、全部の通知を無視させる |
| 同じ内容はまとめる | 1つの障害で 50 通来ると、本物が埋もれる |
| 復旧も通知する | 直ったのに気づかず対応してしまう |
| 夜に鳴らすものを決める | 全部鳴らすなら、何も鳴らさないのと同じになる |
監視の目的は「異常を全部知ること」ではなく「人が動くべきときに動けること」です。 見ても何もしない通知は、消してください。残すほど、本物に気づけなくなります。
⑤ 定期実行に載せて、失敗に気づける形にする
crontab -e
# 毎朝 8:00 に点検し、異常があったときだけ記録を残す
0 8 * * * /home/ユーザー名/ops/bin/daily_check.sh >> /home/ユーザー名/ops/log/daily.log 2>&1 || echo "$(date) 点検NG" >> /home/ユーザー名/ops/log/alert.log
ここで cron の回の教訓がそのまま効きます。 cron は失敗しても何も言わないので、点検が動いていないこと自体に気づける形にします。
# 点検そのものが動いているかを見る(26時間以内に記録があるか)
find ~/ops/log/check.csv -mmin -1560 | grep -q . \
&& echo "OK 点検は動いています" \
|| echo "NG 26時間、点検の記録がありません"
「監視の監視」です。 監視サーバーが落ちていたら誰が気づくのか——監視の回で出てきた問いに、最小限の形で答えています。
毎朝の点検を cron に載せるには、動き続けている台が要ります。自分の PC を常時起動しておけないなら、シンVPS
のような小さな VPS を 1 台借りて履歴を貯める方法があり、大容量メモリプランの 1GB(1 コア・30GB)は 1 ヶ月契約 750 円、36 ヶ月契約なら月額換算 451 円です(2026-11 時点・税込、2026 年 9 月 1 日の料金改定後)。無料のお試し期間は無く最低利用期間が 3 ヶ月なので、「まず数週間だけ」という使い方には向きません。
完成の判定
| # | 確かめること | 合格の形 |
|---|---|---|
| 1 | 応答で判定している | curl の HTTP コードを見ている |
| 2 | 履歴が残る | check.csv が実行のたびに増える |
| 3 | 増え方を数字で言える | 「1日あたり +1.15%」が出る |
| 4 | いつ限界かを言える | 「100% まであと 20 日」が出る |
| 5 | 点検の停止に気づける | 26 時間記録が無ければ NG になる |
つまずいたところ
点検は緑なのに、利用者からは使えないと言われる
見ている経路が違います。 localhost で 200 が返っても、外からは nginx やファイアウォールで止まっていることがあります。利用者と同じ経路(外側の URL)でも1本見てください。
予測が毎日大きく変わる
履歴が短すぎます。3 日では傾きが安定しません。 2 週間ぶん貯まると落ち着きます。それまでは参考値として扱ってください。
ログを消したら、予測がおかしくなった
当然です。 使用率が急に下がるので、直線の傾きが崩れます。大きな整理をしたら、履歴にその印を残すか、その日以降だけで計算し直してください。
証明書のチェックでエラーになる
openssl x509 -enddate -noout -in 証明書のパス
echo | openssl s_client -connect example.com:443 2>/dev/null | openssl x509 -noout -enddate
ファイルが無い環境なら、通信先から取る形にしてください。証明書の期限切れは、予告なく全員が繋がらなくなる数少ない障害なので、必ず点検に入れます。
後片づけ
crontab -l # 登録した行を確認する
crontab -e # 学習用なら、足した行を消しておく
# ~/ops は次の回でも使うので残しておいてください
よくある質問
- 監視ツールを入れれば、この点検スクリプトは要りませんか
- ツールを入れるなら、この内容をそのままツール側の設定に移してください。この記事で作ったのは道具ではなく、何を見て何を異常とするかという決めごとです。ツールは決めごとを見張るものなので、決めていないと入れられません。また、監視ツール自体が落ちたときのために、最小限の点検が手元に残っていると助かります。
- 予測は直線で十分ですか
- ディスクやログのように一定の速度で増えるものには十分です。週次や月次の周期があるもの、キャンペーンなどで急増するものには合いません。その場合は先週の同じ曜日と比べるほうが素直です。大事なのは精度ではなく、限界が近いことに事前に気づけるかどうかで、桁が合っていれば行動は起こせます。
- 閾値は何パーセントが正解ですか
- 正解はありません。同じ使用率でも増え方が違えば、残り時間はまったく違うからです。対応に必要な日数から逆算して、残り日数で判定するのが理にかなっています。使用率での判定を残す場合も、増え方を見て定期的に見直してください。一度決めた数字を何年も使い続けているなら、それは根拠のない数字になっています。
- 通知はどこへ送るのがよいですか
- 普段見ている場所へ送ってください。専用の通知先を作ると、最初の数日以外は見られなくなります。あわせて、夜間に鳴らすものと翌営業日でよいものを分けてください。全部を同じ経路で鳴らすと、やがて全部を無視するようになり、監視していないのと同じ状態になります。
- 点検の記録はどれくらい残すべきですか
- 傾向を見るために、最低でも数か月は残してください。CSVで1日1行なら年間でも数百行にしかならず、容量の心配はありません。むしろ短く消してしまうと、季節変動や年に一度の負荷に気づけなくなります。障害が起きたときに「去年の同じ時期はどうだったか」を見られることが、記録の価値です。
まとめ — 理解できたこと
- 止まる障害の多くは、じわじわ増えて限界を超えたもの。 事前に分かる
- 点検で大事なのは判定ではなく履歴。 1点では傾向が分からない
- 直線を1本引けば、「あと何日で満杯か」が出る。 難しい統計は要らない
- 閾値は使用率ではなく残り日数で決める。 対応にかかる日数から逆算する
- サービスは応答で見る。 プロセスが生きていることは、動いている証拠にならない
- 見ても何もしない通知は消す。 残すほど本物に気づけなくなる
参考リンク
次に読む
この記事は 【第8段階】深掘り の 27 / 30 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。

コメント