落としても起き上がるサービス — Linuxの到達作品

Linuxの到達作品。サーバーと再起動の矢印、監視ログのノート。

※本記事はアフィリエイト広告(PR)を含みます。

コマンド・権限・プロセス・シェルスクリプトを1つに束ねる演習です。落ちても数秒で復活し、再起動しても勝手に立ち上がる常駐サービスを作ります。

前回: 3回打ったコマンドはスクリプトにする — Linux第1段階の総まとめ

これは Linux コースの「到達作品」の回です。 新しい知識はほとんど出てきません。これまでの基本コマンド / 権限 / プロセスとサービス / シェルスクリプト を、1つの動くものに束ねる回です。 他のコースにも同じ「到達作品」の回があります。作りの発想は 読んだだけでは作れない — Frontendの到達作品 と同じで、「読んで分かった」を「作れる」に変えるためのものです。

この記事のコマンドは、VMの中(Ubuntu Server)で打ちます。 Windows 本体の PowerShell ではありません。VMware のコンソール、または SSH で Ubuntu にログインした状態で打ってください。VMへのログインの仕方は Ubuntu Server の立て方 と 初期設定の回 にあります。


対象レベル: 初級 / 区分: 必修

目次

めがける作品

このコースを終えたら、これができるようになっている。 ——そう言い切れる1本を、ここで作ります。

作るのは 「小さな監視サービス」 です。10秒ごとに、いまのディスク使用率と動いているプロセスの数をログに書くだけの、ごく小さなプログラムです。地味に見えますが、Linux コースの基礎が全部入っています。

  • シェルスクリプトで書く(第1段階の総まとめでやった内容)
  • 専用ユーザーで、最小の権限で動かす(権限の回)
  • サービスとして常駐させる(プロセスとサービスの回)
  • 殺しても、数秒で勝手に起き上がる
  • VMを再起動しても、勝手に立ち上がっている
  • ログを後から読み返せる

完成すると、こういう状態になります。

┌──────────────────────────────────────────────┐
│  $ systemctl status monitor                    │
│  ● monitor.service - Simple resource monitor   │
│       Active: active (running)  ← 動いている    │
│       Loaded: ...; enabled; ...  ← 自動で起きる │
│     Main PID: 4821 (monitor.sh)                │
│                                                │
│  $ sudo kill 4821    ← わざと殺す               │
│  $ systemctl status monitor                    │
│       Active: active (running)  ← 数秒で復活    │
│     Main PID: 4870 (monitor.sh)  ← 別のPID      │
└──────────────────────────────────────────────┘

ここで大事なのは「動くものを作る」ことではありません。 コピペで動くだけの記事なら、世の中に山ほどあります。この回のねらいは、「落ちても勝手に起き上がる」という、サーバーが動き続けるための仕組みを、自分の手で組んで、わざと壊して確かめることです。

この記事でわかること

  • ./script.sh & で動かしたものは、SSH を切ると一緒に死ぬこと。だから常駐には「仕組み」が要ること
  • その仕組みが systemd であり、Restart=always が「落ちても起き上がる」の正体だということ
  • start と enable は別物で、enable していないと再起動で二度と上がってこないこと(前回の復習)
  • サービスの標準出力は、そのまま journal(ログ)に流れ込むこと。だからログ用のファイルを自分で用意しなくてもよいこと
  • ログは放っておくとディスクを食い続けるので、保持の上限を決めておく必要があること
  • 専用ユーザー・最小権限で常駐させると、事故ったときの被害が小さくなること

この記事でやること

  1. 何を常駐させるかを決め、小さな監視スクリプトを1本書く
  2. 専用ユーザーを作り、そのユーザーで動かす準備をする
  3. まず手で動かして、SSH を切ると止まることを自分の目で確かめる
  4. systemd のユニットファイルを書いて、Restart=always で常駐させる
  5. わざと kill して、数秒で別PIDで復活することを見る。VMを再起動しても上がっていることを確認する
  6. journalctl でログを読む。流し見と期間指定、そして保持の上限を設定する
  7. 完成の判定(6つのチェック)を自分で通す

先に知る言葉

この記事で軸になる言葉です。 基本的な言葉は用語集にもまとめてあります。多くは前回までに出てきた言葉の復習です。

言葉意味
プロセスいま実際に動いているプログラム。1つ1つに PID(番号)が付く
サービス(デーモン)ずっと動き続け、起動時に自動で立ち上がるプロセス
systemdUbuntu でサービスの起動・停止・自動起動・復活をまとめて面倒みている仕組み
ユニットファイルsystemd に「このプログラムをこう動かして」と伝える設定ファイル。.service で終わる
Restart=alwaysプロセスが終了したら、systemd が自動でまた起動するという指定。これが今回の主役
RestartSec落ちてから、次に起動し直すまで何秒待つか
enable次回の起動時から自動で立ち上がるようにする。start(いますぐ動かす)とは別物
journalsystemd が集めているログの置き場。journalctl で読む
標準出力(stdout)プログラムが echo などで画面に出す文字の流れ。サービスではこれが journal に入る
専用ユーザーそのサービスを動かすためだけのユーザー。最小の権限しか持たせないことで事故を小さくする

① 何を常駐させるか — 小さく、確認しやすいものにする

いきなり「本物のサービス」を常駐させないでください。 nginx やデータベースを常駐させても、それ自体は既に「落ちても起き上がる」ように作られていて、自分が組み立てた実感がわきません。 しかも中で何が起きているか見えないので、「本当に自分で常駐させられたのか」が確かめられません。

だから、作品は自分で中身が全部見える、うんと小さいものにします。

この記事で常駐させるのは、次の1つだけです。

10秒ごとに、いまの「ディスク使用率」と「動いているプロセス数」を1行ログに書く。

この2つを選んだのには理由があります。 どちらも、「サーバーが静かに壊れていく」典型的な前触れだからです。

  • ディスク使用率 … ログやファイルが溜まって100%に近づくと、ある日いきなり書き込めなくなってサービスが止まります。 じわじわ増えるので、時系列で見ていないと気づけません。
  • プロセス数 … 何かが暴走してプロセスを作り続けると、数がどんどん増えます。平常時の数を知っておくと、異常にすぐ気づけます。

「本物の監視」も、結局はこういう数字を一定間隔で記録し続けているだけです。まずはそのいちばん小さな形を、自分の手で作ります。

たったこれだけです。小さいからこそ、「殺したら止まった」「復活した」が一目で分かります。 監視の中身を豪華にするのは後でいくらでもできます。まずは「常駐と復活の仕組み」だけを、確実に手に入れます。

なぜスクリプトにするのか

「ディスク使用率を見る」だけなら、手で df -h / と打てば済みます。

bash
$ df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        79G   12G   63G  17% /

でも、これを10秒ごとに、何日も手で打ち続けることはできません。 前回の総まとめで決めた約束を思い出してください。

同じことを3回打ったら、スクリプトにする。

「一定間隔で繰り返し、記録する」——これは典型的に人がやってはいけない仕事です。だから、まずスクリプトにします。そして、そのスクリプトを人がログインしていなくても動き続けるようにするのが、この記事の後半です。

記録する2つの値を、先に単体で確かめる

スクリプトに詰め込む前に、使う部品を1つずつ手で打って、何が出るかを見ておきます。 得体の知れないコマンドをスクリプトに書くと、動かないときに原因が二重に分からなくなるためです。

1つ目は、ディスク使用率です。--output=pcent で「使用率の列だけ」を出します。

bash
$ df --output=pcent /
Use%
 17%

見出しの Use% と、数字の 17% の2行が出ます。欲しいのは数字だけなので、あとで tail -n 1(最後の行)と tr -d ' %'(空白と % を消す)で 17 にします。

2つ目は、動いているプロセスの数です。

bash
$ ps -e --no-headers | wc -l
132

ps -e で全プロセスを並べ、--no-headers で見出し行を消し、wc -l で行数を数えています。これで「いくつのプロセスが動いているか」が1つの数字で分かります。 この2つを10秒ごとに1行にまとめるのが、次に書くスクリプトです。部品が単体で動くと分かっていれば、組み立てで詰まっても切り分けが早くなります。


② スクリプトを書く — bash で、専用ユーザーで動かす前提で

まず、置き場所を決めます。 システムで動かすプログラムは、自分のホームディレクトリではなく、専用の場所に置きます。ここでは /opt/monitor/ にします。

bash
$ sudo mkdir -p /opt/monitor

/opt/ は「後から入れた、システム用のもの」を置く場所です。ホーム(/home/あなた/)に置くと、そのユーザーを消したときに一緒に消えたり、権限が絡んで混乱します。常駐させるものは、特定の人のホームに置かない、を習慣にしてください。

スクリプト本体

/opt/monitor/monitor.sh を作ります。エディタは何でも構いません。

bash
$ sudo nano /opt/monitor/monitor.sh

中身はこれです。

bash
#!/usr/bin/env bash
  set -euo pipefail

  # 何秒ごとに記録するか。ユニット側から渡せるように、環境変数で受け取る。
  INTERVAL="${INTERVAL:-10}"

  while true; do
    now="$(date '+%Y-%m-%d %H:%M:%S')"

    # ルート(/)のディスク使用率だけを取り出す(末尾の空白と % を削る)
    disk="$(df --output=pcent / | tail -n 1 | tr -d ' %')"

    # 動いているプロセスの数を数える(見出し行を除いて数える)
    procs="$(ps -e --no-headers | wc -l)"

    # 画面(標準出力)に1行出す。サービスにすると、これがそのままログになる。
    echo "${now} disk=${disk}% procs=${procs}"

    sleep "${INTERVAL}"
  done

1行ずつ、何をしているか確認します。

行意味
#!/usr/bin/env bashこのファイルを bash で実行する、という宣言(シバン。前回やりました)
set -euo pipefailエラーが出たら止まる設定。黙って先に進んで変な値を記録するのを防ぐ
INTERVAL="${INTERVAL:-10}"間隔。外から INTERVAL を渡せば変わり、無ければ10秒
while true; do ... done無限ループ。これが「常駐=動き続ける」の中身
df --output=pcent // の使用率だけを出す。tail -n 1 で数字の行だけ、tr -d ' %' で と % を消す
ps -e --no-headers | wc -l全プロセスを見出し無しで並べ、wc -l で行数=個数を数える
echo標準出力に1行出すだけ。ログファイルを自分で開いたりしない(理由は後述)
sleep "${INTERVAL}"指定秒だけ待つ

ログの出力先を「ファイル」にしないのが、この記事のポイントです。 素朴には「>> /var/log/monitor.log に追記しよう」と考えます。でもそうすると、ログファイルの置き場所の権限、ローテーション(肥大化対策)を全部自分で面倒みることになります。

代わりに、ただ echo で標準出力に出すだけにします。 このスクリプトをサービスにすると、標準出力がそのまま systemd の journal(ログ)に流れ込みます。 ファイルの権限も、保持の上限も、systemd 側の仕組みに任せられます。ここは⑥で効いてきます。

実行できるようにする

bash
$ sudo chmod +x /opt/monitor/monitor.sh

+x は「実行してよい」という印です(権限の回の rwx の x)。付け忘れると Permission denied で動きません。

確認: いったん、自分の手で動かしてみます。

bash
$ INTERVAL=2 /opt/monitor/monitor.sh

2秒ごとに、こういう行が流れれば成功です。

2026-10-14 09:12:01 disk=17% procs=132
2026-10-14 09:12:03 disk=17% procs=131
2026-10-14 09:12:05 disk=17% procs=132

止めるときは Ctrl + C です。 これで手動実行が止まります。

この時点では、まだ「常駐」ではありません。 いま動いているのは、あなたのログインしたシェルの中の、ただのプログラムです。Ctrl + C でも、ターミナルを閉じても止まります。これを「人がいなくても動き続ける」状態にするのが、④以降の仕事です。まずは「中身が正しく動く」ことだけ、ここで確かめました。

専用ユーザーを作る

このスクリプトを、誰の権限で動かすかを決めます。 いちばん楽なのは root(管理者)で動かすことですが、それは事故のもとです。

もしスクリプトに間違いがあって暴走しても、root で動いていたら被害はシステム全体に及びます。 監視するだけの、ほとんど権限の要らないプログラムに、管理者権限を渡す理由はありません。

これが権限の回で出てきた 最小権限の原則 です。必要な分だけの権限で動かします。今回のスクリプトは「読むだけ」なので、ログインもできない・ホームも持たない、専用の弱いユーザーを1つ作って、それで動かします。

bash
$ sudo useradd --system --no-create-home --shell /usr/sbin/nologin monitor
オプション意味
--systemシステム用のユーザー(人が使うログインユーザーとは区別される)
--no-create-homeホームディレクトリを作らない(このユーザーは人ではない)
--shell /usr/sbin/nologinこのユーザーではログインできないようにする

確認: 作られたことを見ます。

bash
$ id monitor
uid=998(monitor) gid=998(monitor) groups=998(monitor)

番号は環境によって違います。 monitor という名前で出てくれば成功です。このユーザーは、パスワードもホームもシェルも持ちません。万一このユーザーが乗っ取られても、できることがほとんどない——それが最小権限です。

専用ユーザーでも、ちゃんと動くか先に見る

権限を絞ると、こんどは「絞りすぎてスクリプトが動かない」ことがあります。 サービスにする前に、その monitor ユーザーの立場で、スクリプトが本当に動くかを一度だけ確かめておきます。sudo -u monitor を頭に付けると、「monitor ユーザーとしてこのコマンドを実行する」という意味になります。

bash
$ sudo -u monitor INTERVAL=2 /opt/monitor/monitor.sh

2秒ごとに disk= の行が流れれば、弱い権限でも、このスクリプトに必要な情報は読めているということです。Ctrl + C で止めます。

もしここで Permission denied が出たら、それはサービスにする前に気づけた事故です。スクリプトファイルの権限(ls -l /opt/monitor/monitor.sh で r-x が付いているか)を見直します。

「サービスにしてから動かない」は原因が分かりにくい(ログを掘らないと理由が見えない)ので、先に手で、同じユーザーで動かして切り分けておく——これは常駐化の前の大事な一手間です。


③ 手で動かすと、SSH を切った瞬間に止まる

「じゃあ、バックグラウンドで動かしっぱなしにすればいいのでは?」 ——最初は誰もがそう考えます。ここが、この記事でいちばん大事な失敗です。わざと一度やって、止まることを自分の目で確かめます。

& を末尾に付けると、プログラムはバックグラウンドで動きます。プロンプトがすぐ戻ってきて、他の作業ができます。

bash
$ /opt/monitor/monitor.sh &
[1] 4560

[1] 4560 は「1番目のバックグラウンドジョブ、PID は 4560」という意味です。動いていることを確認します。

bash
$ ps -ef | grep monitor.sh | grep -v grep

monitor.sh の行が出れば、確かに動いています。「よし、これで常駐できた」と思いたくなります。 でも——

ここで SSH を切ります。 いま SSH で繋いでいるなら、exit でログアウトしてください。

bash
$ exit

そしてもう一度 SSH で繋ぎ直して、さっきのプロセスがまだ生きているか見ます。

bash
$ ps -ef | grep monitor.sh | grep -v grep

何も出てきません。 さっきまで動いていた monitor.sh は、SSH を切った瞬間に一緒に死んでいます。

[スクリーンショット: 01_手で動かすと止まる.png] SSH を切って繋ぎ直したあと、ps -ef | grep monitor.sh | grep -v grep を打って何も出てこない画面を撮ってください。「バックグラウンドにしたのに消えている」ことが分かるように。

なぜ死ぬのか

あなたが SSH でログインすると、あなた専用のシェルが1つ立ち上がります。 & で動かしたプロセスは、そのシェルの子どもとしてぶら下がっています。 だから、ログアウトして親のシェルと端末が消えると、子も道連れで終わります。回線が切れたり窓を閉じたりしたときは、「端末が切れたよ」という合図(SIGHUP) がシェルから子に送られて終わります。exit で抜けたときは、bash は既定ではこの合図を送りません(huponexit が無効なため)。それでも消えたのは、書き込み先の端末が無くなって echo が失敗し、set -e で止まったためです。

SSHログイン中:
  あなたのシェル
      └── monitor.sh &   ← 親にぶら下がっている

SSHを切ると:
  (シェルが消える)
      └── monitor.sh   ← 端末を失って終了(SIGHUP か、書き込みの失敗で)

逃げ道はあるが、どれも足りない

「SSH を切っても生き残らせる」やり方は、いくつかあります。 でも、どれも「常駐サービス」には足りません。 何が足りないのかを並べておきます。

やり方SSH を切っても生きる?落ちたら復活する?再起動で自動で上がる?
./monitor.sh &いいえ(端末と一緒に死ぬ)いいえいいえ
nohup ./monitor.sh &はいいいえいいえ
tmux の中で動かすはい(tmux を消すまで)いいえいいえ
systemd のサービスはいはいはい

nohup は「切っても死なない」まではやってくれますが、プログラムがエラーで落ちたら、それきりです。 誰かがまた手で起動しない限り、二度と上がってきません。VMを再起動したときも同じで、人が毎回手で起こす必要があります。

この記事のねらいは「落ちても・再起動しても、人が手を出さずに起き上がる」ことでした。 それを満たすのは、この表でいちばん下の systemd だけです。

常駐には、人とは無関係に動き続ける「仕組み」が要ります。 それが systemd です。ここでようやく、前回までにやった systemctl の話が繋がります。


④ systemd のユニットを書く — Restart=always で落ちても起きる

systemd に「このスクリプトをサービスとして動かして」と頼むには、ユニットファイルを書きます。 置き場所は決まっていて、/etc/systemd/system/ の中に、サービス名.service という名前で作ります。

bash
$ sudo nano /etc/systemd/system/monitor.service

中身はこれです。1行ずつ意味があります。

[Unit]
Description=Simple resource monitor
After=network.target

[Service]
Type=simple
User=monitor
Group=monitor
Environment=INTERVAL=10
ExecStart=/opt/monitor/monitor.sh
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target

3つのカタマリ(セクション)に分かれています。

セクション役割
[Unit]このサービスの説明と、いつ起動するか
[Service]どう動かすか。今回の主役はここ
[Install]enable したとき、どのタイミングで自動起動させるか

1行ずつ読みます。

行意味
Description=説明。systemctl status に出る名前
After=network.targetネットワークが立ち上がった「後で」起動する、という順序の指定(依存ではない)
Type=simpleExecStart のプログラムが動き続けるタイプ。今回の無限ループはこれ
User=monitor / Group=monitor②で作った専用ユーザーで動かす。root では動かさない
Environment=INTERVAL=10スクリプトに渡す環境変数。10秒ごとになる
ExecStart=実行するもの。必ず絶対パスで書く(後述)
Restart=alwaysこの1行が主役。プロセスが終了したら、必ずまた起動し直す
RestartSec=3落ちてから、3秒待ってから起動し直す
WantedBy=multi-user.targetenable すると、通常の起動時に自動で立ち上がるようになる

ExecStart は絶対パスで書きます。 monitor.sh や ./monitor.sh と書くと、systemd はどこにあるスクリプトか分からず起動に失敗します。 systemd はあなたのカレントディレクトリを知りません。必ず /opt/monitor/monitor.sh のように、/ から始まる完全なパスで書きます。

Type=simple は何を指定しているのか

Type= は、「systemd が、いつ『起動できた』と判断するか」を決めます。今回はいちばん基本の simple です。

Type=どういうプログラム向けか
simple起動したら、そのまま前面で動き続けるもの。今回の無限ループはこれ
forking起動すると自分で裏方(デーモン)に分裂して、本体は終了する昔ながらの作り
oneshot一度だけ実行して終わる。バックアップスクリプトなど「常駐しない」もの

今回のスクリプトは while true で回り続けるので、simple が正解です。 もし oneshot を指定すると、systemd は「動き続けるはずがない」と考えて挙動がかみ合いません。「動き続けるものは simple」と覚えておけば、当面は困りません。

After= は「順序」であって「依存」ではない

After=network.target は、よく誤解されるところです。 これは「ネットワークより後で起動する」という順番の指定にすぎず、「ネットワークが無いと起動しない」という依存ではありません。 今回の監視はネットワークを使わないので、本当は無くても動きます。将来ネットワークを使うサービスに書き換えるときの下地として入れてあります。

「必ず一緒に立ち上げたい」「これが無いと動けない」という強い結びつきは Requires= などで書きますが、順番(After=)と依存(Requires=)は別物です。片方を書いたつもりでもう片方が抜けている、というのはよくある混乱ですが、いまは「After= は順番だけを決めるもの」と押さえれば十分です。

読み込ませて、動かす

ユニットファイルを新しく作った・書き換えたときは、まず systemd に読み直させます。

bash
$ sudo systemctl daemon-reload

これを忘れると、systemd は古い内容のままで、変更が効きません。「直したのに反映されない」の大半はこれです。

次に、起動します。ここで前回の「start と enable は別物」が効きます。

bash
$ sudo systemctl enable --now monitor

前回やったとおり、

  • start … いますぐ動かす(再起動すると上がってこない)
  • enable … 次回の起動時から自動で立ち上がる(いまは動かない)
  • enable --now … その両方を1回でやる

start だけで済ませると、VMを再起動した瞬間に、二度と上がってこなくなります。 サーバーは何ヶ月も動かすもので、再起動は必ずいつか起きます。だから最初から enable --now を使います。

確認: 状態を見ます。

bash
$ systemctl status monitor

見るのは2行だけです(前回の復習)。

● monitor.service - Simple resource monitor
     Loaded: loaded (...; enabled; ...)
     Active: active (running) since ...
   Main PID: 4821 (monitor.sh)
行見るところ意味
Active:active (running)いま動いている
Loaded:enabled次回起動時も自動で上がる

この2つが両方そろっていれば、常駐は成功です。 q で抜けます。

もし起動に失敗していたら(Active: が failed)、まず「systemd が読んでいるユニットの中身」を確認します。書いたファイルと本当に一致しているか、systemctl cat で見られます。

bash
$ systemctl cat monitor

ここに出るのが「systemd が実際に使っている内容」です。 自分が編集したファイルの中身と食い違っていたら、daemon-reload を忘れているか、別の場所のファイルを編集しています。次に、失敗の理由そのものはログにあります。

bash
$ journalctl -u monitor -n 20 --no-pager

「status で状態を見る → cat で読まれている中身を見る → journalctl で理由を読む」——この3点セットが、サービスが上がらないときの調べ方です。

あとで設定を変えたくなったら

たとえば「10秒ごとは細かすぎる、30秒にしたい」となったとします。 ユニットの Environment=INTERVAL=10 を 30 に書き換えます。書き換えただけでは効きません。 次の2つを、この順で打ちます。

bash
$ sudo systemctl daemon-reload
$ sudo systemctl restart monitor
コマンド役割
daemon-reload書き換えたユニットファイルを、systemd に読み直させる
restartいま動いているサービスを、新しい設定で起動し直す

「ファイルを直す → daemon-reload → restart」がワンセットです。daemon-reload を飛ばすと、systemd は古い内容のままで、いくら restart しても変わりません。「直したのに反映されない」の犯人はほぼこれなので、体で覚えておきます。


⑤ わざと殺して、復活を見る

「常駐している」だけでは、まだ半分です。 この記事のねらいは「落ちても勝手に起き上がる」でした。それを、自分の手でわざと殺して確かめます。

まず、いまのPIDを控える

bash
$ systemctl status monitor

Main PID: の番号を見ます。仮に 4821 だったとします。

殺す

bash
$ sudo kill 4821

sudo が要ります。 このプロセスは monitor ユーザーで動いていて、あなたのユーザーからは直接触れないためです。kill は「終了してください」とお願いするコマンドでした(前回の kill と kill -9 の違い)。

すぐに、もう一度見る

bash
$ systemctl status monitor

数秒後には、また active (running) に戻っています。 そして——

   Main PID: 4870 (monitor.sh)

PID が変わっています(4821 → 4870)。 これは「死ななかった」のではありません。確かに一度死んで、systemd が新しく起動し直した証拠です。別のプロセスとして、番号が新しくなっています。

これが Restart=always の効果です。プロセスが終了したことを systemd が検知し、RestartSec=3(3秒)待って、自動で起動し直しました。

[スクリーンショット: 02_殺しても復活.png] sudo kill で殺したあと systemctl status monitor を打ち、active (running) に戻っていて、Main PID が殺す前と変わっている画面を撮ってください。

RestartSec の意味 — なぜ「すぐ」ではないのか

RestartSec は「落ちてから、何秒待って起動し直すか」です。 なぜ0秒(即座)にしないのか。

もしスクリプトが「起動した瞬間にエラーで落ちる」状態になっていたら、RestartSec=0 だと1秒に何百回も起動と失敗を繰り返し、CPU を食い尽くします。

数秒の間を空けることで、「壊れて即死を高速で繰り返す」暴走を防ぎます。 今回は3秒にしました。落ちてから3秒は監視が止まりますが、監視の目的には十分です。

「復活した」はログにも残っている

PID が変わったこと以外にも、証拠があります。 systemd 自身が「サービスが落ちて、起動し直した」ことをログに書いています。

bash
$ journalctl -u monitor -n 20 --no-pager

殺した前後に、systemd がこういう行を残しているはずです。

... systemd[1]: monitor.service: Main process exited, code=killed, status=15/TERM
... systemd[1]: monitor.service: Scheduled restart job, restart counter is at 1.
... systemd[1]: Started monitor.service - Simple resource monitor.

code=killed(殺された)→ Scheduled restart(再起動を予約)→ Started(起動した) という流れが、そのまま読めます。restart counter is at 1 は「これが1回目の再起動」という意味です。「なんとなく復活した」ではなく、systemd が何をしたかを、ログで確かめられる——これが後から原因を追えるサーバーの姿です。

復活には「短時間に何度もはダメ」という上限がある

Restart=always は「無限に、何回でも」ではありません。 systemd には、「短時間に一定回数以上、起動に失敗したら、それ以上は起動をあきらめる」という安全装置があります(既定では、おおむね10秒間に5回まで)。

これに引っかかると、systemctl status にこう出ます。

Active: failed (Result: start-limit-hit)
... start request repeated too quickly

start-limit-hit は「壊れているのに超高速で再起動を繰り返して、CPU を焼き続ける」のを防ぐための、正しい動作です。 「復活しなくなった」と慌てる前に、本当の原因は「起動した瞬間に落ちる何か」(絶対パスの間違い、権限不足など)だと考えてください。ログに落ちた理由が書いてあります。

原因を直したうえで、あきらめ状態を解除して起動し直すには、こうします。

bash
$ sudo systemctl reset-failed monitor
$ sudo systemctl start monitor

今回のように「正常に動いているものを1回 kill する」ぶんには、この上限には当たりません。 上限に当たるのは「毎回すぐ死ぬ」ときだけです。だから、kill を数秒おきに1回ずつ試すぶんには、ちゃんと毎回復活します。

kill すると復活するのに、systemctl stop だと復活しない

ここは必ず区別してください。 同じ「止める」でも、kill と systemctl stop では、その後がまったく違います。

bash
$ sudo systemctl stop monitor

このあと systemctl status monitor を見ると、inactive (dead) のまま、復活してきません。 Restart=always を書いたのに、です。

これは正しい動作です。Restart=always が復活させるのは「意図せず落ちたとき」だけで、systemctl stop は「人が意図して止めた」とみなされるためです。

止め方systemd の解釈Restart=always は復活させる?
sudo kill PID意図せず落ちたはい(自動で起き上がる)
sudo systemctl stop monitor人が意図して止めたいいえ(止まったまま)

もし stop でも勝手に起き上がったら、メンテナンスのために止めることすらできません。 だから、この区別は理にかなっています。止めたサービスを動かし直すのは、いつもの start です。

bash
$ sudo systemctl start monitor

VMを再起動して、勝手に起きていることを見る

最後の確認です。 enable が本当に効いているか、VMごと再起動して見ます。

bash
$ sudo reboot

SSH が切れます。 これは正常です。1〜2分待って、もう一度 SSH で繋ぎ直します。

繋ぎ直したら、何も起動操作をせずに、いきなり状態を見ます。

bash
$ systemctl status monitor

active (running) になっていれば、enable が効いています。 あなたは何も手で起動していないのに、VMの起動と同時に、サービスが勝手に立ち上がっています。これが「サーバーが動き続ける」ということです。

もし inactive のままなら、enable を忘れているサインです。systemctl is-enabled monitor で確認できます。

bash
$ systemctl is-enabled monitor
enabled

enabled と返れば、次回以降も自動で上がります。


⑥ ログを見る — 標準出力がそのまま journal に入っている

②で「echo で標準出力に出すだけにする」と決めました。 その効き目を、ここで受け取ります。ログファイルを1つも作っていないのに、ログが残っています。

bash
$ journalctl -u monitor

-u monitor は「monitor サービスのログだけ」という意味です。スクリプトが echo で出していた行が、そのまま並んでいるはずです。

Oct 14 09:12:01 ubuntu monitor.sh[4821]: 2026-10-14 09:12:01 disk=17% procs=132
Oct 14 09:12:11 ubuntu monitor.sh[4821]: 2026-10-14 09:12:11 disk=17% procs=131
Oct 14 09:12:21 ubuntu monitor.sh[4870]: 2026-10-14 09:12:21 disk=17% procs=132

PID が途中で変わっている行(4821 → 4870)が見えます。⑤で殺して復活させた瞬間が、ログにも残っています。q で抜けます。

[スクリーンショット: 03_journalログ.png] journalctl -u monitor の出力を撮ってください。スクリプトが出した disk= の行が並んでいることが分かるように。

よく使う見方

コマンド意味
journalctl -u monitor -n 20 --no-pager最新20行だけ、そのまま表示(q を押さなくていい)
journalctl -u monitor -f流し見。新しい行が出るたびに下に追加される(Ctrl+C で抜ける)
journalctl -u monitor --since "10 min ago"10分前からのログ
journalctl -u monitor --since today今日のログ

とくに -f は、前回のシェルの回で出てきた tail -f と同じ働きです。動いているサービスをその場で観察したいときに使います。

bash
$ journalctl -u monitor -f

10秒ごとに新しい行が下に増えていくのが見えれば、確かに常駐して動き続けています。

「問題だけ」を拾い読みする

ログが増えてくると、全部を読むのは大変です。 何か起きたときは、「エラー以上の重さのものだけ」を拾い読みします。-p err を付けます。

bash
$ journalctl -u monitor -p err --no-pager

-p err は「err(エラー)以上の深刻さの行だけ」という指定です。正常に動いているなら、ここには何も出ません。 逆に、何か出ていたら、そこが調べどころです。「いつからおかしくなったか」を絞るなら、期間指定と組み合わせます。

bash
$ journalctl -u monitor -p err --since "1 hour ago" --no-pager

「サービス名で絞る(-u)」「重さで絞る(-p)」「期間で絞る(--since)」の3つを重ねる——これが、動いているサーバーで問題を追うときの基本の型です。今回の監視のような無害なサービスでは出番が少ないですが、この先、本物のアプリを常駐させたときに必ず使います。

ログは放っておくとディスクを食い続ける

ここは絶対に飛ばさないでください。 このサービスは10秒ごとに1行、永遠にログを書き続けます。何もしないと、journal がディスクを少しずつ食い続けます。 監視のためのログで、監視対象のディスクを埋めてしまっては本末転倒です。

いまどれだけ使っているかを見ます。

bash
$ journalctl --disk-usage
Archived and active journals take up 112.0M in the file system.

上限を決めます。 journal 全体の設定ファイルは /etc/systemd/journald.conf です。

bash
$ sudo nano /etc/systemd/journald.conf

[Journal] セクションに、次の行を足す(頭の # を外して値を入れる)と、journal 全体が使う容量に上限がかかります。

[Journal]
SystemMaxUse=200M

保存したら、journal の仕組みに反映させます。

bash
$ sudo systemctl restart systemd-journald

これで、古いログから自動で捨てられ、200MB を超えて増え続けることはなくなります。 すでに溜まったぶんを手で減らしたいときは、次のように期間や容量で掃除できます。

bash
$ sudo journalctl --vacuum-time=7d

--vacuum-time=7d は「7日より古いログを捨てる」という意味です。「ログは集めるだけでなく、捨てる設計も要る」——これは監視の入口である Prometheusは取りに行く — 監視とログの入口 にも繋がる、運用の基本です。


⑦ 完成の判定 — 自分で「できた」と言えるように

「なんとなく動いている」で終わらせません。 この6つを自分で通したら、この作品は完成です。

□ systemctl status monitor が active (running) になっている(常駐している)
□ sudo kill でプロセスを殺しても、数秒で別PIDで復活する
□ VMを再起動しても、何も操作せずに勝手に上がっている(enable が効いている)
□ journalctl -u monitor でログが読める
□ ログの保持に上限を設定した(ディスクを食い続けない)
□ root ではなく、専用ユーザー monitor・最小権限で動いている

最後の1つは、こう確かめます。どのユーザーで動いているかを直接見ます。

bash
$ ps -o user,cmd -C monitor.sh
USER     CMD
monitor  /usr/bin/bash /opt/monitor/monitor.sh

USER が monitor になっていれば、最小権限で動いています。 ここが root だったら、④のユニットの User=monitor を見直してください。

1つでも通らなかったら、それがこのコースの「まだ手が届いていない場所」です。 そこだけ、対応する回に戻ればいい。この判定リストが、「動いた」を「作れる」に変えます。

この作品で使ったコマンド早見表

この記事で出てきたコマンドを、目的別にまとめておきます。 常駐サービスを1つ運用するのに要るのは、たったこれだけです。

やりたいことコマンド
ユニットを読み直させるsudo systemctl daemon-reload
起動+自動起動をまとめて有効化sudo systemctl enable --now monitor
いま動いているか見るsystemctl status monitor
自動起動するか確認systemctl is-enabled monitor
設定変更を反映(読み直し→再起動)sudo systemctl daemon-reload → sudo systemctl restart monitor
ログを最新から読むjournalctl -u monitor -n 20 --no-pager
ログを流し見するjournalctl -u monitor -f
どのユーザーで動いているかps -o user,cmd -C monitor.sh
止めて自動起動も外すsudo systemctl disable --now monitor

この表の左側(やりたいこと)で考えられるようになっていれば、Linux コースの到達点に立っています。 コマンドそのものは、忘れたらこの表に戻ってくれば済みます。


つまずいたところ

ユニットを直したのに、変更が効かなかった。 sudo systemctl daemon-reload を忘れていました。ユニットファイルを書き換えたら、必ず先に読み直させます。これを忘れて「直したのに古いまま」で長く悩みました。

Restart=always を書いたのに、起動すらしなかった。 systemctl status が failed になっていました。ExecStart を monitor.sh と相対で書いていたのが原因です。systemd はカレントディレクトリを知らないので、絶対パス /opt/monitor/monitor.sh に直したら起動しました。理由は journalctl -u monitor に No such file or directory と書いてありました。失敗したら、まずログを読む。

VMを再起動したら、上がってこなかった。 start だけで済ませていて、enable していませんでした。start と enable は別物、をここでも踏みました。sudo systemctl enable monitor で解決。systemctl is-enabled monitor で enabled を確認する癖を付けました。

kill しても復活しなかった(本当に死んだままだった)。 kill -9(強制終了)で殺したうえ、RestartSec の設定を見間違えて長時間待ちにしていたためでした。まず数秒待って status を見直したら、ちゃんと別PIDで復活していました。「復活しない」の多くは、待ち時間を待っていないだけでした。

sudo kill の sudo を付けず、kill: (4821) - Operation not permitted と出た。 プロセスが monitor ユーザーで動いていて、自分のユーザーからは殺せなかったためです。専用ユーザーで動かしている副作用(=守られている証拠)でもあります。sudo を付けて解決。

ログが1行も出ていないように見えた。 スクリプトの中で echo の代わりに、ファイルへ >> で追記していたためです。ファイルに書くと journal には流れません。標準出力に echo するだけに戻したら、journalctl -u monitor で読めるようになりました。

df --output=pcent が「invalid option」と出た。 とても古い環境で試したときに起きました。現代の Ubuntu では問題ありませんが、古い coreutils だと未対応です。その場合は df / | tail -n 1 | awk '{print $5}' | tr -d '%' で同じ値が取れます。例に使うコマンドが自分の環境で動くか、必ず一度手で確かめる、を守ってください。

ディスクが少しずつ減っていった。 journal の保持上限を決めていなかったためです。⑥の SystemMaxUse を設定し、--vacuum-time で古いぶんを掃除して解決しました。「動き続けるもの」は、放っておくと何かを食い続ける、を体で覚えました。

ユニットに書いた Group=monitor で起動に失敗した。 古い手順で専用ユーザーを --no-user-group 付きで作ってしまい、monitor というグループが存在しなかったためです。id monitor でグループが出ないときは、Group= の行を消すか、グループを先に作ります。今回の useradd --system monitor は同名グループも作るので、そのまま動きました。

sudo reboot のあと、SSH で繋ぎ直せず焦った。 再起動でVMのIPが変わっていた(DHCP のVMなど)ためでした。サービスの問題ではありません。VMware のコンソールでログインして ip a でIPを確認し直したら繋がりました。「サービスが上がっていない」と「そもそも繋がっていない」を混同しない、という切り分けの基本を踏みました。


後片づけ

この作品は、置いておいても実害はほとんどありません(10秒ごとに1行ログを書くだけで、ディスク上限も設定済みです)。学習用のVMなら、そのまま「常駐サービスの見本」として残しておくのもよいでしょう。

片づけるときは、作った順と逆にたどります。 いきなりファイルを消さないでください。 サービスを止めて、自動起動を外してから消します。

bash
$ sudo systemctl disable --now monitor

disable --now は、いますぐ止める(stop)と、次回から自動起動しない(disable)を1回でやります。 これで、殺しても復活しなくなります。

そのうえで、ファイルと専用ユーザーを消します。

bash
$ sudo rm /etc/systemd/system/monitor.service
$ sudo systemctl daemon-reload
$ sudo rm -r /opt/monitor
$ sudo userdel monitor

ユニットを消したあとにも daemon-reload を1回打ちます。 systemd に「そのサービスはもう無い」ことを反映させるためです。ログも消したいときは、掃除の --vacuum-time を使うか、そのまま上限に任せて自然に消えるのを待ちます。

確認: 本当に消えたかを見ます。

bash
$ systemctl status monitor
Unit monitor.service could not be found.

could not be found(見つからない)と出れば、後片づけは完了です。プロセス一覧にも、もう monitor.sh は出てきません。「動かした」だけでなく「きれいに片づけられる」ところまでが、常駐サービスを扱えるということです。


学習用のVMで動かしたサービスを、本物のサーバーでも同じように常駐させてみたい場合は、小さなVPSを1台借りるのが手軽です。さくらのVPSは東京・大阪・石狩からリージョンを選べる国産のVPSで、クレジットカード払いなら全プラン2週間無料で試せます(512MB・1コア・25GB の月払いは 643〜698円、税込、2026-11 時点)。バックアップ機能は標準・オプションともに無いと公式FAQにあるので、この記事の設定や journal を残したいなら自分でバックアップを設計する前提で使ってください。

まとめ — 理解できたこと

  • 「読んで分かる」と「常駐させられる」は別物だった。埋めたのは、手を動かす作品1本
  • ./script.sh & で動かしたものは、SSH を切ると、SIGHUP や書き込みの失敗で一緒に死ぬ。「動かす」と「動かし続ける」は別の問題
  • 常駐には、人とは無関係に動き続ける仕組みが要る。 それが systemd
  • Restart=always が「落ちても起き上がる」の正体。 プロセスが終わると systemd が自動で起動し直す
  • RestartSec は起動し直すまでの待ち時間。 0秒だと「即死→即起動」の暴走を招くので数秒空ける
  • kill(意図せぬ停止)は復活させるが、systemctl stop(意図した停止)は復活させない。 だからメンテで止められる
  • 復活には上限がある(短時間に失敗を繰り返すと start-limit-hit であきらめる)。それは「起動即死」を止める安全装置
  • start と enable は別物。 enable していないと、再起動で二度と上がってこない
  • ExecStart は必ず絶対パス。 systemd はカレントディレクトリを知らない
  • ユニットを直したら daemon-reload。 忘れると変更が効かない
  • サービスの標準出力は、そのまま journal に入る。 ログ用のファイルを自分で持たなくてよい
  • journalctl -u サービス名 でログを読む。 -f で流し見、--since で期間指定
  • ログは放っておくとディスクを食い続ける。 SystemMaxUse で上限を、--vacuum-time で掃除を
  • root では動かさない。専用ユーザー・最小権限で常駐させる。 事故ったときの被害が小さくなる
  • 完成の判定を自分で持つと、「なんとなく動く」で終わらない
  • これが「サーバーが動き続ける」の正体だった。 落ちても起き、再起動でも起き、ログが残り、弱い権限で動く

そして、この先で同じ仕組みを使う

この monitor.service を、もう一度読んでください。

ExecStart を、あなたが作った API サーバーやデータベースの起動コマンドに置き換えるだけで、まったく同じ仕組みで常駐させられます。Backend で作る 作品のサーバー側(APIと認証) も、本番では「手で node app.js を打って動かす」のではなく、この systemd のユニットで常駐させます。 落ちても起き上がり、VMを再起動しても勝手に上がる——あなたはもう、その組み方を手で書けます。

Linux コースは、ここで一区切りです。 コマンドを覚えることから始まって、いま「落ちても起き上がる常駐サービス」を1本、自分の手で組み、わざと壊して、直せるところまで来ました。

振り返ると、この短い作品の中に、コースで学んだことが全部入っていました。 シェルスクリプトで処理を書き(第1段階の総まとめ)、専用ユーザーと最小権限で守り(権限の回)、サービスとして常駐させて start と enable を使い分け(プロセスとサービスの回)、journalctl でログを読み、ディスクを食い続けないよう保持を設計しました。1つ1つはどれも既にやったことで、新しかったのは「それらを1つの動く成果に束ねる」ことだけでした。それができたなら、あなたはもう「コマンドを打てる人」ではなく、「サーバーを動かし続けられる人」です。次のコースで作るものは、すべてこの土台の上に乗ります。


参考リンク


次に読む

この記事は 【第1段階】Linux の 11 / 13 本目です。

記事
← 前の記事3回打ったコマンドはスクリプトにする — Linux第1段階の総まとめ
→ 次の記事サーバーの中身はテキスト — grep・sed・awkとvim

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

Linux コースの到達作品です。 落ちても自動で復活する常駐サービスを systemd で作ります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次