※本記事はアフィリエイト広告(PR)を含みます。
kill -9 を最初に打つと、後片づけが行われません。プロセスとシグナルの関係を押さえて、止め方を選べるようにします。
roadmap.sh のどこをやっているか
- シグナル・優先度・ジョブ制御・ulimit
- fork と exec / ゾンビと孤児 / proc
この記事は、上の項目を実際に手を動かして確かめる回です。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の startとenableは別物 — サーバーが「動いている」とは何か の続きとして、サービスではなく「プロセスそのもの」を掘ります。
前回: ユーザーとパーミッション — chmod 777は答えではない
この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。
前提: プロセスとサービス、権限(rwx)、パイプとリダイレクト、シェルスクリプト を一度触っていること。 systemd(
.serviceの中身)は 次回 で扱うので、この記事では触れません。 ここで扱うのは、systemd が管理していないただのプロセスです。
正直に書きます。プロセスが止まらないとき、私はいきなりこれを打っていました。
kill -9 1234
止まるからです。 kill 1234 は効かないことがあるのに、-9 は必ず効く。だから「効くほうを最初から打てばいい」と思っていました。
そのまま半年くらい使い続けて、こういうことが起きました。
- 開発中のアプリを
kill -9で止めるたびに、ロックファイルが残って次の起動に失敗する - SSH を切っただけで、バックグラウンドで走らせていた処理が消えていた
&を付けたのに死ぬ。nohupを付けたら死なない。違いが説明できない- ビルドを流したら
Too many open files。ディスクは空いている ps auxのVSZが 8GB と出ている。VMのメモリは2GBしかない
どれも「コマンドの使い方」の問題ではありません。 シグナルとは何か、プロセスの親子関係がどうなっているか、端末とプロセスがどう繋がっているか——その1段下を知らないから起きています。
この記事で最初に受け取ってほしいのは、これ1つです。
シグナルは「殺す」命令ではありません。「合図」です。 受け取ったプロセスが、自分でどうするかを決めます。ログを書き終える、ファイルを閉じる、ロックを消す、それから終わる。
kill -9(SIGKILL)だけが例外で、これはプロセスに届きません。 カーネルが本人の意思と関係なく消します。だから片づけができません。
kill というコマンド名が悪いのですが、kill は「シグナルを送る」コマンドであって、「殺す」コマンドではありません。既定で送っているのは SIGTERM(15番)=「終わってください」というお願いです。
以下、練習用のスクリプトを1本書いて、シグナルを1つずつ手で送って、何が起きるかを見ます。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
- シグナルは命令ではなく合図であること。
SIGKILL(9) とSIGSTOP(19) だけは受け取れないこと。だから-9では片づけが実行されない VSZとRSSは別物であること。VSZは確保しただけの住所の広さで、実際に使っているメモリはRSS。RSSを全部足すと搭載メモリを超える理由- 端末を閉じるとプロセスが死ぬのは
SIGHUPのせいであること。&だけでは防げず、nohup・setsid・disownは防ぎ方がそれぞれ違うこと - ゾンビは「暴走しているプロセス」ではないこと。メモリも CPU も使っていないのに消えない理由
Too many open filesはディスクの話ではないこと。シェルのulimitはサービスには効かないこと/proc/<pid>/environから環境変数が読めること。環境変数はパスワードの隠し場所ではない
この記事でやること
psの主要な列を1つずつ読む。VSZとRSSをfree -hと突き合わせるtrapでシグナルを受ける練習用スクリプトを書き、TERMINTHUPSTOPCONTKILLを1つずつ送る- ゾンビと孤児を、安全に自分で作って
psで見る - 端末を切ってプロセスを殺し、
nohupsetsiddisownで生き残らせる niceで優先度を変え、実際に CPU の取り分が変わるのをtopで見るulimit -nを下げてToo many open filesをわざと出す/proc/<pid>/を覗き、lsofssstraceでプロセスの中身を調べる- 作ったものを全部片づける
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| シグナル | プロセスに送る短い合図。番号と名前を持つ。「終わって」「止まって」「設定を読み直して」など |
trap | シェルで「このシグナルが来たらこれをする」を決める命令。受け取り方の指定 |
| PPID | Parent Process ID。そのプロセスを起動した側のPID。すべてのプロセスは誰かの子 |
fork | 自分のコピーを1つ作ること。プロセスが増えるのは常にこれ |
exec | いまのプロセスの中身を、別のプログラムで上書きすること。PIDは変わらない |
ゾンビ(Z) | 終わったのに、親がまだ結果を受け取っていないプロセス。名前だけが残っている状態 |
| 孤児(orphan) | 親が先に死んだプロセス。PID 1 に引き取られる |
| セッション / 端末 | ログインごとの一区切りと、それに紐づくキーボード・画面。ここが切れると SIGHUP が飛ぶ |
| ジョブ | シェルから見た「いま走らせている仕事」。%1 のような番号で呼ぶ |
nice 値 | プロセスの遠慮の度合い。-20(強気)〜 19(遠慮)。大きいほどCPUを譲る |
| ファイルディスクリプタ(fd) | プロセスが開いているファイル1つに付く番号。0 1 2 は標準入力・出力・エラー |
/proc | ディスク上に実体のない、カーネルの中身がファイルに見えている場所 |
プロセスを見る道具は6つある
まず、道具を並べます。 全部覚える必要はなく、目的が違うだけです。
| コマンド | 何のために使うか | 追加インストール |
|---|---|---|
ps aux | いまの一覧を1回だけ。BSD形式。USER と %CPU が見やすい | 不要 |
ps -ef | 同じく一覧だがUNIX形式。PPID(親)が出るのが違い | 不要 |
pgrep | 名前からPIDだけを取る。スクリプトで使う | 不要 |
pstree | 親子関係を木で見る | sudo apt install -y psmisc |
top | 動きを追う。既定で入っている | 不要 |
htop | top を見やすくしたもの。木表示と検索が楽 | sudo apt install -y htop |
ps aux と ps -ef は「別のコマンド」ではなく、ps の2つの書き方です。 ps は歴史的にBSD系とUNIX系で書式が違い、Linux は両方受け付けます。ハイフンが付くかどうかで解釈が変わる、という珍しいコマンドです。
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.8 168404 12980 ? Ss 09:12 0:02 /sbin/init
root 2 0.0 0.0 0 0 ? S 09:12 0:00 [kthreadd]
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 09:12 ? 00:00:02 /sbin/init
root 2 0 0 09:12 ? 00:00:00 [kthreadd]
違いは PPID が出るかどうかです。親を知りたいときは -ef、メモリを見たいときは aux、と覚えれば足ります。
角括弧で囲まれた
[kthreadd]はカーネルスレッドです。 プログラムのファイルから起動したものではなく、カーネル自身が動かしている処理です。killしようとしても効きません。ps auxの中に大量に混ざっているので、「見慣れない名前がたくさんある」と不安になる必要はありません。
欲しい列だけ出す
実務でいちばん使うのはこれです。
-eo は「全プロセスを、この列で」という意味です。--sort=-rss でメモリを食っている順に並びます。
ps の主要な列の読み方
ここが本題です。 表にします。
| 列 | 正式名 | 何を表しているか |
|---|---|---|
PID | Process ID | いま動いているこの1つを指す番号。再起動すると変わる |
PPID | Parent PID | 起動した側のPID。1 なら親が死んで引き取られたということ |
USER / UID | 誰の権限で動いているか。ここが root なら何でもできてしまう | |
STAT | プロセス状態 | いま何をしているか。下に別表 |
VSZ | Virtual Size | 住所として確保した広さ(KiB)。使っているとは限らない |
RSS | Resident Set Size | 実際に物理メモリに載っている量(KiB) |
NI | nice値 | 遠慮の度合い。-20〜19。既定は 0 |
TIME | CPUを実際に使った合計時間。経過時間ではない | |
ETIME | Elapsed | 起動してからの経過時間(-eo で指定したときだけ出る) |
TTY | 端末 | どのキーボードに繋がっているか。? は端末なし=サービス系 |
TIME と ETIME の違いで一度混乱しました。 3日動いているプロセスの TIME が 0:02 なのを見て「表示がおかしい」と思いました。おかしくありません。 3日間ほとんど寝ていて、CPUを使ったのは合計2秒、という意味です。
TTY が ? かどうかは重要です。 ? は「端末に繋がっていない」=端末を閉じても影響を受けないということです。この記事の山場②に直結します。
STAT の1文字目
| 文字 | 状態 |
|---|---|
R | 実行中、または実行待ち。CPUを使っている |
S | 眠っている(割り込み可能)。普通のプロセスのほとんどはこれ。何かを待っている |
D | 眠っていて、起こせない。ディスクI/O待ちなど。kill -9 でも消えない |
T | 停止中。Ctrl+Z や SIGSTOP で止められた状態 |
Z | ゾンビ。終わったのに親が結果を受け取っていない |
I | アイドル状態のカーネルスレッド |
D は覚えておく価値があります。 「kill -9 しても消えないプロセス」の正体はたいていこれで、-9 が効かないのではなく、I/Oが終わるまで誰も割り込めないだけです。ネットワーク越しのディスクが落ちたときなどに出ます。
2文字目以降は補足です。
| 文字 | 意味 |
|---|---|
s | セッションリーダー。この端末の代表 |
+ | フォアグラウンド(いまキーボードが繋がっている) |
l | 複数スレッド |
< | nice値がマイナス(優先度が高い) |
N | nice値がプラス(遠慮している) |
Ss は「眠っているセッションリーダー」、R+ は「フォアグラウンドで実行中」です。
[スクリーンショット: 01_ps_columns.png] ps -eo pid,ppid,ni,stat,rss,vsz,etime,time,comm --sort=-rss | head -10 の結果を撮ってください。
VSZ と RSS は別物
ここで一度、本気で焦りました。
ps auxを見たら、VSZが 1200000(=約1.2GB)と出ている。 VMに割り当てたメモリは2GBしかない。 それが何個も並んでいる。 足したら明らかに搭載メモリを超えている。
超えていて正常です。
| 何か | 例え | |
|---|---|---|
VSZ | プロセスが「使うかもしれない」と確保した住所の範囲 | 地図に線を引いただけの土地 |
RSS | いま実際に物理メモリに載っているページの合計 | 実際に建物が建っている面積 |
Linux は、要求された分をその場では渡しません。 住所(仮想アドレス空間)だけ先に配っておいて、本当に読み書きされた瞬間に初めて物理メモリを割り当てます。 だから VSZ はいくらでも大きくなります。共有ライブラリも、確保しただけのヒープも、全部 VSZ に入ります。
見るべきなのは RSS です。
しかし RSS を全部足しても、正しい使用量にはならない
これも実際にやって、混乱しました。
RSSの合計: 3184 MiB
total used free shared buff/cache available
Mem: 1.9Gi 612Mi 380Mi 12Mi 1.0Gi 1.2Gi
Swap: 0B 0B 0B
RSSの合計が 3184 MiB なのに、free の used は 612 MiB です。 5倍ずれています。
理由は、共有しているメモリを全員が自分の分として数えているからです。libc のような共有ライブラリは、何十個のプロセスが同じ物理メモリを見ています。 それを RSS は全プロセスで重複して数えます。
正しく数えたいなら PSS(比例配分したサイズ)を見ます。
PSS は、共有ページを「共有している人数で割った」値です。これなら合計しても意味があります。
free -h の読み方
free で見るべき列は used でも free でもなく、available です。
| 列 | 意味 |
|---|---|
total | 搭載量 |
used | 本当に使われている分 |
free | どこにも使われていない分。少なくても問題ない |
buff/cache | ディスクの内容をキャッシュしている分。必要になれば即座に手放す |
available | これから起動するプログラムが使える見込みの量。ここを見る |
「free が少ない、メモリが足りない」は、ほぼ間違いです。 Linux は空いているメモリをキャッシュに使い切るのが正常で、空きが多いほうが無駄です。判断は available でします。
[スクリーンショット: 02_vsz_rss_free.png] RSSの合計を出した結果と free -h を並べて撮ってください。
シグナルを1つずつ送ってみる
説明を読むより、送ったほうが早いです。 受け取り側を自分で書きます。
練習用のスクリプトを書く
chmod +x を忘れると Permission denied です。 権限の回でやったところです。
最後の
while true; do sleep 1 & wait $!; doneという奇妙な書き方には理由があります。 bash は、フォアグラウンドのコマンドが終わるまでtrapを実行しません。 素直にsleep 300と書くと、シグナルを送っても300秒経つまで反応しません。 「trap を書いたのに効かない」の正体はこれです。waitはシグナルで中断されるので、この形にすると即座に反応します。私はここで40分溶かしました。
起動します。 バックグラウンドに送って、同じ画面から送信します。
送れるシグナルの一覧
よく使うものだけ表にします。
| 名前 | 番号 | 既定の動作 | 意味・使いどころ |
|---|---|---|---|
SIGHUP | 1 | 終了 | 端末が切れた。 サービスでは「設定を読み直せ」に転用される |
SIGINT | 2 | 終了 | Ctrl+C。「割り込み」 |
SIGQUIT | 3 | 終了+コアダンプ | 落ちた瞬間の状態をファイルに残す |
SIGKILL | 9 | 強制終了 | 受け取れない。片づけができない |
SIGUSR1 / SIGUSR2 | 10 / 12 | 終了 | 意味は決まっていない。 アプリが自由に使う |
SIGSEGV | 11 | 終了+コアダンプ | 不正なメモリアクセス。プログラムのバグ |
SIGPIPE | 13 | 終了 | 読み手が居なくなったパイプに書いた |
SIGTERM | 15 | 終了 | kill の既定。「片づけて終わって」 |
SIGCHLD | 17 | 無視 | 子プロセスが終わった、という通知 |
SIGCONT | 18 | 再開 | 止めたプロセスを動かす |
SIGSTOP | 19 | 停止 | 受け取れない。強制的に一時停止 |
SIGTSTP | 20 | 停止 | Ctrl+Z。こちらは受け取れる |
SIGPIPEは、パイプの回で見た「headを通すと前のコマンドが途中で終わる」の正体です。読む側が居なくなったパイプに書き込むと、書いた側にこれが飛びます。
番号ではなく名前で送ってください。 番号はCPUの種類で変わります。 x86-64 では
SIGUSR1は 10 番ですが、他のアーキテクチャでは違います。kill -USR1 PIDと書けば、どこでも同じ意味です。 例外的に9と15だけは、どの環境でも同じなので慣用的に数字で書かれます。
1つずつ送る
① SIGHUP(1)
-> SIGHUP(1) を受け取りました(終わりません)
既定なら終了するはずのシグナルですが、trap で受け取ったので終わりません。 これが「シグナルは合図であって命令ではない」の意味です。
② SIGINT(2)= Ctrl+C
-> SIGINT(2) を受け取りました(終わりません)
Ctrl+C を押しても終わらないプログラムがある理由が、これで分かります。 Ctrl+C は「SIGINT を送る」だけで、受け取った側が無視することを選べます。
③ SIGUSR1(10)
-> SIGUSR1(10) を受け取りました
SIGUSR1 と SIGUSR2 には決まった意味がありません。 アプリが自分で決めます。実際、多くのサーバーがこれを「ログファイルを開き直せ」に使っています。
④ SIGSTOP(19)と SIGCONT(18)
PID STAT COMMAND
3412 T catch.sh
STAT が T(停止)になりました。 この状態のプロセスはCPUを1%も使いません。 消えてもいません。冷凍保存です。
ここで面白いことをします。停止中にTERMを送ります。
PID STAT COMMAND
3412 T catch.sh
まだ生きています。 止まっているプロセスはシグナルを処理できないので、TERM は「保留」されたままです。
-> SIGTERM(15) を受け取りました
[片づけ] ロックファイルを消します
再開した瞬間に、溜まっていた TERM が配達されて終了しました。
これは実務で刺さります。 「
killしたのに死なない」と思って-9を連打する前に、psでTになっていないかを見てください。止まっているプロセスは、起こさないと死にません。SIGSTOPもtrapできません。SIGKILLと同じで、プロセスに拒否権がありません。
⑤ SIGTERM(15)— 既定の動作
もう一度起動して、今度は普通に送ります。
kill PID は kill -TERM PID と同じです。
-> SIGTERM(15) を受け取りました
[片づけ] ロックファイルを消します
ロックファイルが消えたことを確認します。
ls: cannot access '/tmp/deep-proc.lock': No such file or directory
片づけが実行されました。 これが正常な終わり方です。
SIGKILL(9) は受け取れない
ここが山場です。 もう一度起動して、今度は -9 を送ります。
-rw-rw-r-- 1 ubuntu ubuntu 0 Sep 18 10:22 /tmp/deep-proc.lock
[1]+ Killed ~/deep-proc/catch.sh
-> SIGTERM のような行が1行も出ていません。 そして、
-rw-rw-r-- 1 ubuntu ubuntu 0 Sep 18 10:22 /tmp/deep-proc.lock
ロックファイルが残っています。
これが kill -9 の代償です。 スクリプトの中で trap を書いても、SIGKILL は受け取れません。 書いてもプロセスには届きません。カーネルが、プロセスに一言も伝えずに実行を打ち切ります。
残るものの例です。
- ロックファイル(次の起動が「既に動いている」と誤認して失敗する)
- 一時ファイル(溜まり続ける)
- 書きかけのデータ(データベースなら破損の可能性)
- 開いたままのソケット(ポートがしばらく解放されない)
本線の記事で「まず
kill、ダメなら-9」と書いた理由が、これです。-9は「効く」のではなく「聞かない」だけです。
[スクリーンショット: 03_kill9_lock.png] kill -9 の後に ls -l /tmp/deep-proc.lock を打って、ファイルが残っているところを撮ってください。
正しい止め方の順番
この3段構えを型として覚えます。
| 段 | やっていること |
|---|---|
| 1 | SIGTERM を送る(=片づけてから終わってください) |
| 2 | 待つ。 片づけには時間がかかる。DBなら数十秒かかることもある |
| 3 | まだ生きていたら SIGKILL |
kill -0 PIDは「0番のシグナルを送る」という書き方ですが、0番は実在しません。 シグナルは送らずに、送れるかどうかだけを確かめます。 生きていれば成功(終了コード0)、居なければ失敗。プロセスの生存確認の定番です。
systemd はこれを自動でやっています。 TimeoutStopSec=(既定90秒)待って、それでも終わらなければ SIGKILL を送ります。次回のユニットファイルの回で扱う設定が、この動きを決めています。
名前で送る — pkill と killall
PIDを毎回調べるのは面倒なので、名前で送れます。
| コマンド | 挙動 |
|---|---|
pgrep 名前 | PIDを表示するだけ。送らない |
pgrep -a 名前 | PIDとコマンドライン全体を表示 |
pkill 名前 | 名前が前方一致するものに送る(既定はTERM) |
pkill -f パターン | コマンドライン全体で照合する。 引数まで見たいときはこれ |
killall 名前 | 名前が完全一致するものに送る |
pkillは必ずpgrepで数えてから打ってください。pkill -f pythonは、動いている Python を全部止めます。 意図した1つだけとは限りません。「先にpgrep -aで何が引っかかるか見る」を必ずやってください。killallは、Linux以外のUNIX(Solarisなど)では「全プロセスを終了する」という意味です。 名前が同じで意味が違います。Linuxしか触らないとしても、pkillを使うほうが安全です。
終了コードにシグナルが出る
プログラムがシグナルで死ぬと、終了コードに痕跡が残ります。
終了コード: 137
137 = 128 + 9 です。 シグナルで死んだ場合、終了コードは 128 + シグナル番号になります。
| 終了コード | 意味 |
|---|---|
| 137 | 128 + 9 = SIGKILL で殺された |
| 143 | 128 + 15 = SIGTERM で終わった |
| 130 | 128 + 2 = Ctrl+C |
Docker のログで
Exited (137)を見たことがあるなら、それは「メモリ上限を超えてカーネルにSIGKILLされた」です。 エラーメッセージが何も残っていないのも当然です。-9は片づけもログ出力もさせません。
親子関係 — fork と exec
すべてのプロセスは、誰かの子です。
systemd(1)-+-agetty(612)
|-cron(598)
|-sshd(701)---sshd(1204)---sshd(1289)---bash(1290)---pstree(1355)
|-systemd-journal(285)
`-systemd-logind(605)
自分が打ったコマンドが、いちばん右端にいます。 sshd から bash、bash から pstree と繋がっています。
新しいプロセスができる仕組みは2段階です。
| 段階 | 何が起きるか |
|---|---|
fork | いまのプロセスが自分のコピーを作る。 親と子はまったく同じ内容で、PIDだけが違う |
exec | そのコピーの中身を、目的のプログラムで上書きする。 PIDは変わらない |
ls と打ったとき、bash は「ls を起動」しているのではありません。
- bash が自分をコピーする(fork)
- コピーのほうが、自分自身を
lsに置き換える(exec) - 親(bash)は子が終わるのを待つ(wait)
exec はシェルからも打てます。 確かめると納得できます。
この番号を覚えておいて、
SSH接続が切れます。 bash が自分自身を sleep に置き換えたので、シェルが消滅したからです。5秒後に sleep も終わり、セッションが終了します。入り直してください。
これは事故ではなく、
execの定義そのものです。 「PIDを変えずに中身を差し替える」ので、戻る先がありません。.serviceのExecStart=という名前も、ここから来ています。
孤児 — 親が先に死ぬ
子のPID: 4021
親の bash -c は、echo を出した瞬間に終わります。 子の sleep 300 は残ります。
PID PPID STAT COMMAND
4021 1 S sleep
PPID が 1 になっています。 親が死んだプロセスは、PID 1(systemd)が引き取ります。 これが孤児です。
孤児は問題ではありません。 引き取り手がいるので、終わればちゃんと後始末されます。
ログイン中のユーザーの場合、
PPIDが1ではなく、そのユーザーの systemd(systemd --user)になることがあります。 どちらでも意味は同じです。「引き取り役に登録されているプロセスに引き取られた」ということです。
ゾンビ — 終わったのに消えない
ゾンビは孤児の逆です。子が先に死んで、親が結果を受け取っていない状態です。
プロセスが終わると、終了コードなどのわずかな情報だけがカーネルに残ります。 親が wait でそれを受け取って初めて、記録が消えます。親が受け取らないと、名前だけが残り続けます。
安全に1つ作ります。
何をしているか。
bashがsleep 1を子として起動する- その
bashがexec sleep 120で自分自身をsleepに置き換える(PIDは同じまま) - 1秒後、
sleep 1が終わる - 新しい中身(
sleep 120)はwaitを知らないので、結果を受け取らない sleep 1はゾンビとして残る
2秒待ってから見ます。
4188 4187 Z sleep
STAT が Z です。 ps aux なら <defunct> と表示されます。
ゾンビが使っているリソースを見ます。
PID STAT RSS VSZ TIME COMMAND
4188 Z 0 0 00:00:00 sleep
RSS も VSZ も 0 です。 メモリを1バイトも使っていません。 CPUも使いません。
ゾンビは「暴走しているプロセス」ではありません。 使っているのはPID番号1つと、プロセス一覧の1行だけです。数個あっても実害はありません。
kill -9しても消えません。 すでに死んでいるからです。 死んでいるものは殺せません。 消し方は1つだけ——親を終わらせることです。親が死ねば、ゾンビは PID 1 に引き取られ、PID 1 が即座に受け取って消えます。
確かめます。親(上の例では 4187)を終わらせます。
何も出なければ、ゾンビは消えています。
問題になるのはゾンビが数千個ある場合で、それは親のプログラムにバグがあるという意味です。ゾンビを消すのではなく、親を直すのが対処です。
[スクリーンショット: 04_zombie.png] ps -eo pid,ppid,stat,rss,vsz,comm | grep -w Z で、Z かつ RSS が 0 の行が写るように撮ってください。
端末を閉じるとプロセスが死ぬ
これで何度も失敗しました。
時間のかかる処理を
&でバックグラウンドに送った。 SSH を切って、寝て、朝に見たら何も残っていなかった。
なぜ死ぬのか
端末(TTY)とプロセスは、セッションという単位で結び付いています。
- SSH で入ると、セッションが1つ作られる
- そのセッションには制御端末(キーボードと画面)が紐づく
- 起動したプロセスは、そのセッションに属する
- 端末が消えると、カーネルはセッションリーダー(シェル)に
SIGHUPを送る - bash は、それを自分のジョブ全部に転送する
HUP は Hang Up——電話を切る、の略です。 モデムで繋いでいた時代に、回線が切れたことを知らせるシグナルでした。名前だけがそのまま残っています。
& を付けても、セッションからは抜けていません。 だから SIGHUP が届きます。
ジョブの操作を先に整理する
& を扱うなら、この4つはセットです。
Ctrl+Z を押します。
[1]+ Stopped sleep 300
Ctrl+Z は SIGTSTP(20)を送って、プロセスを止めます。 STAT は T です。
| 操作 | 意味 |
|---|---|
Ctrl+Z | いま動いているものを一時停止(SIGTSTP) |
jobs | このシェルが抱えているジョブの一覧。%1 %2 の番号が付く |
bg %1 | 止めたものを、バックグラウンドで再開(SIGCONT) |
fg %1 | 手前に戻す。 キーボードが繋がる |
& | 最初からバックグラウンドで起動 |
jobs はシェルごとの帳簿です。 別のシェルからは見えません。ps はシステム全体、jobs はこのシェルだけ、という違いがあります。
fg で手前に戻したら、Ctrl+C で止められます。
死ぬところを実際に見る
ここは SSH を1回切ります。
この番号をメモに控えてください。 そして、exit は打たずに、ターミナル(SSH クライアント)の窓を × で閉じます。
exit で抜けると、この実験は再現しません。 bash は、exit で普通にログアウトしたときにはジョブへ SIGHUP を送らないからです(shopt の huponexit を有効にしたときだけ送ります。既定は無効)。ジョブに SIGHUP が転送されるのは、窓を閉じた・回線が切れたなどで、bash 自身が SIGHUP を受け取ったときです。
SSH で入り直します。
PID TTY TIME CMD
行がありません。消えています。
生き残らせる4つの方法(違いを表で)
| 方法 | HUPを防ぐ仕組み | 端末から切り離すか | 起動前/後 | 出力の行き先 |
|---|---|---|---|---|
cmd & | 防げない | しない | 前 | 端末のまま(端末が消えると出力先を失う) |
nohup cmd & | HUPを無視する設定にして起動 | しない | 前だけ | nohup.out に自動でリダイレクト |
disown -h %1 | シェルの帳簿に「転送しない」印を付ける | しない | 後からでも可 | 変わらない(自分でリダイレクトが必要) |
setsid cmd | 新しいセッションを作る=そもそも端末に属さない | する | 前だけ | 変わらない(自分でリダイレクトが必要) |
tmux / screen | 端末そのものをサーバー側に残す | する | 前 | 端末の中に残り、入り直して続きが見られる |
1つずつ確かめます。
① nohup
nohup: ignoring input and appending output to 'nohup.out'
nohup は「HUPを無視する」設定にしてからプログラムを起動します。 端末が消えても、シグナルが届いても無視されます。
出力についても親切です。 端末が消えると標準出力の行き先が無くなるので、カレントディレクトリの nohup.out に勝手に追記します。 場所を決めたいなら自分で書きます。
2>&1 の位置には意味があります。 パイプとリダイレクトの回でやったところです。
② disown
nohup は起動時にしか付けられません。 もう走らせてしまったものには disown を使います。
| 書き方 | 意味 |
|---|---|
disown -h %1 | 帳簿には残すが、HUPを転送しない印を付ける |
disown %1 | 帳簿から完全に外す。 jobs に出なくなる |
disown -a | 全ジョブ |
「& を付けたけど nohup を忘れた」を後から救えるのは、これだけです。 覚えておくと本当に助かります。
③ setsid
4512 1 ? Ss sleep
TTY が ? になり、PPID が 1 になっています。 端末に属していないので、端末が消えても関係ありません。
nohup と setsid の違いは、ここです。
nohup | setsid | |
|---|---|---|
| 端末との関係 | 属したまま。HUPを無視するだけ | そもそも属さない |
ps の TTY | 元の端末のまま(pts/0 など) | ? |
| 親 | シェル | PID 1 |
④ tmux(実務ではこれが正解)
中で何でも動かして、Ctrl+B を押してから d を押します。 切り離されます。SSH を切って入り直して、
画面ごと、そのまま戻ってきます。 nohup と違って、出力を後から見られ、対話的な操作も続けられます。
ただし、どの方法でも「サービスとして動かす」の代わりにはなりません。 VMを再起動したら全部消えます。 起動時に自動で上がってほしいなら、systemd のユニットにするのが答えです。
nohupとtmuxは「いま流している処理を守る」ためのもので、運用に載せるものではありません。
[スクリーンショット: 05_nohup_setsid.png] ps -eo pid,ppid,tty,stat,comm の結果で、nohup したものと setsid したものの TTY 列の違いが分かるように撮ってください。
「SSH を切ったら朝には何も残っていなかった」は、手元の VM より、離れた場所にあるサーバーで起きやすい事故です。さくらのVPS
のような VPS を 1 台借りて SSH で入り、この節の手順で処理を残してから切断し、翌日まで生きているかを確かめると、自分の手で確かめられます。2026-11 時点で、クレジットカード払いなら全プランを 2 週間無料で試せますが、解約しないと自動で本登録になり、最低利用期間は 3 ヶ月です。
優先度 — nice と renice
CPUが足りないとき、全プロセスが平等に奪い合うわけではありません。 遠慮の度合いを指定できます。
| 値 | 意味 |
|---|---|
| -20 | いちばん強気。root でないと指定できない |
| 0 | 既定 |
| 19 | いちばん遠慮する |
名前が紛らわしいので注意します。 nice 値が大きいほど「お行儀がよい」=優先度は低いです。数字が大きいほど強い、ではありません。
実際に取り分が変わるのを見る
CPUを100%使うので、他の作業がない状態でやってください。
VMのCPU数が出ます。 2以上ある場合、2つの処理は別々のCPUで走ってしまい、取り合いになりません。 そこで、同じ1個のCPUに押し込みます。
| 部分 | 意味 |
|---|---|
taskset -c 0 | 0番のCPUだけで動かす(これがないと差が出ない) |
nice -n 19 | nice値19で起動する(遠慮させる) |
while :; do :; done | 何もしない無限ループ。CPUを全力で回す |
top で見ます。
PID USER PR NI VIRT RES %CPU COMMAND
4701 ubuntu 20 0 8340 3200 94.7 bash
4703 ubuntu 39 19 8340 3208 5.0 bash
同じプログラムなのに、CPUの取り分が 95% 対 5% になりました。
| 列 | 意味 |
|---|---|
NI | 指定した nice 値。0 と 19 |
PR | カーネル内部の優先度。NI + 20 で表示される |
q で top を抜けます。
走っているものを後から変える
4701 (process ID) old priority 0, new priority 10
top で見ると、取り分が動いているのが分かります。
一般ユーザーは nice 値を下げられません(=優先度を上げられません)。
renice: failed to set priority for 4703 (process ID): Permission denied一度 19 に上げたものを 0 に戻すのも
sudoが要ります。 「遠慮するのは自由、割り込むのは許可制」という考え方です。
負荷ループを止めます。
niceはCPUの話だけです。 ディスクI/Oの優先度はioniceという別のコマンドで、メモリには効きません。「重いから nice を付ければ軽くなる」は誤解で、CPUの奪い合いが起きているときにだけ意味があります。
[スクリーンショット: 06_nice_top.png] top で、NI が 0 と 19 の2つのプロセスの %CPU に大きな差が付いているところを撮ってください。
上限 — ulimit と Too many open files
プロセスには、いくつもの上限がかかっています。
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 7615
max locked memory (kbytes, -l) 481292
open files (-n) 1024
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 7615
virtual memory (kbytes, -v) unlimited
見るべきは2行です。
| 行 | 意味 |
|---|---|
open files (-n) | 同時に開けるファイル数。既定は 1024 |
max user processes (-u) | 作れるプロセス数 |
上限は2種類あります。
| 意味 | |
|---|---|
ソフト上限(-S) | 実際に効いている値。 自分でハード上限まで上げられる |
ハード上限(-H) | 天井。 一度下げると、root でないと戻せない |
Too many open files をわざと出す
「開いているファイル」はディスク上のファイルだけではありません。 ネットワーク接続(ソケット)も、パイプも、全部1つずつ数えます。 Webサーバーが1000接続を受けたら、1000個のファイルを開いているのと同じです。
使い捨てのシェルの中で上限を下げて、実際に出します。
この bash の上限: 16
fd 16 で開けなくなりました
いま開いている数: 16
16個目で止まりました。 実際のプログラムなら、ここで Too many open files というエラーが出ます。
bash -c '...'で囲っているのは、ulimitを下げたシェルを使い捨てにするためです。 いまの端末でulimit -n 16を打つと、その端末がずっと窮屈になります。 ソフト上限なので戻せますが、ハード上限を下げてしまうと、入り直すまで戻りません。
いま何個開いているか数える
lrwx------ 1 ubuntu ubuntu 64 Sep 18 10:40 0 -> /dev/pts/0
lrwx------ 1 ubuntu ubuntu 64 Sep 18 10:40 1 -> /dev/pts/0
lrwx------ 1 ubuntu ubuntu 64 Sep 18 10:40 2 -> /dev/pts/0
lr-x------ 1 ubuntu ubuntu 64 Sep 18 10:40 255 -> /dev/pts/0
0 1 2 が全部 /dev/pts/0 を指しています。 標準入力・標準出力・標準エラーが、同じ端末に繋がっているということが、目で見えます。リダイレクトが何をしているのかが、ここで腑に落ちました。
他のプロセスも数えられます。
シェルの ulimit はサービスに効かない
ここでハマる人が非常に多いところです。
ulimit -n 65536にした。それでもサービスがToo many open filesで落ちる。
当たり前です。 ulimit は「このシェルとその子」にしか効きません。 systemd から起動されたサービスは、あなたのシェルの子ではありません。
サービスの上限は、ユニットファイルで指定します。
LimitNOFILE=524288
変えるなら 次回のユニットファイルの回で扱う drop-in で LimitNOFILE= を書きます。 ulimit を書いたシェルスクリプトを ExecStart= に挟む、ではありません。
そのプロセスに実際に効いている上限は、/proc から読めます。
「設定したはず」ではなく「実際にこうなっている」を見られるので、こちらが確実です。
/proc を覗く
/proc は、ディスク上に存在しないディレクトリです。 カーネルの中の情報が、その場でファイルの形に組み立てられて見えているだけです。ls -l するとサイズが 0 なのに、cat すると中身が出ます。
プロセス1つにつき、/proc/<pid>/ というディレクトリがあります。
よく使うものだけ表にします。
| ファイル | 中身 |
|---|---|
cmdline | 起動時のコマンドラインそのもの(引数を含む) |
environ | そのプロセスの環境変数 |
fd/ | 開いているファイルへのシンボリックリンク |
status | 人間が読める形の要約(親、状態、メモリ、スレッド数) |
exe | 実行ファイル本体へのリンク |
cwd | カレントディレクトリへのリンク |
limits | 実際に効いている上限 |
cmdline — NUL区切りで読めない
sleep600
引数の区切りが消えて、くっついて見えます。 区切りが NUL 文字だからです。改行に変えて読みます。
sleep
600
ps の表示は途中で切られることがありますが、cmdline は完全な引数を持っています。 「どのオプションで起動されたのか」を確かめたいときは、こちらが確実です。
status — 要約が全部ある
Name: sleep
State: S (sleeping)
Pid: 4890
PPid: 1290
Threads: 1
VmSize: 8296 kB
VmRSS: 1664 kB
VmSize が ps の VSZ、VmRSS が RSS です。 さっきの表と同じ数字が、ここから来ていることが確認できます。
fd — 何を開いているか
プログラムが「どのファイルを掴んでいるか」が全部見えます。 ログファイル、ソケット、パイプ、全部です。
environ — 環境変数は秘密の置き場所ではない
ここは注意喚起です。
SHELL=/bin/bash
PWD=/home/ubuntu
LANG=C.UTF-8
HOME=/home/ubuntu
USER=ubuntu
環境変数がそのまま読めます。
もし、こうやってプログラムを起動していたら、どうなるか。
DB_PASSWORD=hunter2
平文で見えます。
| 誰が読めるか | |
|---|---|
| 同じユーザー | 読める |
| root | 全プロセス分が読める |
| 別の一般ユーザー | 既定では読めない |
「引数に書くよりは環境変数のほうが安全」という説明をよく見ますが、程度の問題でしかありません。
ps auxに出ないだけで、/proc/<pid>/environからは読めます。ps eww PIDでも読めます。 同じサーバーにログインできる人と root には、隠せていません。本当に隠したいなら、環境変数ではなく、権限を絞ったファイルから読み込ませます。 ファイル側を
chmod 600にして、systemd ならEnvironmentFile=で読ませます。 なお、ps auxのCOMMAND列にパスワードを引数として書くのは、さらに悪いです。同じサーバーの全ユーザーに見えます。
[スクリーンショット: 07_proc_environ.png] tr '\0' '\n' < /proc/$!/environ | grep DB_ で、パスワードが平文で見えているところを撮ってください。
プロセスが何をしているか調べる
「動いているのに、何かおかしい」ときに使う道具を3つ、順番に見ます。
lsof — 何を開いているか
lsof は「LiSt Open Files」です。 Ubuntu Server には既定で入っていないことがあるので、先に入れます。/proc/<pid>/fd を人間に読める形にまとめてくれる道具、と考えると分かりやすいです。
| 使い方 | 何が分かるか |
|---|---|
lsof -p PID | そのプロセスが開いているものすべて |
lsof -i :ポート番号 | そのポートを使っているプロセス |
lsof ファイル名 | そのファイルを掴んでいるプロセス(アンマウントできない原因を探すとき) |
ss — ネットワークの待ち受けを見る
本線の回で使ったコマンドです。 ここではプロセス側から見るという視点を足します。-p を付けると users:(("sshd",pid=701,fd=3)) のように、PIDとfd番号まで出ます。/proc/701/fd/3 が、まさにそのソケットです。ここで ps・lsof・ss が1本に繋がります。
netstat は現代のUbuntuに入っていません。 ss を使います。
strace — システムコールを全部見る
strace は、プロセスがカーネルに出す要求(システムコール)を1つ残らず表示します。 「設定ファイルを読んでいるつもりなのに、実は別の場所を見ていた」を一発で突き止められます。
openat(AT_FDCWD, "/lib/x86_64-linux-gnu/libselinux.so.1", O_RDONLY|O_CLOEXEC) = 3
openat(AT_FDCWD, "/tmp", O_RDONLY|O_NONBLOCK|O_DIRECTORY|O_CLOEXEC) = 3
| オプション | 意味 |
|---|---|
-f | 子プロセスも追う |
-e trace=openat | ファイルを開く動作だけに絞る(絞らないと読めない量が出る) |
-o ファイル | 結果をファイルに書く |
-p PID | すでに動いているプロセスに後から取り付く |
探すのは ENOENT(そんなファイルはない)です。 「設定が効かない」の原因が、期待と違うパスを見ていたからだと分かることが多くあります。
straceを本番のサーバーで使わないでください。 システムコール1回ごとにプロセスが止まります。 対象が数十倍から百倍近く遅くなります。 「調べていたら、調べていた対象が応答しなくなった」が普通に起きます。 本番で見るなら、取り付ける時間を数秒に区切るか、より軽い道具を使います。練習は必ずVMで、自分で起動したプロセスに対してやってください。
strace -pがOperation not permittedで失敗することがあります。 Ubuntu は既定で、自分の子プロセス以外への取り付けを禁止しています。cat /proc/sys/kernel/yama/ptrace_scope
1が返ってきたら、その制限が効いています。sudo strace -p PIDなら通ります。 この設定を0に変えないでください。 他人のプロセスのメモリを覗ける状態になります。
つまずいたところ
trap を書いたのに反応しなくて、1時間「trap は壊れている」と思っていました。 while true; do sleep 300; done と書いて kill -TERM を送っても、うんともすんとも言いません。 5分後に突然反応します。bash はフォアグラウンドのコマンドが終わるまで trap を実行しない、を知りませんでした。sleep 1 & wait $! に書き換えた瞬間に、正しく動きました。
kill したのに死なないので -9 を連打していました。 実際には Ctrl+Z で止めたまま忘れていて、STAT が T だっただけでした。止まっているプロセスにシグナルを送っても、CONT するまで処理されません。 ps の STAT を見る習慣がありませんでした。
ゾンビを kill -9 で消そうとして、30分無駄にしました。 「消えないプロセス」だと思ったからです。すでに死んでいるものは殺せません。 親を終わらせるしかない、と分かるまで、ずっと間違った方向を掘っていました。
& と nohup の違いが分からないまま、両方付けていました。 「nohup cmd & と書くものだ」と暗記していて、& は「バックグラウンドに送る」、nohup は「HUPを無視する」という、まったく別の仕事だと理解していませんでした。片方だけでは足りない理由も、SIGHUP を実際に送るまで分かりませんでした。
nice -n 19 を付けても差が出ませんでした。 VMのCPUが2個あって、2つの負荷が別々のCPUで動いていたからです。取り合いが起きていないので、優先度が意味を持ちません。taskset -c 0 で同じCPUに押し込んで、初めて差が見えました。 「効かない」ではなく「効く場面ではなかった」でした。
ulimit -n を上げたのに、サービスが Too many open files のままでした。 シェルで上げた上限が、systemd から起動されたプロセスには何の関係もないと気づくまで、ログイン時の設定ファイルを延々と触っていました。答えは LimitNOFILE= の1行でした。
VSZ が搭載メモリより大きいのを見て、メモリリークだと思い込みました。 数時間かけて存在しないバグを探しました。VSZ は確保しただけの住所の広さです。見るべきは RSS でした。
環境変数にAPIキーを入れて「引数より安全」と思っていました。 /proc/<pid>/environ から平文で読めます。同じサーバーに入れる人には、隠せていませんでした。
後片づけ
この記事で作ったものを、全部消します。
① 走らせたままのものを止める
pkill の前に、必ず何が引っかかるか見てください。
確認してから止めます。
setsid で起動したものは jobs に出ません。 親が PID 1 になっているので、PIDを調べて止めます。
出てきたPIDを kill します。
② ゾンビと負荷ループが残っていないか確認する
Z の行が出ず、top の上位に暴走している bash が居なければ大丈夫です。
③ ファイルを消す
④ nice 値と ulimit は元に戻す必要がありません
nice はプロセスごとの設定なので、プロセスを止めた時点で消えています。 ulimit も、下げたのは bash -c の使い捨てシェルの中だけです。いまの端末には何も残っていません。
⑤ 入れたパッケージ
htop lsof psmisc tmux は残して構いません。 どれもこの先ずっと使います。strace だけは、消しておいても構いません。
⑥ 全部片づいたか確認する
何も出なければ片づいています。
まとめ
- シグナルは「殺す」命令ではなく「合図」。
killはシグナルを送るコマンドであって、既定はSIGTERM(15)=片づけて終わってください SIGKILL(9) とSIGSTOP(19) はtrapできない。 プロセスに届かない。だから片づけが実行されず、ロックファイルも一時ファイルも残る- 止め方の型は3段:
kill→ 数秒待つ →kill -0で生存確認 → まだ生きていれば-9。systemd も同じことをしている - シグナルは名前で送る。 番号はCPUの種類で変わる。同じなのは
9と15くらい - 止まっている(
STATがT)プロセスは、CONTするまで死なない。 「killが効かない」の正体はこれが多い STATのDはkill -9でも消えない。 I/O待ちで誰も割り込めないだけVSZは確保しただけの住所の広さ。実際に使っているのはRSS。 搭載メモリを超えていて正常RSSを全部足すと搭載量を超える。 共有ライブラリを全員が二重に数えているため。正確に見るなら PSSfreeはusedでもfreeでもなくavailableを見る。 空きが少ないのは正常で、キャッシュに使い切るのが LinuxTIMEは経過時間ではなく、CPUを使った合計時間。 経過時間はETIME- bash はフォアグラウンドのコマンドが終わるまで trap を実行しない。
sleep 300ではなくsleep 1 & wait $! - プロセスは
fork(自分のコピー)とexec(中身の差し替え)でできる。execはPIDを変えないので、シェルで打つと戻れない - 孤児は問題ない。 親が死ぬと PID 1 が引き取る
- ゾンビはメモリもCPUも使っていない。 すでに死んでいるので
kill -9では消えない。 消し方は親を終わらせることだけ。大量にあるなら親のバグ - 端末を閉じるとプロセスが死ぬのは
SIGHUP。&だけでは防げない nohupは「HUPを無視して起動」、disownは「後からシェルの帳簿を直す」、setsidは「そもそも端末に属さない」。 防ぎ方がそれぞれ違うnohupを付け忘れて起動してしまったらdisown -h %1。 これだけが後から救える- 実務では
tmux。 出力を後から見られ、対話も続けられる。ただし再起動で消えるので、運用に載せるなら systemd のユニットにする nice値は大きいほど遠慮する(-20 〜 19)。 下げる(優先度を上げる)には root が要る- CPUが余っていると nice は効いて見えない。 取り合いが起きて初めて意味を持つ。試すなら
taskset -c 0で同じCPUに寄せる Too many open filesはディスクの話ではない。ulimit -n(既定1024)の上限。ソケットもパイプも1個ずつ数える- シェルの
ulimitはサービスに効かない。 systemd 側はLimitNOFILE=。効いている値は/proc/<pid>/limits /proc/<pid>/から、コマンドライン・環境変数・開いているファイル・実際の上限が全部読める。cmdlineとenvironは NUL区切りなのでtrで改行に変えるenvironは同じユーザーと root から平文で読める。 環境変数は秘密の隠し場所ではない。 権限を絞ったファイルから読ませるlsof -p/lsof -i/ss -tlnpで、プロセスとファイル・ポートの対応が見えるstraceは対象を数十倍遅くする。本番では使わない。 探すのはENOENT
参考リンク
- roadmap.sh — Linux
- Ubuntu manpages — signal(7) シグナルの一覧と既定の動作
- Ubuntu manpages — kill(1)
- Ubuntu manpages — ps(1) 出力できる列の一覧
- Ubuntu manpages — proc(5) /proc の中身の説明
- Ubuntu manpages — nohup(1)
- Ubuntu manpages — setsid(1)
- Ubuntu manpages — nice(1)
- Ubuntu manpages — renice(1)
- Ubuntu manpages — lsof(8)
- Ubuntu manpages — strace(1)
- GNU Bash マニュアル — ジョブ制御と trap
次に読む
この記事は 【深掘り】Linux の 6 / 18 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。

コメント