Linuxの起動プロセス GRUB・initramfs — 止まったら見る場所は5つ

Linuxの起動プロセス。電源ボタンから立ち上がるサーバーと段階を示すカード、ログの書類。

電源ボタンを押してから login: が出るまで、体感では5秒くらいです。その5秒のあいだ、画面はほとんど真っ黒で、たまに文字が一瞬流れて消えます。

前回: シェルスクリプトのクォート — 空白入りのファイル名でforが割れる

これは深掘りです。本線の順路ではありません。 本線のプロセスとサービスの回で systemd に初めて触れ、「enable しておけば再起動しても上がってくる」ところまでは分かった人が、「では、その systemd 自体は誰が起動しているのか」で止まったときに読む記事です。飛ばしても本線は進みます。

この記事のコマンドは、すべて Ubuntu Server の中で打ちます。 Windows の PowerShell ではありません。 プロンプトが ユーザー名@ホスト名:~$ になっていれば、Linux の中にいます。

始める前に、必ず VM のスナップショットを取ってください。 この記事はわざと起動しない状態を作って、そこから戻す手順を含みます。起動まわりは、壊すと SSH でログインすることさえできなくなります。 ファイルを1つ間違えただけで、直しに行く手段が「VMware の画面を直接触る」しか残りません。 スナップショットの取り方はVMware に Ubuntu Server を入れた回に書いています。取ったことを確認してから先に進んでください。

ここまでの記事で、自分は「起動したあとの Linux」しか触っていませんでした。サービスが上がらなければ systemctl status を見る、ネットワークが繋がらなければ ip a を見る。どれも「ログインできている」ことが前提の道具です。

では、ログイン画面まで来なかったときは、何を見るのか。 そこが完全に空白でした。

実際、VM を1台つぶしています。ディスクを増やそうとして設定ファイルを1行足し、再起動したら、見たことのない黒い画面で止まりました。 何が悪いのかも、どこに戻ればいいのかも分からず、結局そのVMは捨てました。捨てる必要は無かったと、いまなら分かります。

起動は、5つの段階が順番にバトンを渡していくだけの仕組みです。そして止まる場所によって、画面に出るものが違います。

#段階やっていることここで止まったときの症状
①ファームウェア(BIOS / UEFI)ハードを点検し、起動用のディスクを探すメーカーのロゴのまま進まない / No bootable device / 黒画面で何も出ない
②ブートローダ(GRUB)カーネルを選び、メモリに読み込んで飛ぶgrub> や grub rescue> というプロンプトだけが出る
③カーネルCPU・メモリ・デバイスを初期化する文字が高速に流れて途中で止まる / Kernel panic
④initramfs本物のディスクを読むための準備をして、根っこを差し替える(initramfs) というプロンプトが出る / Gave up waiting for root device
⑤systemdサービスを順に起動し、ログイン画面まで持っていくログイン画面は出るが遅い / Emergency Mode / Failed to start ... が赤字で出る

この表が、この記事のすべてです。 症状を見た瞬間に「いま何番で転んでいるか」が分かれば、調べる範囲が5分の1になります。

そして①〜⑤のうち、③④⑤は、正常に起動できているいまのうちに中身を見られます。 それをやります。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • 起動は5段階のバトンリレーであり、画面に出るものを見れば、どこで転んだかが一意に決まること
  • quiet splash は「起動が速くなる設定」ではなく、出ているメッセージを隠しているだけだということ
  • GRUB の設定ファイル(grub.cfg)は自動生成物で、手で編集してはいけないこと。その回だけの変更は e キーで安全にできること
  • カーネルは、本物のディスクを最初は読めないこと。そのためのドライバを積んだ小さな仮のシステムが initramfs であり、鶏と卵を解いているのがこれだということ
  • systemd-analyze blame の数字は「そのサービス単体の時間」で、足しても起動時間にならないこと。多くは並列に動いていること
  • graphical.target と multi-user.target の違いと、サーバーに GUI が要らない理由
  • 起動しなくなっても、リカバリーモードと mount -o remount,rw / で自力で戻せること。スナップショットは最後の手段であって、最初の手段ではないこと

この記事でやること

  1. 自分の VM が BIOS で起動しているのか UEFI で起動しているのかを1行で確かめる
  2. 起動中に GRUB のメニューを実際に出し、e キーで その回だけ 起動オプションを変えて、quiet splash を外した全メッセージを見る
  3. dmesg -T でカーネルが何を認識したかを読み、lsinitramfs で initramfs の中身を開く
  4. systemd-analyze / blame / critical-chain で起動の遅さを測り、「長い」と「待たせている」を区別する
  5. systemctl get-default でターゲットを確認し、その回だけ別のターゲットで起動する
  6. fstab を1行間違えて、わざと起動しない状態を作り、リカバリーモードから自力で戻す
  7. 変更を全部戻して再起動し、正常に上がることを確認する

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
ファームウェアOSではなく、マシン側に焼き込まれているプログラム。 電源を入れて最初に動くのがこれ。BIOS は古い方式、UEFI は現在の方式
ブートローダカーネルを選んで、メモリに読み込んで、そこへ制御を渡すだけのプログラム。Ubuntu では GRUB
GRUBGRand Unified Bootloader。起動時に一瞬だけ出るメニューの正体。複数のカーネルや別OSを選べる
カーネルOS の中核。メモリ・CPU・デバイス・ファイルシステムを直接扱う唯一の部分。 /boot/vmlinuz-... という1個のファイル
initramfsメモリ上に展開される、ごく小さな仮のLinux。 本物のディスクを読むためのドライバを積んでいる。/boot/initrd.img-...
root ファイルシステム/ として使う本物のディスク領域。 これを読めるようにするのが起動の山場
カーネルパラメータ起動時にカーネルへ渡す文字列。quiet splash ro root= など。GRUB がここに書き込んで渡す
quiet splashquiet = カーネルのメッセージを画面に出さない、splash = ロゴ画面を出す。速くする設定ではない
ターゲット(target)systemd における「どこまで起動するか」のゴール地点。multi-user.target(文字だけ)/ graphical.target(GUIあり)
dmesgカーネルが出したメッセージを後から読むコマンド。起動時に流れて消えたものが、ここに残っている
リカバリーモードGRUB のメニューから選べる、最小限のサービスだけで上げるモード。修理用
fstab起動時にどのディスクをどこへ繋ぐかを書いた設定ファイル。書き間違えると起動が止まる

① いまのマシンは BIOS か UEFI か

最初の登場人物がどちらなのかで、この先の話が変わります。 判定は1行です。

bash
$ [ -d /sys/firmware/efi ] && echo UEFI || echo BIOS
UEFI

/sys/firmware/efi というディレクトリは、UEFI で起動したときにだけカーネルが作ります。 ファームウェアの種類を、カーネルが「あるかないか」で教えてくれている、というだけの仕組みです。

この書き方は本線のディレクトリの回で触れた /sys の使い方そのものです。 /sys の中身はディスク上のファイルではなく、カーネルがその場で作って見せている情報です。だから「ファイルがあるかどうか」を聞くだけで、ハードウェアの状態が分かります。

VMware の場合、これは VM の設定で決まります。 作ったときの設定によって BIOS のことも UEFI のこともあるので、手元のVMがどちらかは、必ずこのコマンドで確かめてください。

BIOS(レガシー)UEFI
GRUB を置く場所ディスクの先頭512バイト(MBR)EFI システムパーティション(/boot/efi にあるファイル)
起動メニューの出し方Shift を押しっぱなしEsc を連打
起動できるディスクの上限2TB まで2TB 超えも可
別OSの共存1つのMBRを取り合うファイルとして並べて置ける

「ディスクの先頭512バイト」に見覚えがあるはずです。 番外編のブートセクタを自作した回で書いたのが、まさにその512バイトです。 あちらは「自分でその512バイトを書く」話でした。この記事は逆で、「すでに完成しているLinuxが、そこから先で何をやっているか」を読む話です。番外編を読んでいなくても、この記事は読めます。

UEFI なら、置き場所も見えます。

bash
$ ls /boot/efi/EFI/
BOOT  ubuntu

ubuntu の中に GRUB の本体が入っています。 BIOS のときはここが存在せず、ディスクの先頭に直接書き込まれているため、ファイルとしては見えません。

[スクリーンショット: 01_efi確認.png] [ -d /sys/firmware/efi ] && echo UEFI || echo BIOS の実行結果を撮ってください。BIOS と出ても構いません。 どちらなのかを自分で確かめた、という事実が要点です。

② カーネルと initramfs は、ただのファイル

②のブートローダに入る前に、「ブートローダが読み込むもの」を先に見ておきます。 そのほうが、GRUB のメニューが読めるようになります。

bash
$ ls -lh /boot/
-rw-r--r-- 1 root root 5.6M  vmlinuz-6.8.0-45-generic
-rw-r--r-- 1 root root  73M  initrd.img-6.8.0-45-generic
-rw-r--r-- 1 root root 5.6M  vmlinuz-6.8.0-41-generic
-rw-r--r-- 1 root root  73M  initrd.img-6.8.0-41-generic
drwxr-xr-x 5 root root 4.0K  grub

ここに全部あります。

ファイル正体
vmlinuz-バージョンカーネル本体。 5〜15MB程度の、圧縮された1個の実行ファイル
initrd.img-バージョンinitramfs。 圧縮された小さなファイルシステム。カーネルより10倍以上大きいことが多い
grub/GRUB の設定と部品

カーネルが2つ、initramfs も2つ並んでいるのが普通です。 これは、更新のときに古いカーネルを消さずに残しているからです。

新しいカーネルで起動しなくなったときに、GRUB のメニューから古いカーネルを選べば起動できるようにしてあります。これが、GRUB にメニューがある一番の理由です。 本線のパッケージ管理の回で apt autoremove の話をしましたが、/boot が満杯になって更新が失敗するというよくある事故は、この古いカーネルが溜まったものです。

いま動いているのがどれかを見ます。

bash
$ uname -r
6.8.0-45-generic

いま自分に渡されたカーネルパラメータも、そのまま読めます。

bash
$ cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.8.0-45-generic root=UUID=8f3a... ro quiet splash

これが、GRUB がカーネルに渡した文字列そのものです。

部分意味
BOOT_IMAGE=どのカーネルファイルで起動したか
root=UUID=.../ として使うディスクはどれか。 名前ではなく UUID(ディスクに焼かれた固有の番号) で指定している
ro最初は読み取り専用でマウントする(検査を安全にやるため。あとで書き込み可に切り替わる)
quietカーネルのメッセージを画面に出さない
splashロゴ画面を出す

root= が名前(/dev/sda1)ではなく UUID なのには理由があります。 ディスクを1本足しただけで /dev/sda と /dev/sdb が入れ替わることがあるからです。名前は順番次第で変わりますが、UUID は変わりません。 これはディスクの深掘り回で blkid を見たときと同じ話で、⑥ で fstab を壊すときにもう一度出てきます。

GRUB のメニューを出して、その回だけ変える

ここが1つ目の山場です。 普段は一瞬で通り過ぎるメニューを、実際に止めます。

まず、絶対にやらないこと

GRUB には設定ファイルが2つあり、片方は触ってはいけません。

ファイル触ってよいか
/boot/grub/grub.cfg絶対に手で編集しない。 これは自動生成物で、カーネル更新のたびに丸ごと作り直される。書いた内容は黙って消える
/etc/default/grub恒久的に変えるときの入口。編集後に sudo update-grub を打って初めて反映される

この記事では、どちらのファイルも編集しません。 恒久的な変更は「書き間違えると次から永久に起動しない」という性質を持っています。まず、その回かぎりの変更で目的が達成できないかを考えてください。 それが e キーです。 なお、/etc/default/grub を直したときに sudo update-grub(中身は grub-mkconfig)を打つのは、その内容から grub.cfg を作り直すためです。打ち忘れると、何も変わらないまま「効かない」と悩むことになります。

メニューを出す

Ubuntu は、OSが1つしか入っていないとメニューを表示せずに素通りします。 出すには、起動中にキーを押します。

  1. VMware の VM を、いったんシャットダウンする
bash
$ sudo poweroff
  1. VMware の再生ボタンを押したら、すぐ VM の画面の中をクリックする(クリックしていないと、キー入力がWindows側に取られます。ここが最初の関門です)
  2. キーを押しっぱなし、または連打する
ファームウェア押すキー
BIOSShift を押しっぱなし
UEFIEsc を連打(押しっぱなしだとファームウェア設定画面に入ってしまうことがあります)

タイミングは「VMware のロゴが消えた直後」です。 早すぎても遅すぎても出ません。5回くらい失敗するのが普通です。 失敗したら、そのまま起動させて、もう一度やり直してください。何も壊れません。

うまくいくと、こういう画面になります。

 *Ubuntu
  Advanced options for Ubuntu
  UEFI Firmware Settings

カーソルキーで選び、Enter で起動します。 Advanced options for Ubuntu を開くと、さっき /boot で見た古いカーネルと、リカバリーモードが並んでいます。

 *Ubuntu, with Linux 6.8.0-45-generic
  Ubuntu, with Linux 6.8.0-45-generic (recovery mode)
  Ubuntu, with Linux 6.8.0-41-generic
  Ubuntu, with Linux 6.8.0-41-generic (recovery mode)

ls -lh /boot/ で見たファイルが、そのままメニューになっています。 ここが繋がると、GRUB が何をしているかが一気に具体的になります。

[スクリーンショット: 02_grubメニュー.png] GRUB のメニューが表示された画面を撮ってください。Advanced options for Ubuntu を開いて、カーネルが複数並んでいる状態だとなお良いです。

e を押して、この回だけ変える

メニューで Ubuntu を選んだ状態で e を押します。 起動はせず、編集画面になります。

setparams 'Ubuntu'

        recordfail
        load_video
        gfxmode $linux_gfx_mode
        insmod gzio
        insmod part_gpt
        insmod ext2
        search --no-floppy --fs-uuid --set=root 8f3a...
        linux   /vmlinuz-6.8.0-45-generic root=UUID=8f3a... ro  quiet splash $vt_handoff
        initrd  /initrd.img-6.8.0-45-generic

linux で始まる行と initrd で始まる行が本体です。 それ以外は準備です。

行やっていること
search --fs-uuid --set=root ...どのディスクから読むかを UUID で決める
linux /vmlinuz-... root=... ro quiet splashカーネルを読み込み、root= 以降をパラメータとして渡す
initrd /initrd.img-...initramfs を一緒に読み込む

この編集は保存されません。 e の編集は、この1回の起動にだけ効きます。 電源を入れ直せば、元の設定で起動します。 だから安全です。 逆に言えば、ここで何か良い設定を見つけても、次回は消えています。

quiet splash を消す

linux で始まる行の末尾までカーソルを動かし、quiet splash の8+6文字を消します。

  • カーソル移動は矢印キー。 行末へは End
  • 削除は Backspace
  • $vt_handoff は残して構いません(ロゴ表示の引き継ぎ用です。splash が無ければ何もしません)

こうなればOKです。

        linux   /vmlinuz-6.8.0-45-generic root=UUID=8f3a... ro  $vt_handoff

Ctrl + X(または F10)で、この内容で起動します。

隠されていたものが全部出る

画面が黒いまま静かに起動する代わりに、文字が滝のように流れます。

[    0.000000] Linux version 6.8.0-45-generic (buildd@lcy02-amd64-023) ...
[    0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.8.0-45-generic root=UUID=8f3a... ro
[    0.004000] BIOS-provided physical RAM map:
[    0.120000] Memory: 3985612K/4193268K available
[    1.884213] scsi 0:0:0:0: Direct-Access     VMware   Virtual disk
[    2.104551] EXT4-fs (sda2): mounted filesystem with ordered data mode
[  OK  ] Started Journal Service.
[  OK  ] Reached target Network.
[  OK  ] Started OpenBSD Secure Shell server.

これが、いつも quiet splash に隠されていたものです。

行の意味は、大きく2種類しかありません。

形誰の発言か
[ 数字 ] で始まる行カーネル(③の段階)。数字は起動してからの経過秒数
[ OK ] / [FAILED] で始まる行systemd(⑤の段階)。1行1サービス

ここが、この記事で一番大事な発見でした。 quiet を外して起動しても、起動は1秒も遅くなりません。 メッセージを出すかどうかだけの違いです。「速くするために隠している」のではなく、「見せると素人が怖がるから隠している」というのが実態です。 起動しない、または途中で止まるマシンを見るときは、まずこれを外します。 黒い画面のままでは、①〜⑤のどこで止まったのかすら分かりません。外した瞬間、最後に出た行がそのまま犯人の名前になります。

[スクリーンショット: 03_起動メッセージ.png] quiet splash を外して起動したときの、文字が流れている画面を撮ってください。[ OK ] の行と [ 数字 ] の行が両方写っていると分かりやすいです。

③ カーネルは何をしていたのか — dmesg を読む

流れて消えたメッセージは、ログイン後に全部読み返せます。

bash
$ sudo dmesg | head -n 20

ただし、この形は読みにくいです。

[    1.884213] scsi 0:0:0:0: Direct-Access     VMware   Virtual disk

先頭の数字は「起動してから何秒後か」であって、時刻ではありません。 時刻で見たいときは -T を付けます。

bash
$ sudo dmesg -T | tail -n 20
[Sat Sep 20 09:14:22 2026] EXT4-fs (sda2): mounted filesystem
[Sat Sep 20 09:14:25 2026] systemd[1]: Started Journal Service.
オプション意味
-T経過秒数を、人間が読める日時に直す
-Hページャ付き・色付きで見やすく出す
-w新しい行が出るのを待ち続ける(tail -f と同じ動き)
-l err,warnエラーと警告だけに絞る

「どのデバイスが認識されたか」を追うのが、実務での主な使い道です。

bash
$ sudo dmesg -T | grep -i -E 'sda|nvme|eth|ens|link'
[Sat Sep 20 09:14:20 2026] sd 0:0:0:0: [sda] 41943040 512-byte logical blocks: (21.5 GB/20.0 GiB)
[Sat Sep 20 09:14:20 2026] sda: sda1 sda2 sda3
[Sat Sep 20 09:14:21 2026] e1000 0000:02:01.0 ens33: renamed from eth0
[Sat Sep 20 09:14:26 2026] e1000: ens33 NIC Link is Up 1000 Mbps Full Duplex

この4行だけで、かなりのことが分かります。

  • ディスクが 21.5GB で見えていて、パーティションが3つある
  • ネットワークカードの名前が eth0 から ens33 に変えられた
  • リンクが 1000Mbps で上がった

本線のネットワークの回で ens33 という見慣れない名前が出てきました。 その正体がこの行です。カーネルが起動中に、挿さっている場所に基づいた名前へ付け替えています。 昔の eth0 eth1 は認識された順で付いていたため、NICを1枚足すと番号が入れ替わり、ファイアウォールの設定が別のNICに効くという事故が起きました。名前を変えたのは、それを止めるためです。

エラーだけ見たいときはこれです。

bash
$ sudo dmesg -l err,warn | head

何も出なければ健全です。 VM では「ハードウェアの機能が使えない」という警告がいくつか出ることがありますが、多くは無害です。

[スクリーンショット: 04_dmesg.png] sudo dmesg -T | grep -i -E 'sda|ens|link' の結果を撮ってください。ディスクとネットワークが認識されている行が写っていれば十分です。

④ initramfs — 鶏と卵をどう解いているか

ここが、起動の仕組みで一番おもしろい部分です。

問題はこうです。

カーネルは / を読み込まなければ何もできない。 しかし / を読むには、そのディスクを扱うドライバが要る。 そのドライバは、/ の中に入っている。

読むためのドライバが、読めない場所にある。 これが鶏と卵です。

解き方は単純です。

必要なドライバだけを詰めた、小さなファイルシステムを1個のファイルにして、カーネルと一緒にメモリへ読み込む。

それが initramfs です。 initrd.img-... が73MBもあったのは、「あらゆる環境で起動できるように、ドライバを片っ端から入れてある」からです。

流れはこうなります。

順起きていること
1GRUB が カーネルと initramfs の両方をメモリへ読み込む
2カーネルが起動し、initramfs を仮の / として使う(まだ本物のディスクは見えていない)
3initramfs の中のスクリプトが、必要なドライバを読み込む
4root=UUID=... のディスクが見えるようになる
5根っこを本物のディスクへ差し替える(switch_root)。initramfs はメモリから捨てられる
6本物の / にある /sbin/init(= systemd)を起動する

(initramfs) というプロンプトが出て止まるのは、この4番で失敗したときです。 つまり 「ドライバは読めたが、指定されたディスクが見つからない」という状態です。 ディスクを差し替えた、UUIDが変わった、fstab や root= の書き間違いが典型的な原因です。「起動しない」の中でも、原因がかなり絞れる症状です。

中身を実際に開く

bash
$ lsinitramfs /boot/initrd.img-$(uname -r) | head -n 30
.
kernel
kernel/x86
usr
usr/bin/sh
usr/bin/cat
usr/lib/modules/6.8.0-45-generic/kernel/drivers/scsi/sd_mod.ko.zst
usr/lib/modules/6.8.0-45-generic/kernel/fs/ext4/ext4.ko.zst
init

ちゃんと sh も cat も入っています。 ごく小さな Linux が、丸ごと1ファイルに詰まっている、というのが目で見えます。

何個入っているか数えてみます。

bash
$ lsinitramfs /boot/initrd.img-$(uname -r) | wc -l
3184

ドライバだけ抜き出すと、こうなります。

bash
$ lsinitramfs /boot/initrd.img-$(uname -r) | grep -c '\.ko'

数百個あります。 「このマシンで使うもの」ではなく、「どのマシンでも起動できるもの」を入れているからです。

(initramfs) のプロンプトが出たとき、そこで打てるコマンドがなぜあるのかが、これで分かります。メモリ上のこの小さなシステムに入っているものだけが使えます。 ls はあっても vim はありません。

いつ作り直されるのか

initramfs は、カーネルを更新したときに自動で作り直されます。 手で作り直すコマンドもあります。

bash
$ ls -l /boot/initrd.img-$(uname -r)

この記事では update-initramfs を実行しません。 実行そのものは危険ではありませんが、作り直しに失敗した状態で再起動すると、④で止まって上がってこなくなります。 「暗号化ディスクの設定を変えた」「ドライバを足した」など、必要な理由があるときにだけ打つコマンドです。理由が無いなら触らないのが正解です。

⑤ 起動は5段階のバトンリレー — ここまでの整理

ここまでで、①〜④が具体的なファイルとコマンドに繋がりました。

#段階実体いま見た方法
①ファームウェアマシン側のプログラム/sys/firmware/efi の有無
②ブートローダ/boot/grub/ と GRUB メニュー起動時に Shift / Esc、e で編集
③カーネル/boot/vmlinuz-...uname -r / cat /proc/cmdline / dmesg -T
④initramfs/boot/initrd.img-...lsinitramfs
⑤systemdPID 1 のプロセス次の節

⑤だけ、まだ触っていません。 そこをやります。

まず、systemd が本当に PID 1 なのかを確かめます。

bash
$ ps -p 1 -o pid,comm
    PID COMMAND
      1 systemd

PID 1 は「最初に起動されたプロセス」の番号です。 本線のプロセスの回で ps aux を見たときに一番上にあったのがこれで、④の6番で initramfs が呼んだ /sbin/init の正体です。

bash
$ ls -l /sbin/init
lrwxrwxrwx 1 root root 20 /sbin/init -> /lib/systemd/systemd

リンクを辿ると systemd に行き着きます。 「昔は別のプログラムだった場所を、systemd が引き継いだ」という歴史が、このリンク1本に残っています。

起動の遅さを測る

ここが2つ目の山場です。 「起動が遅い」を、感覚ではなく数字にします。

bash
$ systemd-analyze
Startup finished in 5.412s (firmware) + 2.108s (loader) + 3.204s (kernel) + 18.771s (userspace) = 29.496s
multi-user.target reached after 18.700s in userspace

この1行が、①〜⑤にそのまま対応しています。

表示段階
firmware①(UEFI のときだけ出ます。BIOS では表示されません)
loader② GRUB
kernel③ + ④(カーネルの初期化と initramfs)
userspace⑤ systemd がサービスを起動していた時間

どこを直せば速くなるかが、ここで決まります。 上の例では userspace が18.7秒で、全体の6割以上です。GRUB のタイムアウトを削っても意味がありません。

blame — ただし読み方に注意が要る

bash
$ systemd-analyze blame | head -n 10
16.442s systemd-networkd-wait-online.service
 3.117s snapd.service
 1.882s cloud-init.service
  898ms dev-sda2.device
  431ms systemd-udev-settle.service

この数字を足しても、起動時間にはなりません。 blame が示すのは「そのサービス単体が、開始から完了までに何秒かかったか」だけです。多くのサービスは並列に動いています。 3秒かかるサービスが5本並列なら、全体は15秒ではなく3秒です。 つまり「一番上にあるもの=全体を遅くしている犯人」ではありません。 誰も待っていないサービスが10秒かかっていても、全体には1秒も影響しません。

「長い」と「待たせている」は別だ、というのがこの節の要点です。

critical-chain — 待たせているほうを見る

bash
$ systemd-analyze critical-chain
multi-user.target @18.700s
└─ssh.service @18.698s
  └─network-online.target @18.695s
    └─systemd-networkd-wait-online.service @2.251s +16.442s
      └─systemd-networkd.service @2.108s +138ms

読み方は2つの記号だけです。

記号意味
@起動開始から、その時点に到達するまでの時刻
+そのユニット自体にかかった時間

上から下へ辿ると、全体を18.7秒にしている一直線が見えます。 この例では systemd-networkd-wait-online.service が16.4秒待っているのが原因です。

これは VM でよく起きます。 設定はされているが実際には繋がっていないネットワークインターフェースを、タイムアウトまで待っているのが典型で、ip a で DOWN のままのインターフェースがあれば、まずそれを疑います。

深掘りとして、ユニット単位の依存関係をもっと細かく読みたくなったら、systemd のユニットを1項目ずつ壊した回を見てください。 After= が依存関係ではないこと、Type= が「起動できた」の判定方法を変えることが、この critical-chain の並びに直結しています。 この記事は「起動全体のどこか」を特定するところまでで、その先の1ユニットの中身はあちらです。

図でも出せます。

bash
$ systemd-analyze plot > ~/boot.svg
$ ls -lh ~/boot.svg

VM の中にブラウザが無いので、VS Code のリモート接続で開くのが楽です。 横軸が時間、1本1本の帯が1サービスで、並列に動いていることが視覚的に分かります。 blame の数字を足してはいけない理由が、この図を見ると一目で納得できます。

[スクリーンショット: 05_systemd_analyze.png] systemd-analyze と systemd-analyze critical-chain の結果を撮ってください。@ と + の数字が読める状態にしてください。

⑥ どこまで起動するか — ターゲット

systemd の「ゴール地点」がターゲットです。 いまのゴールを見ます。

bash
$ systemctl get-default
multi-user.target

主なものは4つです。

ターゲットどこまで起動するか
multi-user.targetネットワークもサービスも全部動く。GUI は無い。 サーバーの標準
graphical.targetmulti-user.target の全部 + GUI(デスクトップ)
rescue.target最小限のサービスだけ。 修理用
emergency.target/ を読み取り専用で繋いだだけ。 ほぼ何も動かない。最後の砦

graphical.target は multi-user.target を含んでいます。 積み上げの関係です。確かめられます。

bash
$ systemctl list-dependencies graphical.target | head -n 5
graphical.target
● ├─systemd-update-utmp-runlevel.service
● └─multi-user.target

サーバーに GUI は要りません。 理由は「メモリを食うから」だけではありません。 画面に何も出力していないマシンで、デスクトップ環境とディスプレイマネージャが常駐しているという状態そのものが無駄で、更新対象のパッケージが数百個増え、脆弱性の対象も増えます。 動かしていないものは、入っているだけで管理コストになります。 Ubuntu Server は最初から multi-user.target です。Desktop 版を借りてサーバーにするとき以外、変える場面はほとんどありません。

その回だけ、別のターゲットで起動する

山場①で覚えた e キーが、ここで効きます。

GRUB のメニューで e を押し、linux の行の末尾にこれを足します。

systemd.unit=rescue.target

Ctrl + X で起動すると、サービスがほとんど動かない状態で上がります。 root のパスワードを聞かれ、Ctrl + D で通常の起動に進みます。ただし Ubuntu は既定で root のパスワードがロックされているので、設定していなければ Cannot open access to console, the root account is locked. と出てシェルには入れません(Enter で先に進みます)。

この方法も保存されません。 次回の起動では、いつもどおり multi-user.target に戻ります。 これが e キーの一番のありがたみです。 恒久的に変えるコマンド(systemctl set-default)はありますが、この記事では打ちません。 打つ必要が無いのに打つと、戻し忘れたときに気付きにくいからです。その回だけで確認できるものは、その回だけで済ませます。

⑦ わざと起動しなくする — fstab を1行間違える

ここからが本題です。 起動しない状態を、意図的に作ります。

スナップショットを取っていない場合は、ここで引き返してください。 ここから先は、再起動すると通常のログイン画面が出なくなります。 SSH でも入れません。VMware の画面を直接操作して直します。 逆に言えば、その手順を1回やっておくことが、この記事の目的です。

なぜ fstab で止まるのか

fstab は「起動時に、どのディスクをどこへ繋ぐか」を書いた一覧です。

bash
$ cat /etc/fstab
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
UUID=8f3a...    /               ext4    defaults        0       1
UUID=B2C1-4A9E  /boot/efi       vfat    umask=0077      0       1
/swap.img       none            swap    sw              0       0

systemd は起動中に、この行を全部繋ごうとします。 そして、

繋げなかった行が1つでもあると、systemd は「システムが想定した状態にない」と判断して、通常の起動を中止します。

これは不親切ではなく、安全側に倒しています。 「データ用のディスクが繋がっていないのに、アプリが起動してそこへ書き込み始める」ほうが、はるかに危険だからです。

壊す前に、正しい確かめ方を先に覚える

fstab を編集したら、再起動する前に必ずこれを打ちます。

bash
$ sudo findmnt --verify
Success, no errors or warnings detected
bash
$ sudo mount -a

mount -a は「fstab に書いてある未マウントの行を、いま全部繋いでみる」コマンドです。 エラーが出なければ、再起動しても止まりません。

順番はこれです。 fstab を編集 → findmnt --verify → mount -a → それから再起動。 自分が VM を1台つぶしたのは、この2行を知らずに、編集してすぐ再起動したからです。 打っていれば5秒で気付けました。

実際に壊す

バックアップを取ってから、存在しない UUID の行を足します。

bash
$ sudo cp /etc/fstab /etc/fstab.bak
$ ls -l /etc/fstab.bak

確認: fstab.bak ができていることを、必ず目で見てください。これが自力で戻すための命綱です。

bash
$ echo 'UUID=00000000-0000-0000-0000-000000000000 /mnt/lab ext4 defaults 0 2' | sudo tee -a /etc/fstab
$ tail -n 2 /etc/fstab

先に、正しい確認方法が本当に検出するかを見ます。

bash
$ sudo findmnt --verify
/mnt/lab
   [E] unreachable on boot required source: UUID=00000000-0000-0000-0000-000000000000

0 parse errors, 1 error, 0 warnings

ちゃんと止めてくれます。 「再起動する前に気付けた」というのは、この出力を見た、ということです。

それでも、今回はわざと再起動します。

bash
$ sudo reboot

何が起きるか

通常のログイン画面は出ません。 こういう画面で止まります。

[  TIME ] Timed out waiting for device /dev/disk/by-uuid/00000000-...
[DEPEND] Dependency failed for /mnt/lab.
[DEPEND] Dependency failed for Local File Systems.
You are in emergency mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit" to continue bootup.

Press Enter for maintenance
(or press Control-D to continue):

読むべき行は3つです。

行意味
Timed out waiting for device ...ここに、繋がらなかったUUIDがそのまま出ている
Dependency failed for Local File Systemsファイルシステムを繋ぐ段階で失敗した(= fstab が原因)
You are in emergency mode⑤で止まった。 カーネルも initramfs も無事

emergency mode まで来ているということは、①〜④は全部成功しています。 カーネルは動き、/ も読めています。問題は fstab の1行だけです。症状から場所が特定できる、というのはこういうことです。

[スクリーンショット: 06_emergency_mode.png] You are in emergency mode と Timed out waiting for device が両方写っている画面を撮ってください。この記事で一番重要な画面です。

自力で直す

Enter を押して、root のパスワードを入れます。 Ubuntu は既定で root のパスワードがロックされているので、設定していなければ Cannot open access to console, the root account is locked. と出てシェルに入れません。その場合は再起動し、GRUB のメニューで e を押して、linux の行の末尾に init=/bin/bash を足し、Ctrl + X で起動します。パスワード無しで root のシェルが開き、ここから先の手順(/ は読み取り専用で始まります)がそのまま使えます。最後の reboot だけは効かないので、sync してから reboot -f を使います。

ここで多くの人が詰まります。 テキストエディタで直そうとすると、こう言われます。

E212: Can't open file for writing

書き込めません。 理由は明確です。

bash
$ mount | grep ' / '
/dev/sda2 on / type ext4 (ro,relatime)

(ro,...) — 読み取り専用です。 ③で見た /proc/cmdline に ro が入っていたのを思い出してください。起動の途中では、/ は読み取り専用で繋がれます。 通常は起動の後半で書き込み可へ切り替わりますが、その前で止まっているので ro のままです。

切り替えます。

bash
$ mount -o remount,rw /
部分意味
remountいま繋がっているものを、繋ぎ直さずにオプションだけ変える
rw読み書き可
/対象

確認します。

bash
$ mount | grep ' / '
/dev/sda2 on / type ext4 (rw,relatime)

rw になりました。 ここでようやく編集できます。バックアップから戻すのが一番確実です。

bash
$ cp /etc/fstab.bak /etc/fstab
$ tail -n 3 /etc/fstab

足した行が消えていることを、目で確認してください。

sudo を付けていないことに気付きましたか。 emergency mode では、すでに root として動いています。 だから sudo は要りません(そもそも入っていないこともあります)。

確かめてから再起動します。

bash
$ findmnt --verify
$ systemctl reboot

今度は通常どおり、ログイン画面まで上がります。

バックアップを取っていなかったら

fstab.bak が無い場合は、手で該当行を消します。 emergency mode でも nano はたいてい使えます。

bash
$ mount -o remount,rw /
$ nano /etc/fstab

足した行の先頭に # を付けてコメントアウトするだけで十分です。 消すより安全で、あとで何をしたか分かります。

予防策が1つあります。 fstab に自分で行を足すときは、オプションに nofail を入れてください。

UUID=... /mnt/data ext4 defaults,nofail 0 2

nofail は「このディスクが無くても、起動は続けろ」という意味です。 外付けディスクや、あとから足したデータ用ディスクには、ほぼ必ず付けます。 / には付けません。 / が無ければ、そもそも何も動きません。

リカバリーモードという別の入口

emergency mode に落ちてくれなかった場合や、もっと手前で止まる場合の入口が、リカバリーモードです。

GRUB のメニュー → Advanced options for Ubuntu → 末尾が (recovery mode) のものを選びます。

Recovery Menu (filesystem state: read-only)

  resume       Resume normal boot
  clean        Try to make free space
  dpkg         Repair broken packages
  fsck         Check all file systems
  network      Enable networking
  root         Drop to root shell prompt
項目使いどころ
rootroot のシェルに落ちる。 ここでも / は読み取り専用なので、mount -o remount,rw / が要る
fsckファイルシステムの検査と修復
dpkg更新の途中で電源が落ちて壊れたとき。 パッケージの深掘り回で見た dpkg --configure -a を、ここから打てる
networkリカバリーモードは既定でネットワークが上がっていません。 何か取ってくる必要があるときだけ有効化する

リカバリーモードでも mount -o remount,rw / が要る、というのが一番よく引っかかる点です。 画面の一番上に filesystem state: read-only と書いてあります。そこに書いてあるのに、読まずに編集しようとして詰まりました。

スナップショットは最後の手段

ここまでの手順で直らないとき、初めてスナップショットに戻します。

順番はこうです。

  1. 画面の最後の行を読む(quiet を外していれば、犯人の名前が出ている)
  2. emergency mode / リカバリーモードに入る
  3. mount -o remount,rw /
  4. 直近に自分が変更したファイルを元に戻す
  5. journalctl -xb で、失敗したユニットを確認する
  6. どうしても分からなければ、スナップショットへ戻す

1〜5を飛ばして6をやると、同じ壊し方をもう一度やります。 原因を見ないまま戻すのは、直したことになりません。 それでも、6があるから1〜5を落ち着いて試せます。 これは本線の障害対応の考え方と同じで、戻せる状態を作ってから壊す、が順番です。

起動後に、直前の起動のログを読む方法も覚えておきます。

bash
$ journalctl -b -1 -p err
オプション意味
-b起動単位で絞る。-b -1 は「1つ前の起動」
-p errエラー以上だけ
-xb今回の起動を、説明文付きで全部

「昨日再起動したら失敗していたらしい」を、後から調べられるのがこれです。

つまずいたところ

GRUB のメニューが、最初は何度やっても出ませんでした。 Shift を押しているのに素通りする。原因は2つ重なっていて、1つは自分のVMが UEFI で、Shift ではなく Esc だったこと。 もう1つは、VMware の画面をクリックしていなかったのでキーが Windows 側に取られていたことです。「押すキーが違う」と「そもそも届いていない」の切り分けができていませんでした。

quiet splash を外したとき、正直に言うと拍子抜けしました。 隠されていたのは、ほとんどが [ OK ] の羅列でした。「何か重大なものが隠されている」と思っていたのですが、実際は普通に成功している記録です。だからこそ、失敗した1行が出たときに目立つのだと分かりました。普段から外しておく必要はありませんが、調子が悪いときに真っ先に外すべきものです。

systemd-analyze blame の読み方を、長いこと間違えていました。 一番上のサービスを無効化すれば速くなると思い込んで、実際に1つ止めてみたのですが、起動時間は0.2秒しか変わりませんでした。 並列に動いていて、誰も待っていなかったからです。critical-chain を見て初めて、待たせているのは別のサービスだと分かりました。 数字が大きいものと、遅くしているものは、別です。

emergency mode で vi が書き込めなかったときは、完全に手が止まりました。 「壊れて書き込めないのか」と思い、そこでスナップショットに戻してしまいました。ro で繋がっているだけで、mount -o remount,rw / の1行で済んだ話です。画面の上のほうに read-only と書いてあったのに、慌てていて読んでいませんでした。 本線のエラーの読み方の回で「まずメッセージを読む」と書いたのは自分なのに、自分がやっていませんでした。

fstab は、findmnt --verify と mount -a を知らずに再起動したのが、そもそもの事故でした。 編集して、保存して、そのまま reboot。 これで1台つぶしました。いまは、fstab を触ったら再起動の前に必ずこの2つを打つ、と決めています。

後片づけ

この記事で作ったものを、全部戻します。

fstab が元に戻っているか

bash
$ cat /etc/fstab
$ sudo findmnt --verify

確認: 足した 00000000-... の行が無く、findmnt --verify が Success と返ればOKです。

バックアップを消します。

bash
$ ls -l /etc/fstab.bak
$ sudo rm /etc/fstab.bak

残しておいても害はありません。 ただし中身が古くなると、次に困ったときに「戻したら壊れた」という事故になります。 消すか、日付を付けて残すかの、どちらかにしてください。

GRUB の設定に手を入れていないことを確認する

bash
$ ls -l /etc/default/grub
$ sudo grep -v '^#' /etc/default/grub | grep .
GRUB_DEFAULT=0
GRUB_TIMEOUT_STYLE=hidden
GRUB_TIMEOUT=0
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"

確認: GRUB_CMDLINE_LINUX_DEFAULT に quiet splash が入ったままであればOKです。この記事では e キーしか使っていないので、ここは変わっていないはずです。

もし変わっていたら、e ではなくファイルを編集しています。 その場合は quiet splash に戻したうえで、sudo update-grub を打って反映してください。 打たないと、ファイルだけ直って grub.cfg は古いままです。

生成したファイルを消す

bash
$ ls -l ~/boot.svg
$ rm -f ~/boot.svg

通常どおり起動することを確認する

最後に、必ず1回、普通に再起動します。

bash
$ sudo reboot

キーは何も押しません。 ログイン画面まで素直に上がることを確認してください。

上がったら、状態を見ます。

bash
$ systemctl is-system-running
running
返り値意味
running全部正常
degraded起動はしたが、失敗したユニットがある
maintenanceemergency / rescue に落ちている

degraded なら、失敗したものを名指しで出せます。

bash
$ systemctl --failed
0 loaded units listed.

何も出なければ、片づけ完了です。

ここまで確認できたら、スナップショットは削除して構いません。 ただしVMのスナップショットは、残しておいてもディスクを食うだけで害はありません。 次の深掘りでも、また壊します。

まとめ

  • 起動は5段階のバトンリレー。 ①ファームウェア → ②ブートローダ → ③カーネル → ④initramfs → ⑤systemd。画面に出るものを見れば、どこで転んだかが決まる
  • grub> なら②、文字が流れて止まるなら③、(initramfs) なら④、emergency mode なら⑤
  • BIOS か UEFI かは [ -d /sys/firmware/efi ] の1行で分かる。 メニューを出すキーが Shift か Esc かも、これで決まる
  • /boot/grub/grub.cfg は自動生成物。手で編集しても、次の更新で黙って消える
  • 恒久的に変えるなら /etc/default/grub を編集して sudo update-grub。 打ち忘れると何も変わらない
  • その回だけの変更は GRUB メニューで e。保存されないから安全で、失敗しても電源を入れ直せば元に戻る
  • quiet splash は速くする設定ではない。 メッセージを隠しているだけで、外しても起動時間は変わらない
  • 起動しないマシンを見るときは、まず quiet を外す。 最後に出た行が犯人の名前になる
  • [ 数字 ] はカーネルの発言、[ OK ] は systemd の発言
  • cat /proc/cmdline に、GRUB が渡した文字列がそのまま残っている。 root= が UUID なのは、ディスクの名前が順番で入れ替わるから
  • dmesg -T で経過秒数を日時に直す。 -l err,warn でエラーだけに絞れる
  • initramfs は鶏と卵の答え。 「ディスクを読むドライバがディスクの中にある」問題を、必要なドライバを積んだ小さなシステムを先にメモリへ載せることで解いている
  • lsinitramfs で中身が読める。 sh も cat も入っている。(initramfs) プロンプトで打てるのは、この中にあるものだけ
  • systemd-analyze blame の数字を足しても起動時間にはならない。 多くは並列。「長い」と「待たせている」は別
  • 待たせているほうは critical-chain。 @ は到達時刻、+ はそのユニット自体の時間
  • systemd-analyze の firmware / loader / kernel / userspace が、①②③④⑤にそのまま対応している。 どこを直すべきかは、ここで決める
  • PID 1 は systemd。/sbin/init はそこへのリンク
  • サーバーに GUI は要らない。 メモリの話だけでなく、更新対象と脆弱性の対象が増えるから
  • fstab を編集したら、再起動の前に findmnt --verify と sudo mount -a。 これを打たずに reboot して、VM を1台つぶした
  • 自分で足す行には nofail を付ける。 「無くても起動は続けろ」という意味。/ には付けない
  • emergency mode でもリカバリーモードでも、/ は読み取り専用。 編集の前に mount -o remount,rw /
  • journalctl -b -1 -p err で、1つ前の起動の失敗を後から読める
  • スナップショットは最後の手段であって、最初の手段ではない。 戻す前に、最後の行を読む → 入る → remount,rw → 直近の変更を戻す
  • 起動後の健全性は systemctl is-system-running。 degraded なら systemctl --failed で名指しできる

参考リンク


次に読む

この記事は 【深掘り】Linux の 15 / 18 本目です。

記事
← 前の記事シェルスクリプトのクォート — 空白入りのファイル名でforが割れる
→ 次の記事名前空間とcgroups — コンテナの正体はカーネルの2機能

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Linux — Booting
  • ファームウェア / GRUB / カーネル / initramfs / systemd
  • 起動しないときの復旧

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次