自作OSにファイルシステムを付ける — 名前でファイルを読む仕組み

自作OSのファイルシステム。ディスクと目次のカード、開いたフォルダ。

ここまでで、自作OSは起動して、32bitになって、メモリを配って、2つの処理を切り替えられるようになりました。それでも、決定的に足りないものがあります。

ファイルが1つも読めません。

画面に出す文字は、全部カーネルの中に埋め込んだ文字列です。ディスクには自分で焼いたイメージが入っているのに、そこから「名前で」データを取り出す方法が無い。cat memo.txt と打っても、OSには memo.txt が何のことか分かりません。

この記事は、その「名前 → 中身」の対応表を自分で作る回です。ファイルシステムというと難しく聞こえますが、正体はそれだけです。

対象レベル: 中級 / 区分: 必要に応じて読む

目次

この記事でわかること

  • ファイルシステムは「目次」でしかないこと。名前と、開始位置と、長さの表
  • ディスクから読むのにBIOS を使えなくなっている理由と、その代わりの手
  • セクタという単位が、なぜファイルサイズの端数を生むのか
  • FAT や ext4 が何を足しているのか(そして、なぜ自作では足さないのか)

この記事でやること

  1. 目次1セクタ+データ、という最小の形式を決める
  2. イメージを組み立てるスクリプトを書く
  3. ATA PIO でディスクから1セクタ読む(山場①)
  4. 目次を読んで ls を作る
  5. cat でファイルの中身を画面に出す(山場②)
  6. 本物のファイルシステムと並べて、何を省いたのか確かめる

先に知る言葉

この記事で初めて出てくる言葉です。 詳しくは用語集にもまとめてあります。

言葉意味
セクタディスクの読み書きの最小単位。512 バイト。1 バイトだけ読むことはできない
LBAセクタの通し番号。先頭が 0。「何番目のセクタか」だけで場所を指せる
ATA PIOディスクを I/O ポート越しに直接読む、一番素朴な方法。遅いが、外部ライブラリが要らない
目次(ディレクトリ)「名前・開始セクタ・バイト数」を並べた表。これがファイルシステムの本体

① なぜ BIOS で読めないのか

ブートセクタの回では、BIOS の int 13h でディスクを読みました。それが、もう使えません。

プロテクトモードに入った時点で、BIOS の割り込みは呼べなくなっているからです。BIOS のコードは 16bit のリアルモード用に書かれていて、32bit のプロテクトモードから int 13h を呼ぶと、そのまま暴走します。画面出力を自分で書き直したのと、まったく同じ理由です。

「一度使えたものが使えなくなる」のが、OS を作るときの一番の驚きでした。 便利な下請けは、こちらが偉くなるほど減っていきます。

選択肢は2つです。

やり方手間この記事では
16bit に戻って int 13h を呼ぶ切り替えのコードが要る。呼ぶたびに戻る使わない
ATA PIO で自分で読むポートを7つ叩くだけ。30行で済むこちら

② 形式を決める —— 目次1セクタ+データ

先に形式を紙に書きます。 ここを決めずにコードを書くと、必ず途中で辻褄が合わなくなります。

LBA 0        : ブートセクタ(512バイト)
LBA 1..N     : カーネル
LBA 20       : 目次(1セクタ = 512バイト)
LBA 21..     : ファイルの中身(1ファイルにつきセクタ単位で確保)

目次の1件は 16 バイトに決めます。512 ÷ 16 = 32 なので、ファイルは最大 32 個です。

オフセット  長さ  中身
  0        11   名前(半角。余りは 0 で埋める)
 11         1   予約(0)
 12         2   開始セクタ(LBA・リトルエンディアン)
 14         2   バイト数(リトルエンディアン)
------------------------------------------------
                合計 16 バイト

この 16 バイトが、この記事のすべてです。 名前・場所・長さ。ファイルシステムが最低限持たなければならないのは、この3つだけです。

「長さ」を持たないと何が起きるか

セクタは 512 バイト単位でしか読めません。 5 バイトのファイルでも、ディスク上では 512 バイト占めます。長さを記録しておかないと、読んだあとに残り 507 バイトのゴミを、ファイルの中身として表示してしまいます。

ここで「ファイルサイズ」と「ディスク上の占有サイズ」が別物になります。Windows のプロパティに「サイズ」と「ディスク上のサイズ」が並んでいるのは、この端数のためです。

③ イメージを組み立てる

前回までの作業フォルダで続けます。

cd ~/osdev
mkdir -p files
echo -n "hello from my own filesystem" > files/hello.txt
printf 'OS = 512バイトから始まった\n' > files/memo.txt

目次とデータを1つのイメージに詰めるスクリプトを書きます。アセンブラではなく Python です——ここは PC 側の作業なので、楽な道具を使います。

cat > mkfs.py <<'EOF'
"""files/ の中身を、目次1セクタ+データという形式のイメージにする。"""
import struct, sys
from pathlib import Path

SECTOR   = 512
DIR_LBA  = 20          # 目次の位置
DATA_LBA = 21          # データの開始位置

files = sorted(Path("files").iterdir())
entries, data, lba = b"", b"", DATA_LBA
for f in files:
    body = f.read_bytes()
    name = f.name.encode("ascii")
    assert len(name) <= 11, f"名前が長すぎます: {f.name}"
    entries += name.ljust(11, b"\0") + b"\0" + struct.pack("<HH", lba, len(body))
    # セクタ単位に切り上げて詰める
    pad = (-len(body)) % SECTOR
    data += body + b"\0" * pad
    lba += (len(body) + pad) // SECTOR
    print(f"{f.name:<12} LBA={lba - (len(body)+pad)//SECTOR:<4} {len(body)} バイト")

assert len(entries) <= SECTOR, "ファイルが多すぎます(32個まで)"
img = entries.ljust(SECTOR, b"\0") + data
Path("fs.img").write_bytes(img)
print(f"fs.img: {len(img)} バイト({len(img)//SECTOR} セクタ)")
EOF
python3 mkfs.py
hello.txt    LBA=21   28 バイト
memo.txt     LBA=22   35 バイト
fs.img: 1536 バイト(3 セクタ)

ブート・カーネル・ファイルシステムを1本のディスクにします。

dd if=/dev/zero of=os.img bs=512 count=64 2>/dev/null
dd if=boot.bin   of=os.img bs=512 seek=0  conv=notrunc 2>/dev/null
dd if=kernel.bin of=os.img bs=512 seek=1  conv=notrunc 2>/dev/null
dd if=fs.img     of=os.img bs=512 seek=20 conv=notrunc 2>/dev/null
ls -l os.img

seek=20 が、さっき紙に書いた LBA 20 です。 ここがずれると、目次のあるべき場所に何も無くなります。

④ ATA PIO で1セクタ読む

ディスクはI/O ポートという窓口を持っていて、そこに数値を書くと読み書きが始まります。使うのは7つだけです。

ポート役割
0x1F2何セクタ読むか
0x1F3 / 0x1F4 / 0x1F5LBA の下位・中位・上位バイト
0x1F6ドライブ選択と LBA の最上位4bit
0x1F7命令を書く/状態を読む(同じ番号で役割が変わる)
0x1F0データが出てくる窓口(16bit ずつ)
cat > disk.asm <<'EOF'
; read_sector: EAX = LBA, EDI = 読み込み先
; 512バイトを EDI へ読む。pushad/popad で全レジスタを保存する(どれも壊さない)。
read_sector:
    pushad
    mov ebx, eax              ; LBA を退避

    mov dx, 0x1F6             ; ドライブ選択 + LBA[27:24]
    mov eax, ebx
    shr eax, 24
    or  al, 0xE0              ; 0xE0 = マスタ・LBAモード
    out dx, al

    mov dx, 0x1F2             ; セクタ数 = 1
    mov al, 1
    out dx, al

    mov dx, 0x1F3             ; LBA[7:0]
    mov eax, ebx
    out dx, al

    mov dx, 0x1F4             ; LBA[15:8]
    mov eax, ebx
    shr eax, 8
    out dx, al

    mov dx, 0x1F5             ; LBA[23:16]
    mov eax, ebx
    shr eax, 16
    out dx, al

    mov dx, 0x1F7             ; 0x20 = READ SECTORS
    mov al, 0x20
    out dx, al

.wait:                        ; BSY(0x80)が降りて DRQ(0x08)が立つまで待つ
    in  al, dx
    test al, 0x80
    jnz .wait
    test al, 0x08
    jz  .wait

    mov ecx, 256              ; 512バイト = 16bit × 256回
    mov dx, 0x1F0
    rep insw                  ; ES:EDI へ流し込む
    popad
    ret
EOF

1行ずつ、何をしているか

行意味
or al, 0xE0「マスタドライブ」「LBA モード」を立てる。ここを間違えると別のディスクを読む
LBA を3回に分けて書くポートが 8bit なので、28bit の番号を分けて渡す
0x20 を書く「読め」という命令。書き込みは 0x30
.wait の2段構えBSY が下りるのと DRQ が立つのは別。片方だけ見ると、まだ来ていないデータを読む
rep inswポートから 16bit ずつ 256 回読んで、EDI の先へ書き込む

ここで一番ハマるのは .wait です。 待たずに rep insw へ進むと、画面にはそれらしいゴミが出ます。エラーにならないので、原因を探すのに時間がかかります。「動かない」より「それらしく動く」ほうが厄介という、この連載で何度も出てきた形です。

⑤ 目次を読む —— ls を作る

%define DIR_LBA 20
%define DIR_BUF 0x00090000

fs_ls:
    mov eax, DIR_LBA
    mov edi, DIR_BUF
    call read_sector

    mov esi, DIR_BUF
    mov ecx, 32               ; 目次は 32 件まで
.next:
    cmp byte [esi], 0         ; 名前の1文字目が 0 なら空き
    je  .skip
    call print_string         ; 名前(0 終端)を表示
    call print_newline
.skip:
    add esi, 16               ; 次の 16 バイトへ
    loop .next
    ret

「空きかどうか」を名前の1文字目で判定しています。 別に「使用中フラグ」を持ってもよいのですが、名前が空のエントリは意味を持たないので、1バイトも増やさずに済みます。FAT も同じ考え方をしています。

⑥ cat でファイルの中身を出す

; ESI = 探す名前
fs_cat:
    call fs_find              ; 見つかれば ESI に目次エントリの先頭
    jc  .notfound

    movzx eax, word [esi + 12]  ; 開始セクタ
    movzx ebx, word [esi + 14]  ; バイト数
    mov edi, 0x00091000
    call read_sector            ; まず1セクタだけ読む

    mov esi, edi
    mov ecx, ebx                ; ⚠️ 512 ではなく、記録しておいた長さで止める
.print:
    lodsb
    call print_char
    loop .print
    ret
.notfound:
    mov esi, msg_notfound
    call print_string
    ret

mov ecx, ebx の1行が、この記事の答えです。 ここを 512 にすると、28 バイトのファイルのあとに 484 バイトのゴミが続きます。長さを目次に持たせたのは、この1行のためでした。

動かす

nasm -f bin boot.asm   -o boot.bin
nasm -f bin kernel.asm -o kernel.bin
python3 mkfs.py
dd if=/dev/zero of=os.img bs=512 count=64 2>/dev/null
dd if=boot.bin   of=os.img bs=512 seek=0  conv=notrunc 2>/dev/null
dd if=kernel.bin of=os.img bs=512 seek=1  conv=notrunc 2>/dev/null
dd if=fs.img     of=os.img bs=512 seek=20 conv=notrunc 2>/dev/null
qemu-system-i386 -drive file=os.img,format=raw,if=ide -display curses
> ls
hello.txt
memo.txt

> cat hello.txt
hello from my own filesystem
>

自分で焼いたディスクから、自分で書いたコードで、名前を指定してデータを取り出せました。

512 バイトを超えるファイルは、まだ読めていない

いまの fs_cat は 1 セクタしか読んでいません。 練習用のファイルが 28 バイトと 35 バイトなので気づきませんが、513 バイトのファイルを置くと後半が消えます。 こういう「小さいデータでは絶対に露見しない欠陥」は、自分で境界を作って踏むしかありません。

python3 - <<'PY'
from pathlib import Path
Path("files/big.txt").write_text("A"*600 + "\nEND\n")
PY
python3 mkfs.py        # big.txt が 2 セクタ占めることを確認する

直し方は素直です。「残りバイト数」が尽きるまで、セクタを1つずつ読み進めます。

    movzx eax, word [esi + 12]  ; 開始セクタ
    movzx ebx, word [esi + 14]  ; 残りバイト数
    mov edi, 0x00091000
.loop:
    call read_sector            ; 512 バイト読む
    push eax
    mov ecx, 512
    cmp ebx, 512
    jae .full
    mov ecx, ebx                ; 最後のセクタは端数だけ出す
.full:
    sub ebx, ecx
    mov esi, edi
    call print_n                ; ECX 文字ぶん表示する
    pop eax
    inc eax                     ; 次のセクタへ
    add edi, 512
    cmp ebx, 0
    ja  .loop
    ret

最後のセクタだけ端数で止める——という形は、この先どこにでも出てきます。ネットワークで受け取るときも、ファイルをコピーするときも、「固定長で運ぶが、中身は可変長」である限り同じ処理が要ります。HTTP サーバーを自作した回で Content-Length を扱ったのも、まったく同じ問題でした。

⑦ 本物は、何を足しているのか

ここで作ったものは、ファイルシステムとして成立はしているが、実用には全く足りません。 何を省いたのかを並べておきます。

足りないもの省いたことで起きること本物での解き方
ディレクトリの入れ子フォルダが作れない。全ファイルが1階層目次自身をファイルとして持つ(FAT・ext ともこの形)
空き領域の管理書き込めない。どこが空いているか誰も知らないFAT のチェーン、ext のビットマップ
断片化への対応連続した空きが無いと大きいファイルを置けないブロック単位で飛び飛びに置き、順番を別表で持つ
更新の一貫性書き込み中に電源が切れると壊れるジャーナリング(ext4・NTFS)
権限・時刻誰のファイルかが無いinode に所有者・モード・時刻を持つ

Linux の権限の回で見た rwx と所有者は、この「inode」に入っています。 ファイルシステムを自分で書くと、ls -l に出ていた項目がどこに保存されている何なのかが、はじめて具体的になります。

完成の判定

#確かめること合格の形
1目次が読めているls にファイル名が2つ出る
2中身が読めているcat hello.txt が正しく出る
3端数で壊れていない中身の後ろにゴミが出ない
4無いファイルを弾けるcat nope.txt で「見つかりません」
5作り直せるfiles/ に1つ足して mkfs.py から通せば ls に増える

3 が一番大事です。 ここが通っていないのに 1・2 だけで満足すると、「だいたい動く」ファイルシステムができあがります。

つまずいたところ

ls が文字化けする

目次のオフセットがずれています。1件 16 バイトで、名前は 11 バイトです。add esi, 16 を 15 や 17 にすると、2件目から全部ずれます。

xxd -l 64 fs.img      # PC 側で、目次の先頭64バイトを目で見る

何も出ない・QEMU が固まる

.wait のループから抜けていません。ディスクを繋いでいないときにも起きます(-drive ... if=ide を付け忘れると、待ち続けます)。

読めるが、中身が1つ前のファイル

mkfs.py の LBA 計算と、dd の seek が食い違っています。紙に書いた表と、両方の数字を突き合わせてください。 どちらか片方だけ直すと、次はもっと分かりにくい形でずれます。

512 バイトちょうどのファイルで、次のファイルが消える

切り上げの計算が (len + 511) // 512 になっていると、ちょうどのときに 1 セクタ多く進みます。記事のコードは (-len) % 512 で余りを出しているので、ちょうどのときは 0 になります。

後片づけ

cd ~/osdev
rm -f fs.img os.img
# files/ は次の回でも使うので残しておきます

よくある質問

なぜ FAT12 のような既存の形式にしなかったのですか
仕組みを見せるためです。FAT12 は予約領域・FAT テーブル・ルートディレクトリ・クラスタチェーンと部品が多く、最初に読むと「決まりごとを守る作業」になってしまいます。名前と開始位置と長さだけの表を自分で決めると、ファイルシステムが本質的に何をしているのかが1画面で分かります。そのうえで FAT を読むと、増えている部品が何のためにあるのかが理解できます。
書き込みは実装しないのですか
この記事では読み取りだけにしています。書き込みには空き領域の管理が必要で、それはファイルシステムの中で最も難しい部分だからです。どこが空いているかを記録し、断片化した領域をつなぎ、途中で電源が切れても壊れないようにする、という3つの問題が同時に出てきます。読み取りだけでも「名前から中身に辿り着く」という核心は体験できます。
ATA PIO は遅いと聞きましたが、実用でも使いますか
実用では使いません。CPU がデータを1語ずつ運ぶ方式なので、その間 CPU は他の仕事ができないからです。実際の OS は DMA を使い、ディスクからメモリへ直接転送させて、完了を割り込みで受け取ります。ただし DMA は初期化の手順が長く、最初の1本には向きません。まず PIO で読めるようにして、必要になってから DMA に置き換えるのが順番として無理がありません。
ファイルサイズとディスク上のサイズが違うのはなぜですか
ディスクがセクタ単位でしか読み書きできないためです。この記事の形式でも 28 バイトのファイルが 512 バイトを占めています。実際のファイルシステムはセクタをまとめたクラスタ単位で割り当てるので、端数はさらに大きくなります。小さなファイルが大量にあるとディスクの実効容量が目減りするのは、この端数が積み上がるからです。

まとめ — 理解できたこと

  • ファイルシステムの本体は「名前・開始位置・長さ」の表。 それ以外は全部、後から足された改良
  • プロテクトモードでは BIOS が使えない。 ディスクも自分で読む(ATA PIO なら 30 行)
  • BSY と DRQ は別の合図。 待ち方を間違えると、エラーではなく「それらしいゴミ」が出る
  • 長さを記録しないと、ファイルの末尾が決まらない。 セクタは 512 バイト単位でしか読めない
  • ls -l の所有者や時刻は、inode というこの表の発展形に入っている

参考リンク

次に読む

この記事は 【番外編】roadmap.sh の外 の 32 / 35 本目です。

記事
← 前の記事512バイトに入らなくなる — メモリ管理とマルチタスク
→ 次の記事自分のOSがQEMUで起動する — OS自作の到達作品

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次