L4とL7の違いは中身を見るか — OSI参照モデル

OSI参照モデル。通信パケットと重なる層のブロック、虫眼鏡とネットワークケーブル。

L4とL7の違いは、中身を見るかどうかです。OSI参照モデルの7層に自分の道具を並べて、ロードバランサの選び方を決めます。

前回: 速くする前に必ず測る — パフォーマンス改善とEXPLAIN 作業場所はVMの中(Ubuntu Server)です。nginx と ~/server のAPI(3000番)が動いている状態から始めます。

負荷分散の回で、nginx にアプリを2つぶら下げました。動きました。

そのあと「ロードバランサ」について調べ始めると、説明なしで、いきなりこの2つの言葉が出てきます。

「L4ロードバランサ」 「L7ロードバランサ」

AWS のページを開けば ALB と NLB が並んでいて、どちらを選ぶかを聞かれます。HAProxy のドキュメントには mode tcp と mode http が並んでいます。どちらも、説明されないまま「L4/L7」で書き分けられています。

この L と数字は、OSI参照モデルの層番号です。 そして、ここが分からないとロードバランサを選べません。 選べないので、とりあえず名前を聞いたことがあるほうを選ぶことになります。

ところが「OSI参照モデル」を調べると、必ずこの表が出てきます。

7 アプリケーション層
6 プレゼンテーション層
5 セッション層
4 トランスポート層
3 ネットワーク層
2 データリンク層
1 物理層

これを覚えても、何も分かりません。 私は3回覚えて3回忘れました。理由ははっきりしています。

自分が触ったものが、この表のどこにも書かれていないからです。

だからこの記事では、表を写しません。 すでに自分で打ったコマンド、自分で書いた設定、自分でハマった事故を、7つの段に配っていきます。 そのうえで tcpdump で実際にパケットを見て、層が積み重なっていることを目で確かめます。

最後に、Dockerの回で残した謎——「なぜ ufw を有効にしているのに 8080番が外から見えたのか」——が、この記事で解けます。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • L4・L7の「L」は層番号で、違いは「中身を見るか、見ないか」だけだということ
  • 5〜6層は実際には曖昧で、現場ではほぼ使われていないこと。TLSはこの表に綺麗に収まらない
  • 自分の nginx は L7 だということ。そして proxy_set_header が書けるのが、その証拠だということ
  • 層は「上が下を知らなくていい」ための仕組みで、だから同じHTTPが有線でも無線でも動くこと
  • Docker が ufw を素通りしたのは、L3/L4 の「別の場所」を通ったからだということ
  • OSI参照モデルは暗記するものではなく、「いま何層の話をしているか」を言うための共通語だということ

この記事でやること

  1. ip link / ip neigh / ss / curl -v を順に打ち、自分の道具を7つの段に配る
  2. tcpdump を入れ、TCPの3ウェイハンドシェイクを実際に捕まえる
  3. nginx が上流へ投げ直したリクエストを覗き、自分では送っていないヘッダを見つける(=L7の証拠)
  4. nginx を L4モード(stream)でも動かし、同じリクエストが素通しになることを比べる
  5. TLSで包むと中身が読めなくなることを、自分のVMの中だけで確かめる
  6. iptables を見て、Docker が ufw を素通りした場所を特定する

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
OSI参照モデル通信を7つの段に分けて説明するための共通語。実際に動いている仕組みそのものではない
プロトコル通信の約束ごと。「こう聞いたら、こう答える」の取り決め。HTTP も TCP も IP もプロトコル
カプセル化上の層のデータを、下の層が封筒に入れて包むこと。封筒が何重にもなって届く
MACアドレス機器そのものに付いている番号。00:0c:29:... の形。IPアドレスと違い、普通は変わらない
ARPIPアドレスから MACアドレスを調べる仕組み。「192.168.1.1 の人、MACを教えて」と全員に聞く
フレーム / パケット / セグメント同じデータの、見る層による呼び名の違い。L2でフレーム、L3でパケット、L4でセグメント
tcpdump実際に流れているパケットを表示するコマンド。ネットワークの cat のようなもの
3ウェイハンドシェイクTCPが通信を始めるときの3往復の挨拶。SYN → SYN+ACK → ACK
L4 / L7「レイヤー4」「レイヤー7」の略。L4 = IPとポートまで見る。L7 = HTTPの中身まで見る
TLS終端暗号をそこでほどくこと。ほどいた先は平文で流れる
SNITLSの最初の挨拶に入っている接続先のホスト名。暗号化されずに平文で流れる(ここが後で効く)

① 7つの段に、自分の道具を配る

まず、表を埋めます。 右の2列だけを見てください。全部、この連載ですでに打ったコマンドです。

層名前自分が触ったもの確かめるコマンド
7アプリケーションHTTP、DNS、SSH、SMTP。GET / や Host: ヘッダcurl -v
6プレゼンテーション文字コード、圧縮(gzip)、(TLSをここに置く流儀もある)—
5セッションほぼ使われない段(後述)—
4トランスポートTCP と ポート番号。80番、3000番、22番ss -tlnp
3ネットワークIPアドレス、ルーティング、ping(ICMP)ip addr / ip route / ping
2データリンクMACアドレス、ARP、スイッチ、Wi-Fiip link / ip neigh
1物理LANケーブル、電波、NIC そのものip link(state UP かどうか)

実際に、下から順に打ちます。 全部VMの中です。

1〜2層 — ケーブルとMACアドレス

bash
$ ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP
    link/ether 00:0c:29:3a:7b:1e brd ff:ff:ff:ff:ff:ff

2つの層が、この4行に同居しています。

見えているもの層意味
state UP / LOWER_UP1(物理)ケーブルが刺さって、電気的に生きている。VMなので仮想のケーブル
link/ether 00:0c:29:...2(データリンク)このNICのMACアドレス
mtu 150021回に運べる最大サイズ。これを超えると分割される

state DOWN は、それだけで「1層の障害」です。 IPの設定をいくら見直しても直りません。ネットワークの回で「まず自分の住所を確認する」と書きましたが、本当はその1つ手前に、この行があります。

次に、IPとMACの対応表を見ます。 これが3層と2層の境目です。

bash
$ ip neigh
192.168.1.1 dev ens33 lladdr 3c:84:6a:11:22:33 REACHABLE
192.168.1.20 dev ens33 lladdr 00:1a:2b:3c:4d:5e STALE

「192.168.1.1(IP=3層)は、3c:84:6a:…(MAC=2層)という機器だ」 という対応表です。これを作る仕組みが ARP です。

ここで「IPがあるのに、なぜMACが要るのか」が引っかかります。

同じネットワークの中では、IPアドレスでは届けられないからです。 実際に線の上を流れているのはMACアドレス宛のフレームで、IPアドレスはその中に書かれた最終目的地にすぎません。

手紙で言えば、MACアドレスが「隣の郵便局の住所」、IPアドレスが「最終的な宛先」です。 郵便局から郵便局へ渡すたびにMACは書き換わりますが、IPは最後まで変わりません。

3層 — IPアドレスと経路

bash
$ ip -4 addr show ens33
$ ip route
inet 192.168.1.50/24 brd 192.168.1.255 scope global ens33
default via 192.168.1.1 dev ens33 proto dhcp metric 100
192.168.1.0/24 dev ens33 proto kernel scope link src 192.168.1.50

ping が使うのも、この層です。

bash
$ ping -c 2 192.168.1.1

ping は「3層まで生きている」ことしか教えてくれません。 ポートを1つも指定していないことに注目してください。 ping にポートを渡す方法はありません。なぜなら、ポートは1つ上の層のものだからです。

「pingは通るのに、繋がらない」の正体がこれです。 3層は生きていて、4層以上のどこかで止まっています。

4層 — ポート番号

bash
$ ss -tlnp
State   Recv-Q  Send-Q   Local Address:Port    Process
LISTEN  0       511          0.0.0.0:80        users:(("nginx",pid=812,fd=6))
LISTEN  0       511        127.0.0.1:3000      users:(("node",pid=1502,fd=22))
LISTEN  0       4096         0.0.0.0:22        users:(("sshd",pid=744,fd=3))

80、3000、22。この数字が4層です。

ネットワークの回で 0.0.0.0 と 127.0.0.1 の違いに苦しみました。 あれは「3層のどのアドレスで、4層のポートを開くか」という話でした。2つの層をまたいだ設定だったので、分かりにくかったのです。

7層 — HTTP

bash
$ curl -v http://127.0.0.1/ -o /dev/null
* Connected to 127.0.0.1 (127.0.0.1) port 80
> GET / HTTP/1.1
> Host: 127.0.0.1
> User-Agent: curl/8.5.0
> Accept: */*
>
< HTTP/1.1 200 OK
< Server: nginx/1.24.0
< Content-Type: text/html

> と < の行が7層です。 GET、Host:、200 OK——インターネットの仕組みの回で読んだHTTPそのものです。

そして1行目に注目してください。

* Connected to 127.0.0.1 (127.0.0.1) port 80

GET を送る前に、すでに「接続」が済んでいます。 これが4層の仕事です。7層は、4層が繋いだ上に乗っているだけです。

[スクリーンショット: 01_層ごとのコマンド.png] ip link show、ip neigh、ss -tlnp を続けて実行した画面を撮ってください。

② 5〜6層は、正直に言うと曖昧です

ここは、多くの解説が濁すところです。はっきり書きます。

5層(セッション)と6層(プレゼンテーション)は、現場でほとんど使われていません。

理由は単純で、実際に動いているインターネットが OSI で作られていないからです。動いているのは TCP/IP で、こちらは4段しかありません。

TCP/IP(実際に動いているもの)OSI(説明用の共通語)
アプリケーション層5・6・7 をまとめて1つ
トランスポート層4
インターネット層3
リンク層1・2 をまとめて1つ

OSI は、実装ではなく「議論するための共通語」として残りました。 だから L4 / L7 という言い方だけが生き残って、L5 / L6 という言い方は誰もしません。

TLSはどこにいるのか

この表に、TLSが綺麗に収まりません。

  • 「6層(プレゼンテーション)だ」——暗号化・変換だから、という説明
  • 「5層だ」——セッションを張るから、という説明
  • 「4.5層だ」——TCPの上、HTTPの下だから、という冗談まじりの説明

正解を1つ選ぶ必要はありません。 実務で必要なのは、この一点だけです。

TLSは、TCP(4層)が繋がったあとに始まり、HTTP(7層)が始まる前に終わる。

httpsの回で見た順番と同じです。 先にTCPが繋がり、次に鍵を交換し、そのあとで初めて GET / が流れます。 この順番だけ押さえておけば、層番号は覚えなくても困りません。

「7層の表を暗記する」が意味を持つのは、資格試験のときだけです。 実際に必要なのは、「いま何層の話をしているか」を人に伝えられることです。 「pingは通るので3層は生きています。ss に出ていないので4層で待っていません」——こう言えれば、それでこの表の役目は終わりです。

③ 実際にパケットを見る

ここが山場です。 ここまでの話は、全部 tcpdump で目に見えます。

先に、絶対の約束

見ていいのは、自分のVMの中の通信だけです。

tcpdump は、自分の機器を通るパケットをそのまま表示する道具です。同じネットワークにいる他人の通信を対象にすることは、絶対にしないでください。 会社や学校、公衆Wi-Fiでの実行は、それだけで問題になります。

この記事では、すべて -i lo(ループバック=VMが自分自身と話す線)だけを使います。 外に1バイトも出ません。この条件から外れないでください。 セキュリティ点検の回と同じで、「できること」と「していいこと」は別です。

入れる

bash
$ sudo apt update
$ sudo apt install tcpdump
$ tcpdump --version

3ウェイハンドシェイクを捕まえる

ターミナルを2つ開きます。 VS Code のリモート接続なら、ターミナルを2枚にすれば足ります。

1枚目(待ち受ける側):

bash
$ sudo tcpdump -i lo -n -c 8 'tcp port 80'
オプション意味
-i loループバックだけを見る。VMの外の通信は対象にしない
-n名前を引かない。IPを数字のまま出す(DNSを引くと、その通信まで混ざる)
-c 88個捕まえたら終わる。付けないと止まらない
'tcp port 80'80番の通信だけに絞る(この文字列をフィルタと呼びます)

2枚目(叩く側):

bash
$ curl -s http://127.0.0.1/ -o /dev/null

1枚目に、こう出ます。

12:03:41.512044 IP 127.0.0.1.54312 > 127.0.0.1.80: Flags [S], seq 1250734992, win 65495, length 0
12:03:41.512061 IP 127.0.0.1.80 > 127.0.0.1.54312: Flags [S.], seq 2919345155, ack 1250734993, win 65483, length 0
12:03:41.512074 IP 127.0.0.1.54312 > 127.0.0.1.80: Flags [.], ack 1, win 512, length 0
12:03:41.512180 IP 127.0.0.1.54312 > 127.0.0.1.80: Flags [P.], seq 1:78, ack 1, win 512, length 77: HTTP: GET / HTTP/1.1
12:03:41.512501 IP 127.0.0.1.80 > 127.0.0.1.54312: Flags [.], ack 78, win 512, length 0
12:03:41.513022 IP 127.0.0.1.80 > 127.0.0.1.54312: Flags [P.], seq 1:853, ack 78, win 512, length 852: HTTP: HTTP/1.1 200 OK

この6行を、1行ずつ読みます。

#Flags誰から誰へ意味
1[S]curl → nginxSYN。「話しかけていいですか」
2[S.]nginx → curlSYN+ACK。「いいですよ。そちらも聞こえますか」(. が ACK)
3[.]curl → nginxACK。「聞こえます」 ← ここで接続完了
4[P.]curl → nginxやっと GET / HTTP/1.1 を送った
5[.]nginx → curl「受け取りました」
6[P.]nginx → curlHTTP/1.1 200 OK

これが3ウェイハンドシェイクです。そして、この記事で一番大事な観察がここにあります。

最初の3行の length は、全部 0 です。

中身が1バイトもありません。 HTTPは、まだ1文字も流れていません。それでも、3回の往復が起きています。

つまり、HTTPの下には、HTTPと関係なく動いている別の層がある。 これが「層に分かれている」ということの、目に見える証拠です。

主なフラグを、読めるようにしておきます。

表示名前意味
[S]SYN接続を始めたい
[S.]SYN+ACK受け入れる
[.]ACK受け取った
[P.]PSH+ACK中身を送っている(length が0でないのはたいていこれ)
[F.]FIN+ACK終わりにしたい(お互いに送り合って閉じる)
[R]RST拒否・打ち切り

[R](RST)が見えたら、それは「誰も待っていない」の合図です。 ネットワークの回で Connection refused と タイムアウト を打ち分けました。Connection refused の正体が、この [R] です。 逆にファイアウォールで落とされたときは、何も返ってきません([S] だけが並び、再送されます)。この2つは、tcpdump で見ると一目で違います。

[スクリーンショット: 02_3ウェイハンドシェイク.png] [S] → [S.] → [.] の3行が並んでいる画面を撮ってください。

④ なぜ層に分けるのか

「分けたほうが整理できるから」ではありません。 理由は1つです。

上の層が、下の層を知らなくていいようにするため。

さっきの curl -v を思い出してください。 curl は GET / HTTP/1.1 を送りました。そのとき curl は、こういうことを一切知りません。

  • 相手のMACアドレス
  • そのパケットがLANケーブルを通ったのか、Wi-Fiを飛んだのか
  • 途中でルーターを何台経由したのか
  • パケットが途中で分割されたかどうか

知らなくても動きます。 これが層の効き目です。

【7層】 GET /api/health HTTP/1.1       ← アプリが書くのはここだけ
          ↓ TCPが封筒に入れる
【4層】 [ポート80宛][順番番号] GET /...  ← 順番と再送はTCPが面倒を見る
          ↓ IPが封筒に入れる
【3層】 [192.168.1.50→192.168.1.1][ポート80宛] GET /...
          ↓ イーサネットが封筒に入れる
【2層】 [MAC 3c:84...宛][192.168...][ポート80][GET /...]
          ↓
【1層】 電気信号 / 電波

これがカプセル化です。 下に行くほど封筒が増えます。 そして受け取る側は、上に行くほど封筒を1枚ずつ開けます。

だから、こういうことが成り立ちます。

起きることなぜ困らないか
有線から無線に切り替えた1〜2層が変わっただけ。 HTTPは何も変わらない
IPv4 から IPv6 になった3層が変わっただけ。 GET / はそのまま
HTTPをHTTPSにした7層の下に1枚挟まっただけ。 TCPもIPも変えていない
アプリを Node.js から Go に書き換えた7層だけの話。 下は無関係

「同じHTTPが、有線でも無線でも、日本でもアメリカでも動く」のは、偶然ではありません。 HTTPが下を知らないように作られているからです。

逆に言えば、層をまたいだ設定は必ず分かりにくくなります。 0.0.0.0:3000(3層+4層)、docker run -p(3層の書き換え+4層のポート)——この連載で詰まった場所は、ほぼ全部が「層をまたぐ設定」でした。

⑤ L4ロードバランサとL7ロードバランサ

ここまで来れば、冒頭の言葉が読めます。

L4ロードバランサ = 4層まで(IPとポート)だけ見て振り分ける L7ロードバランサ = 7層(HTTPの中身)まで読んで振り分ける

違いは「中身を見るか、見ないか」の一点だけです。そして、そこから全部の差が出ます。

L4ロードバランサL7ロードバランサ
見るもの宛先IPとポート番号だけメソッド・パス・ホスト名・ヘッダ・Cookie
中身の扱い開けない。 そのまま流すいったん全部受け取って、読んで、投げ直す
TCP接続の本数方式による(NAT 型の LVS/IPVS や NLB は1本を素通し。nginx の stream や HAProxy の mode tcp はクライアント側と上流側の2本で、中身は読まずに流す)2本(クライアントと1本、上流と1本)
振り分けの条件接続元IP、順番(ラウンドロビン)、接続数/api/ は A、/img/ は B。ホスト名ごと、Cookieごと
TLSほどけない(そのまま流す。SNIまでなら平文で読める)ほどける(TLS終端)。復号してから振り分ける
ヘッダの追加できないできる(X-Forwarded-For など)
速度・負荷速い。 ほぼCPUを使わない遅い。 復号とパースの分だけCPUを食う
HTTP以外なんでも振れる(MySQL、Redis、SSH、ゲーム)HTTPしか振れない
代表例AWS NLB、LVS/IPVS、HAProxy の mode tcp、nginx の streamAWS ALB、nginx の http、HAProxy の mode http、Envoy

一言でまとめると、こうです。

L4は「郵便局の仕分け係」。宛名だけ見て、封は切らずに次へ回す。 L7は「受付」。封を開けて中身を読み、内容に応じて担当部署へ回す。

⑥ 自分の nginx はどっちか — 確かめる

答えは L7 です。 ですが、信じるのではなく確かめます。

状況証拠

bash
$ grep -rn "proxy_pass\|proxy_set_header" /etc/nginx/sites-enabled/
default:26:        proxy_pass http://app_servers;
default:27:        proxy_set_header Host              $host;
default:28:        proxy_set_header X-Real-IP         $remote_addr;

この2つが、そのまま証拠です。

書いたものなぜL7の証拠か
location /api/パスで振り分けている。 パスはHTTPの中にしか無い。読めなければ書けない
proxy_set_headerヘッダを足している。 中身を書き換えている。 読めるどころか、編集している

決定的な証拠 — nginx が足したヘッダを、パケットで見る

ここで tcpdump が効きます。 クライアントが送ったリクエストと、nginx が上流(3000番)へ投げ直したリクエストを、別々に見比べます。

1枚目:

bash
$ sudo tcpdump -i lo -n -A -c 30 'tcp port 3000 and tcp[tcpflags] & tcp-push != 0'

-A は「中身を文字として表示する」という意味です。

2枚目:

bash
$ curl -s http://127.0.0.1/api/health -o /dev/null

1枚目に、こう出ます。

IP 127.0.0.1.41022 > 127.0.0.1.3000: Flags [P.], seq 1:212, ack 1, win 512, length 211
GET /api/health HTTP/1.0
Host: 127.0.0.1
X-Real-IP: 127.0.0.1
X-Forwarded-For: 127.0.0.1
X-Forwarded-Proto: http
Connection: close
User-Agent: curl/8.5.0
Accept: */*

curl が送ったのは、さっき curl -v で見たこの4行だけでした。

GET / HTTP/1.1
Host: 127.0.0.1
User-Agent: curl/8.5.0
Accept: */*

違いを並べます。

行誰が書いたか
X-Real-IP / X-Forwarded-For / X-Forwarded-Protonginx が足した。 curl は送っていない
HTTP/1.0(1.1ではない)nginx が書き換えた(上流へは既定で1.0で話す)
Connection: closenginx が足した

これが「L7である」ということの、動かぬ証拠です。

nginx は、届いたHTTPを最後まで読み、行を足し、バージョンを書き換えて、作り直して送っています。 中身を読めなければ、絶対にできない仕事です。

リバースプロキシの回で proxy_set_header の4行を「おまじないではなくセットで書くもの」として入れました。 あれが実際にパケットに現れているのが、この画面です。

[スクリーンショット: 03_nginxが足したヘッダ.png] 上流(3000番)へのリクエストに X-Real-IP と X-Forwarded-For が入っている画面を撮ってください。

同じ nginx を、L4として動かしてみる

nginx は、L4ロードバランサとしても動きます。 stream という別のブロックを使います。 比べれば、違いが一発で分かります。

まず、使えるか確認します。

bash
$ nginx -V 2>&1 | tr ' ' '\n' | grep -c -- --with-stream

1 以上が返れば使えます。 0 なら sudo apt install libnginx-mod-stream を入れてください。

設定ファイルの一番下に足します。 http { } の中ではありません。外です。

bash
$ sudo cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak
$ sudo nano /etc/nginx/nginx.conf

ファイルの末尾に、この6行を足します。

stream {
    server {
        listen 127.0.0.1:8081;
        proxy_pass 127.0.0.1:3000;
    }
}
bash
$ sudo nginx -t && sudo systemctl reload nginx
$ sudo ss -tlnp | grep 8081

同じことを、もう一度見ます。

1枚目:

bash
$ sudo tcpdump -i lo -n -A -c 30 'tcp port 3000 and tcp[tcpflags] & tcp-push != 0'

2枚目:

bash
$ curl -s http://127.0.0.1:8081/api/health -o /dev/null
IP 127.0.0.1.53880 > 127.0.0.1.3000: Flags [P.], seq 1:82, ack 1, win 512, length 81
GET /api/health HTTP/1.1
Host: 127.0.0.1:8081
User-Agent: curl/8.5.0
Accept: */*

X-Real-IP が、ありません。 HTTP/1.1 のままです。Host: も 127.0.0.1:8081 のままで、書き換えられていません。

同じ nginx が、同じ場所へ、同じリクエストを運びました。 違うのは、「中身を読んだかどうか」だけです。

stream の中には proxy_set_header を書けません。 書こうとすると nginx -t が落ちます。理由は権限でも設定ミスでもなく、「そもそも中身を見ていないので、足しようがない」からです。

L4とL7の違いは、これで全部です。

確認が済んだら、stream ブロックは消します(後片づけの節に戻し方を書きます)。

⑦ TLSで包むと、何が見えなくなるか

L4の存在意義を、実際に見ます。 暗号化された通信は、L7ロードバランサからも中身が見えません。

自分のVMの中だけで、TLSの相手役を1つ立てます。

bash
$ cd /tmp
$ openssl req -x509 -newkey rsa:2048 -nodes -days 1 -subj "/CN=localhost" -keyout k.pem -out c.pem
$ openssl s_server -accept 127.0.0.1:8443 -cert c.pem -key k.pem -www

これは「TLSで待ち受けて、簡単なページを返すだけ」の練習用サーバーです。このターミナルは、動かしたままにします。

-subj "/CN=localhost" の自己署名証明書です。 ブラウザは当然警告を出します。練習専用で、外には一切出しません。1日で期限が切れます(-days 1)。

2枚目で tcpdump、3枚目で curl します。

bash
$ sudo tcpdump -i lo -n -A -c 20 'tcp port 8443 and tcp[tcpflags] & tcp-push != 0'
bash
$ curl -sk --resolve localhost:8443:127.0.0.1 https://localhost:8443/ -o /dev/null

出てくるのは、こうなります。(--resolve は「localhost:8443 を 127.0.0.1 に繋ぐ」指定です。https://127.0.0.1:8443/ のように IP アドレスで繋ぐと、SNI は送られないので、ホスト名は流れません。)

IP 127.0.0.1.51002 > 127.0.0.1.8443: Flags [P.], seq 1:518, ack 1, win 512, length 517
....^....Z.....}.g..7...<...H...."...........,.0...
...........localhost..........
IP 127.0.0.1.8443 > 127.0.0.1.51002: Flags [P.], seq 1:1443, ack 518, win 512, length 1442
...V...R...P.[..'..b?..h.......L..w.@..R..K...s.7..

GET / はどこにも出てきません。 読めるのは、たった1語だけです。

localhost

これが SNI です。 TLSの最初の挨拶(ClientHello)に入っている接続先のホスト名で、暗号化される前に平文で流れます。

暗号を掛ける前に、「どのサイトに繋ぎたいか」を伝えないといけないからです。 サーバーは1つのIPで複数のサイトを持っていることがあり、どの証明書を出すか決めるために、先に名前を知る必要があります。

ここから、2つの結論が出ます。

結論
L7は、暗号化されたままでは仕事ができないパスもCookieも読めない。先にTLSを終端(復号)する必要がある
L4は、暗号化されたままでも振り分けられる宛先IPとポートしか見ていないから。 さらにSNIだけを読んで、ホスト名で振ることもできる

この「SNIだけ見て振る」やり方を、TLSパススルーと呼びます。 ロードバランサは中身を一切見ないまま、a.example.com と b.example.com を別のサーバーに振り分けられます。 証明書はロードバランサに置かず、後ろのサーバーに置いたままにできます。

[スクリーンショット: 04_TLSは中身が読めない.png] -A を付けたのに GET が読めず、localhost だけが見える画面を撮ってください。

練習用サーバーを止めます。 openssl s_server のターミナルで Ctrl+C を押してください。

⑧ L4でしかできないこと・L7でしかできないこと

表にすると、選ぶときの基準になります。

L7でしかできないこと

できること具体例
パスで振り分ける/api/ は Node、/ は静的ファイル。リバースプロキシの回でやったこと
ホスト名で振り分けるIPが1つでも、複数のサイトを別々のサーバーへ(server_name)
TLS終端証明書を1か所にまとめる。 後ろのサーバーは平文で楽ができる
ヘッダの追加・書き換えX-Forwarded-For。これが無いと、アクセス元が全部ロードバランサのIPに見える
Cookieで同じ人を同じ台へ負荷分散の回の ip_hash より正確な、スティッキーセッション
失敗したら投げ直す前回、1台落としても200が返ったやつ(proxy_next_upstream)。中身を持っているから、もう一度送れる
圧縮・キャッシュ・防御ヘッダキャッシュの回や防御ヘッダの回で触ったもの

L4でしかできないこと

できること具体例
HTTP以外を振り分けるMySQL、Redis、SSH、SMTP、ゲームのUDP。 L7は「HTTPだ」と決め打っている
暗号化されたまま振り分ける端から端まで暗号化したいとき。ロードバランサに証明書も鍵も置かなくていい
速い・軽い復号もパースもしない。 桁違いの本数をさばける
HTTPの新しい版に付き合わなくていい中身を知らないので、HTTP/3 になろうが影響を受けない

「失敗したら投げ直す」がL7にしかできない理由を、押さえておいてください。

投げ直すには、送った中身を覚えていないといけません。 L4は中身を見ていないので、覚えていません。 だからL4は、接続が切れたら、そこで終わりです。利用者にはエラーがそのまま返ります。

障害対応の回で「利用者に気づかせずに逃がす」ことをやりましたが、あれはL7だからできたことでした。

選び方

迷ったら、この順です。

  1. HTTPを扱っていて、パスやホスト名で振りたい → L7(個人のサービスは、ほぼこれ)
  2. HTTP以外(DBやSSH)を振りたい → L4
  3. 証明書を後ろのサーバーから動かしたくない → L4(TLSパススルー)
  4. 極端な本数をさばく必要がある → L4(ただし、そこに到達してから考える)

そして現実には、両方を重ねます。 前にL4を置き、その後ろにL7を並べる——大きなシステムはたいていこの形です。Kubernetesの回の Service(L4)と Ingress(L7)が、まさにこの2段重ねです。

⑨ 層を飛び越える事故 — Docker が ufw を素通りした理由

Dockerの回で、宿題を1つ残しました。

sudo ufw allow 8080/tcp を一度も打っていないのに、8080番が外から見えた。

あのとき「Docker は nat の PREROUTING で宛先を書き換え、FORWARD に自前のルールを入れる」と書きました。 層の言葉が入ると、これがはっきりします。

まず、それぞれが何層の道具か

道具層何をしているか
iptablesL3 と L4IPアドレス(3層)とポート番号(4層)を見て、通す/落とす/書き換える
ufw—iptables の設定を、人が読める形で書くための道具。 中身は iptables
nginxL7HTTPを読んで振り分ける。自分に届いたものしか見られない

まずここが大事です。 ufw はファイアウォールそのものではありません。 iptables に書くための道具です。 つまりufw status は「ufwが書いたルール」しか表示しません。 他人が iptables に書いたルールは、映りません。

どこを通ったのか

パケットがLinuxに入ってから出るまでには、いくつも通過点があります。 必要な3つだけ書きます。

  外から来たパケット
        │
  ┌─────▼─────────────────┐
  │ nat PREROUTING        │  ← ★ Docker がここで宛先を書き換える
  │ (宛先IP・ポートの変更) │     8080 → コンテナの 172.17.0.2:80
  └─────┬─────────────────┘
        │
   このマシン宛か?
        │
   ┌────┴──────────────┐
   YES                 NO(=他へ転送する)
   │                    │
┌──▼──────────┐   ┌────▼──────────────┐
│ INPUT       │   │ FORWARD           │
│ ★ufw はここ │   │ ★Docker はここ    │
└──┬──────────┘   └────┬──────────────┘
   │                    │
 nginx など          コンテナへ

-p 8080:80 を付けた瞬間、Docker は nat PREROUTING にルールを入れます。

bash
$ sudo iptables -t nat -S PREROUTING
$ sudo iptables -t nat -S DOCKER | head -n 5
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A DOCKER -p tcp -m tcp --dport 8080 -j DNAT --to-destination 172.17.0.2:80

DNAT --to-destination 172.17.0.2:80。これが犯人です。

これは「3層の宛先IPを書き換える」操作です。

書き換えられた瞬間、そのパケットは「このマシン宛」ではなくなりました。 宛先は 172.17.0.2、コンテナです。

だから、分岐で INPUT ではなく FORWARD に進みます。 ufw が立っているのは INPUT です。 通り道が違うので、見張りの前を通っていません。

ufw がどこに書いたかも、目で確かめられます。

bash
$ sudo iptables -S INPUT | head -n 5
$ sudo iptables -S FORWARD | head -n 5
-A INPUT -j ufw-before-logging-input
-A INPUT -j ufw-before-input
...
-A FORWARD -j DOCKER-USER
-A FORWARD -j DOCKER-ISOLATION-STAGE-1
-A FORWARD -o docker0 -j DOCKER

INPUT には ufw- で始まる行が並び、FORWARD には DOCKER- で始まる行が並んでいます。 完全に別の場所です。

この事故の教訓は、層そのものではない

注意してほしいのは、ここです。

ufw も iptables も Docker も、全部 L3/L4 です。層は同じです。 それでも素通りしました。原因は「層」ではなく「同じ層の中の、通る場所が違った」ことです。

そして nginx(L7)は、この件について何の役にも立ちません。

8080番のパケットは、nginx に1バイトも届いていません。 nginx がどれだけ厳しい設定でも、通っていないものは止められません。

「防御を固めた」と言うときは、必ずこう言えないといけません。

「何層の、どの箱で、止めているか。」

止めたいもの使う道具層
そもそも届かせないufw / iptables / クラウドのセキュリティグループL3・L4
特定のURLを弾くnginx の設定、WAFL7
中身を検査するWAFL7
Dockerが開けたポートを塞ぐufw では無理。 -p 127.0.0.1:8080:80 と書くか、DOCKER-USER に書くL3・L4

Docker Composeの回で「データベースに ports: を書かない」と決めたのは、この理由です。 ports: を書かなければ、そもそも nat のルールが作られません。

[スクリーンショット: 05_dockerのnatルール.png] iptables -t nat -S DOCKER に DNAT の行が出ている画面を撮ってください(Dockerでコンテナを動かしている状態で)。

⑩ クラウドのロードバランサの名前は、そのままL4とL7

ここまで分かると、クラウドの製品名が読めるようになります。 この節では、何も契約しません。名前を読むだけです。

クラウドL7(中身を読む)L4(読まない)
AWSALB(Application Load Balancer)NLB(Network Load Balancer)
Google CloudApplication Load BalancerNetwork Load Balancer
AzureApplication GatewayLoad Balancer

AWS の ALB の「A」は Application、つまり7層の名前そのものです。 NLB の「N」は Network で、3〜4層側の名前です。

名前が、そのまま層を言っています。 「ALBとNLB、どっちを使えばいいですか」という質問は、「HTTPの中身を見て振り分けたいですか」という質問と同じです。

選ぶときの基準は、⑧で書いたものと同じです。

要件選ぶもの
Webサイト・API(HTTPS)ALB(L7)
パスで振り分けたいALB(L7)
証明書をロードバランサに置きたいALB(L7)
データベースやゲームサーバーNLB(L4)
極端な本数、極端に低い遅延NLB(L4)

今日、これを試す必要はありません。 EC2の回で1台立てたのと違い、ロードバランサは「立てているだけ」で時間課金が続きます。 止め忘れると、静かに積み上がります。

料金の回で上限を作りましたが、それでも「学習のために置きっぱなし」は避けてください。 今日必要なのは、名前を読めることだけです。 すでに、自分のVMで同じことを、無料で両方やりました。

⑪ やりすぎない — 暗記ではなく、切り分けの道具

最後に、この記事の使い道を絞ります。

7層の名前を、上から順に言えるようになる必要はありません。

必要なのは、これだけです。

障害が起きたときに、「いま何層を疑っているか」を言えること。

切り分けの表にすると、こうなります。 ネットワークの回の4段階の切り分けが、そのまま層に対応します。

症状疑う層見る道具
ip link が state DOWN1(物理)ip link。VMならネットワーク設定、実機ならケーブル
IPが付いていない / 別のセグメント3ip addr / ip route
ping が返らない3ping / ip route / traceroute
ping は通るが curl が繋がらない4ss -tlnp(誰か待っているか)/ ufw status
Connection refused が即座に返る4誰も待っていない。 ss に無いはず
無反応でタイムアウトする3〜4ファイアウォールが落としている。 ufw / クラウドのセキュリティグループ
名前だけ引けない7(DNS)dig / resolvectl
繋がるが 502 / 403 / 4047nginx とアプリのログ。 ここから先はネットワークの問題ではない
httpsだけ失敗するTLS(4と7の間)証明書の期限、openssl s_client

この表の価値は、「上から順に消していける」ことです。

一番やってはいけないのは、7層(アプリのコード)から疑い始めることです。下が死んでいたら、コードをいくら読んでも何も見つかりません。 障害対応の回で「切り分けの順番がすべて」と書いたのは、この順番のことです。

そして、正直な限界も書いておきます。

  • OSI参照モデルは、実際に動いている実装ではありません。 動いているのはTCP/IPです
  • 層に綺麗に収まらないものが、たくさんあります。 TLS、VPN、トンネル、HTTP/3(TCPではなくUDPの上で動く)
  • WebSocketの回のWebSocketも、HTTPで始まってHTTPをやめるという、表に書きにくい動きをします

「層に当てはめられないものは、当てはめない」で構いません。 道具であって、法律ではありません。

つまずいたところ

素直に書きます。

やったこと何が起きたか
tcpdump -i any で実行したVS Codeのリモート接続(SSH)の通信が全部流れて、画面が止まらなくなった。 自分が今使っている通信も対象になる。-i lo と -c は最初から付ける
-n を付け忘れたlocalhost.http のように名前で表示され、しかもDNSを引く通信まで混ざった。 IPとポートを数字で見たいときは必ず -n
sudo を付けずに tcpdump したYou don't have permission to capture on that device。パケットの盗み見に繋がるので、一般ユーザーには許されていない
-A を付けたのに何も読めなかった見ていたのが443番だった。 暗号化されているので当然。読めないこと自体が答えだと気づくまで20分
stream { } を http { } の中に書いたnginx -t で "stream" directive is not allowed here。stream は http の兄弟で、子ではない。負荷分散の回の upstream と同じ種類の間違い
stream の中に proxy_set_header を書いたunknown directive。バグではなく、L4には中身が無いので存在しない機能。 これで「L4とは何か」が腑に落ちた
-c を付けずに実行して Ctrl+C した止まるが、その間に出た大量の行でターミナルの履歴が流れて、肝心の3行を見失った。 -c 8 で十分
3ウェイハンドシェイクが見えなかったcurl を先に打っていた。 tcpdump を先に起動しないと、始まりは捕まらない。当たり前だが、2回やった
ip neigh が空だったまだ誰とも通信していなかった。 ping 192.168.1.1 を1回打ったら埋まった。ARPの表は、使ったぶんだけ増える
自己署名の証明書で curl が失敗したSSL certificate problem: self-signed certificate。-k を付けて回避。 練習以外で -k を常用しないこと。検証をやめる指示そのもの

一番の収穫は、5つ目と6つ目です。 「stream には proxy_set_header が書けない」というエラーで、L4とL7の違いが、表を読むより早く分かりました。 エラーメッセージは、たいてい設計の説明になっています。

後片づけ

stream ブロックを消します。

bash
$ sudo cp /etc/nginx/nginx.conf.bak /etc/nginx/nginx.conf
$ sudo nginx -t && sudo systemctl reload nginx
$ sudo ss -tlnp | grep 8081

8081 が何も返らなければ、消えています。

練習用のTLSサーバーと証明書を消します。

bash
$ rm -f /tmp/k.pem /tmp/c.pem

openssl s_server のターミナルは Ctrl+C で止めてください。 止め忘れると、8443番が開いたままになります。

bash
$ sudo ss -tlnp | grep 8443

tcpdump を消すなら。

bash
$ sudo apt purge -y tcpdump
$ sudo apt autoremove -y

残しておいて構いません。 ただし「自分が当事者である通信だけを見る」を、道具と一緒に覚えておいてください。

nginx が元通りか、最後に確認します。

bash
$ sudo nginx -t
$ curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1/api/health

200 が返れば、元通りです。

まとめ

  • 「L4」「L7」の L は OSI参照モデルの層番号。 違いは「中身を見るか、見ないか」の一点だけ
  • 7層の表は、自分の道具で埋めると意味を持つ。 ケーブル=1、MAC=2、IP=3、ポート=4、HTTP=7
  • 5〜6層は実際にはほぼ使われない。 動いているのはTCP/IPの4層。OSIは共通語として残った
  • TLSはこの表に収まらない。 覚えるのは「TCPの後、HTTPの前」という順番だけでいい
  • tcpdump で3ウェイハンドシェイクが見える。 最初の3つは length 0——HTTPが1文字も無いのに、往復が起きている
  • tcpdump は自分のVMの中(-i lo)だけ。 他人の通信を対象にしない
  • 層を分ける目的は「上が下を知らなくていい」。 だから同じHTTPが有線でも無線でも動く
  • 自分の nginx は L7。 証拠は proxy_set_header——上流へのパケットに X-Real-IP が足されている
  • 同じ nginx を stream で動かすと L4 になり、ヘッダは足されない。 proxy_set_header を書くとエラーになる
  • TLSで包むと GET は読めない。 読めるのは SNI(ホスト名)だけ。だからL4はSNIで振り分けられる
  • L7だけができること: パスで振り分け・TLS終端・ヘッダ追加・失敗したら投げ直す
  • L4だけができること: HTTP以外を振る・暗号化のまま振る・速い
  • Docker が ufw を素通りしたのは、nat で宛先を書き換えて FORWARD へ進んだから。 ufw がいるのは INPUT
  • ufw はファイアウォールではなく iptables の設定係。 ufw status はufwが書いた分しか映さない
  • ALB=L7、NLB=L4。 名前がそのまま層。今日は契約しない
  • 7層の暗記に意味は無い。 使うのは「いま何層を疑っているか」を言うためだけ

参考リンク


次に読む

この記事は 【第8段階】深掘り の 8 / 30 本目です。

記事
← 前の記事速くする前に必ず測る — パフォーマンス改善とEXPLAIN
→ 次の記事書いた直後に読むと無い — レプリケーションとCAP

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Networking
  • OSI参照モデル(自分が触った道具が何層にいるか)
  • ロードバランサ(L4 と L7 の違い)/フォワードプロキシ/ファイアウォール

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次