CDNとエッジキャッシュ — 距離は速度で解決できない

CDNとエッジキャッシュ。地球儀と分散した小さなサーバー、近くの利用者のノートパソコン。

※本記事はアフィリエイト広告(PR)を含みます。

距離は速度だけでは解決できません。CDNとエッジキャッシュが何を短くしているのかを確かめます。

前回: キャッシュの書き込み戦略 — 更新したのに古い値が返る

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の キャッシュは4箇所にある — Cache-ControlとCDN の続きとして、そこで「CDNとは何か」を説明だけで済ませたところを、手元で同じ形を作って確かめる回です。

この記事のコマンドは、断りがない限りVMの中(Ubuntu Server)で打ちます。 CDNは契約しません。 エッジとオリジンを nginx 2つで手元に作ります。 本番サイト(obmes.com)を実験に使いません。 練習用に ~/cdnlab を作り、最後に全部消します。

本線でこう書きました。

距離と量は proxy_cache では解けない。

このとき私は、正直なところ腑に落ちていませんでした。「遠いなら回線を速くすればいい」と思っていたからです。

違いました。回線をいくら速くしても、縮まらない時間があります。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • 距離は速度で解決できない。光の速さが上限で、そこは金では買えない
  • CDN が速いのは、賢いからではなく近いから
  • エッジとオリジンの関係は、proxy_cache とまったく同じ形。だから手元で作れる
  • 一番確実にキャッシュを消す方法は、消すことではなくURLを変えること
  • ログイン後の内容を共有キャッシュに入れてはいけない。事故の形が決まっている
  • CDN が肩代わりしているのはキャッシュだけではない

この記事でやること

  1. ping で往復時間を測り、距離から計算した理論値と突き合わせる
  2. 接続に何往復かかるかを数えて、距離が何倍になって効くかを見る
  3. nginx を2つ立てて、エッジとオリジンを作る
  4. キャッシュのヒットと、消し方3種類を試す
  5. キャッシュしてはいけないものを、ダミーデータで確認する
  6. オリジンを守る(期限切れの瞬間に殺到させない)

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
オリジン本物のサーバー。中身を持っている側
エッジ利用者の近くに置く中継役。CDN の各拠点
RTT(往復時間)信号が行って帰ってくるまでの時間。ping が測っているもの
PoPPoint of Presence。CDN の拠点のこと
プル型 / プッシュ型エッジが要求されてから取りに行く / 先に置いておく
パージエッジのキャッシュを強制的に消すこと
stale-while-revalidate古い内容を返しつつ、裏で取り直す指定

① 距離が効くことを、数字で確認する

まず、変えられないものを測ります。

叩いてよい相手だけにしてください。 ここでは公開DNSサービスを使います。他人のWebサーバーに連続で ping を打たないでください。

bash
$ ping -c 5 8.8.8.8
--- 8.8.8.8 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4006ms
rtt min/avg/max/mdev = 2.31/2.68/3.02/0.26 ms

2.68ms でした。 これは近い相手です。次に、海外の会社(Cloudflare)の公開DNSを測ります。

bash
$ ping -c 5 1.1.1.1

これもたいてい数msで返ります。 1.1.1.1 も 8.8.8.8 も、同じアドレスを世界中の拠点で受け持つエニーキャストで、国内の近い拠点が答えるからです。この記事の「近くに置く」の実例です。本当に海外の拠点が答える相手なら、100ms を超えることがあります。

理論値を計算する

光ファイバの中を進む速度は、真空中の光速のおよそ3分の2です。おおよそ 秒速20万km と考えます。

片道の距離片道の時間往復(RTT)
東京 → 大阪約 400km2ms4ms
東京 → シンガポール約 5,300km27ms53ms
東京 → ロンドン約 9,600km48ms96ms
東京 → サンパウロ約 18,500km93ms185ms

これは「一直線に光ファイバが通っていたら」の値です。 実際のケーブルは大回りしますし、途中の機器でも時間を食います。実測はこの1.5〜2倍になるのが普通です。

大事なのは、この表の数字を下回ることはできないという点です。

回線を10倍速くしても、この時間は変わりません。 帯域(太さ)と遅延(距離)は別の量だからです。レイテンシとスループットの回で見た通り、この2つは独立しています。

スクリーンショットを撮ってください: 01_pingの往復時間.png 2つの相手に ping を打って、rtt avg が違う画面を撮ってください。

さらに悪いことに、1往復では終わらない

HTTPS で1ページ取るのに、何往復するかを数えます。

bash
$ curl -w "dns:%{time_namelookup}s connect:%{time_connect}s tls:%{time_appconnect}s first_byte:%{time_starttransfer}s total:%{time_total}s\n" -o /dev/null -s https://example.com/
dns:0.021s connect:0.045s tls:0.112s first_byte:0.138s total:0.139s

段階ごとに時間が積み上がっています。

段階何往復かRTT が 100ms なら
DNS を引く1(キャッシュされていなければ)100ms
TCP の3ウェイハンドシェイク1100ms
TLS のハンドシェイク1〜2100〜200ms
HTTP の要求と応答1100ms
合計4〜5400〜500ms

RTT が100msだと、1ページ目が出るまでに半秒かかります。 中身の処理が0秒でも、です。

だから「近くに置く」以外に手がありません。 これが CDN の存在理由です。


② 手元で「エッジとオリジン」を作る

距離は再現できませんが、構造は再現できます。

練習用のフォルダを作ります。

bash
$ mkdir -p ~/cdnlab && cd ~/cdnlab

オリジン役を立てる

わざと遅くします。 「遠い」を「遅い」で代用します。

bash
$ mkdir -p ~/cdnlab/origin
$ cat > ~/cdnlab/origin/index.html <<'HTML'
  <h1>オリジンの中身 v1</h1>
  HTML

オリジンは Node.js で作ります。200ms 待ってから返すサーバーです。

bash
$ nano ~/cdnlab/origin.js
const http = require("node:http");
const fs = require("node:fs");

let hits = 0; // オリジンに何回届いたかを数える

http
  .createServer((req, res) => {
    hits++;
    console.log(`origin hit ${hits}: ${req.url}`);
    setTimeout(() => {
      const body = fs.readFileSync("/home/" + process.env.USER + "/cdnlab/origin/index.html");
      res.writeHead(200, {
        "Content-Type": "text/html; charset=utf-8",
        "Cache-Control": "public, max-age=60",
      });
      res.end(body);
    }, 200); // 200ミリ秒かかることにする
  })
  .listen(3100, "127.0.0.1", () => console.log("origin on 3100"));

起動します。

bash
$ node ~/cdnlab/origin.js

別の端末で確認します。

bash
$ time curl -s http://127.0.0.1:3100/ | head -1
<h1>オリジンの中身 v1</h1>

real    0m0.209s

0.2秒かかっています。

エッジ役を nginx で立てる

bash
$ sudo nano /etc/nginx/conf.d/edge.conf
proxy_cache_path /var/cache/nginx/edge levels=1:2 keys_zone=edge:10m max_size=100m inactive=10m;

server {
    listen 8090;
    server_name _;

    add_header X-Cache-Status $upstream_cache_status always;

    location / {
        proxy_pass http://127.0.0.1:3100;
        proxy_cache edge;
        proxy_cache_valid 200 60s;
        proxy_cache_lock on;              # 同時に来ても、オリジンへは1回だけ
        proxy_cache_use_stale updating;   # 取り直し中は古いものを返す
    }
}

proxy_cache_path は server の外に書きます。中に書くと nginx -t で怒られます。

bash
$ sudo mkdir -p /var/cache/nginx/edge
$ sudo nginx -t && sudo systemctl reload nginx

効果を測る

1回目(エッジには何も無い):

bash
$ time curl -sI http://127.0.0.1:8090/ | grep -i x-cache-status
X-Cache-Status: MISS

real    0m0.211s

2回目:

bash
$ time curl -sI http://127.0.0.1:8090/ | grep -i x-cache-status
X-Cache-Status: HIT

real    0m0.003s

0.211秒 → 0.003秒。約70倍です。

オリジン側の端末を見てください。origin hit が増えていません。 エッジで止まっています。

時間オリジンに届いたか
1回目(MISS)0.211s届いた
2回目(HIT)0.003s届いていない

これが CDN の中身です。 特別な魔法はありません。proxy_cache と同じものを、世界中に置いてあるだけです。

スクリーンショットを撮ってください: 02_MISSとHIT.png X-Cache-Status: MISS の回と HIT の回を、時間つきで並べて撮ってください。


③ キャッシュを消す

オリジンの中身を変えます。

bash
$ cat > ~/cdnlab/origin/index.html <<'HTML'
  <h1>オリジンの中身 v2</h1>
  HTML

エッジに取りに行きます。

bash
$ curl -s http://127.0.0.1:8090/
<h1>オリジンの中身 v1</h1>

古いままです。 オリジンは v2 になっているのに、エッジは v1 を返し続けます。

これが CDN で一番はまるところです。 「直したのに反映されない」の正体は、たいていこれです。

消す方法は3つある

方法やり方反映まで確実さ
① 期限が切れるのを待つ何もしない最大 TTL 分確実だが遅い
② パージするエッジに消せと言う数秒〜数分CDN による(有料機能のことも)
③ URLを変えるファイル名を変える即座一番確実

① 待つ

proxy_cache_valid 200 60s にしたので、60秒後には取り直します。

bash
$ sleep 60 && curl -s http://127.0.0.1:8090/
<h1>オリジンの中身 v2</h1>

待てば直ります。 ただし60秒間は古いものが出ます。

② パージする

nginx の無料版にはパージ機能がありません(有償版か、サードパーティのモジュールが要ります)。キャッシュファイルを直接消すのが手っ取り早い方法です。

bash
$ sudo find /var/cache/nginx/edge -type f -delete
$ curl -sI http://127.0.0.1:8090/ | grep -i x-cache-status
X-Cache-Status: MISS

消えました。

本物のCDNでは、これを「全拠点に伝える」必要があります。 世界中の拠点に反映されるまで時間がかかりますし、パージ回数に制限や課金があるCDNもあります。

③ URLを変える

これが最も確実です。

index.html は変えず、中で読み込むファイルの名前を変えます。

bash
$ echo 'body{color:navy}' > ~/cdnlab/origin/style.a1b2c3.css

HTMLからは style.a1b2c3.css を読みます。中身を変えたら style.d4e5f6.css という別の名前にします。

古いURLは誰も要求しなくなるだけで、消す必要すらありません。

これはビルドツールの回で見た「ハッシュ付きファイル名」の正体です。 あのとき「キャッシュ対策」と書いたのは、この問題のことでした。

そして、この方法が使えないものが1つあります。HTMLそのものです。 HTMLのURLは変えられません(それが入口だから)。だからHTMLはキャッシュしない、が定石になります。

キャッシュ期間理由
ハッシュ付きのCSS・JS・画像1年中身が変わればURLも変わる
HTMLキャッシュしないURLを変えられない
APIの応答キャッシュしない(原則)内容が変わる

④ プル型とプッシュ型

エッジがどうやって中身を手に入れるかには、2通りあります。

プル型プッシュ型
やり方要求が来てからオリジンに取りに行く先に全拠点に配っておく
最初の1人遅い(オリジンまで往復する)速い
手間置くだけ配る操作が要る
向いているものほとんどの用途巨大なファイル / 配信開始時刻が決まっているもの

いま作ったのはプル型です。 1回目が MISS で遅かったのがその証拠です。

普通はプル型を選びます。 プッシュ型は、動画配信のように「開始と同時にアクセスが集中すると分かっている」場合の選択肢です。


⑤ キャッシュしてはいけないもの

ここが事故の温床です。

ログイン後の画面を、共有キャッシュに入れてしまうと、他人の情報が別の人に見えます。

安全に確認します。ダミーの利用者名で試します。

オリジンを少し変えて、Cookie によって内容を変えるようにします。

bash
$ nano ~/cdnlab/origin.js

setTimeout の中を、こう書き換えます。

    setTimeout(() => {
      const who = /user=([a-z0-9]+)/.exec(req.headers.cookie || "");
      const name = who ? who[1] : "ゲスト";
      res.writeHead(200, {
        "Content-Type": "text/html; charset=utf-8",
        "Cache-Control": "public, max-age=60", // ⚠️ これが間違い
      });
      res.end(`<h1>ようこそ ${name} さん</h1>`);
    }, 200);

再起動して、2人分アクセスします。

bash
$ sudo find /var/cache/nginx/edge -type f -delete
$ curl -s -H "Cookie: user=taro" http://127.0.0.1:8090/
$ curl -s -H "Cookie: user=hanako" http://127.0.0.1:8090/
<h1>ようこそ taro さん</h1>
<h1>ようこそ taro さん</h1>

hanako さんに taro さんの画面が出ました。

エッジは Cookie を見ていません。 同じURLなら同じ内容だと思っています。

直す

個人向けの内容には private を付けます。

        "Cache-Control": "private, no-store",
  • private: エッジ(共有キャッシュ)には保存するな。ブラウザだけならよい
  • no-store: どこにも保存するな

再起動して確認します。

bash
$ sudo find /var/cache/nginx/edge -type f -delete
$ curl -s -H "Cookie: user=taro" http://127.0.0.1:8090/
$ curl -s -H "Cookie: user=hanako" http://127.0.0.1:8090/
<h1>ようこそ taro さん</h1>
<h1>ようこそ hanako さん</h1>

直りました。

エッジ側でも二重に防ぎます。 アプリのヘッダ設定ミスに備えて、キャッシュしない条件を明示します。

        proxy_no_cache $http_cookie;
        proxy_cache_bypass $http_cookie;
ヘッダブラウザエッジ(共有)
public, max-age=60保存する保存する
private, max-age=60保存する保存しない
no-store保存しない保存しない

判断は単純です。 ログインしないと見えない内容は、共有キャッシュに入れない。

スクリーンショットを撮ってください: 03_他人の画面が出る.png hanako さんのCookieで taro さんの名前が出ている画面を撮ってください。直したあとの画面も一緒に撮ると対比になります。


⑥ オリジンを守る

期限が切れた瞬間に、待っていた全員がオリジンへ殺到します。

キャッシュをどこに置くかの回で見たスタンピードが、エッジでも起きます。

さっき書いた2行が、それを防いでいます。

        proxy_cache_lock on;
        proxy_cache_use_stale updating;
指定何をするか
proxy_cache_lock on同時に来たら、オリジンへ行くのは1つだけ。他は待つ
proxy_cache_use_stale updating取り直している間は、古い内容を返す。待たせない

確認します。⑤で private, no-store にしたままだとエッジに保存されず、50本ともオリジンへ届きます。 先に origin.js の Cache-Control を public, max-age=60 に戻し、オリジンを再起動してください(数え直しにもなります)。そのうえでキャッシュを空にして(期限切れと同じ状態にして)、同時に50本叩きます。

bash
$ sudo find /var/cache/nginx/edge -type f -delete
$ seq 50 | xargs -P 50 -I{} curl -s -o /dev/null http://127.0.0.1:8090/

オリジン側の端末を見ます。

origin hit 1: /

1回しか届いていません。 ロックが効いています。

proxy_cache_lock を外して同じことをすると、origin hit 50 まで増えます。 試してみると差がよく分かります。

stale-while-revalidate

HTTPの標準にも同じ考え方があります。

Cache-Control: public, max-age=60, stale-while-revalidate=600

「60秒は新鮮。それを過ぎても600秒までは、古いものを返しつつ裏で取り直してよい」という意味です。

利用者を待たせずに、オリジンも守れます。 対応しているCDNなら、これを書くだけで効きます。


⑦ CDN が肩代わりしている、他のこと

キャッシュだけではありません。

機能何をしているか
TLS終端暗号化の処理をエッジでやる。ハンドシェイクの往復が短くなる(近いから)
圧縮gzip / Brotli をエッジで掛ける
攻撃の吸収大量アクセスを拠点で受け止める。オリジンまで来ない
画像の変換端末に合わせてサイズや形式を変える
経路の最適化エッジからオリジンまでを、専用の経路で運ぶ

「TLS終端が近い」のは、①で見た往復の話がそのまま効きます。 ハンドシェイクの2往復が、100ms から 5ms になります。キャッシュが効かない動的なページでも、CDNを通すと速くなるのはこれが理由です。


⑧ 個人サイトに要るか

正直に書きます。

料金は変わるので書きません。 検討するときは必ず公式の料金ページを見てください。多くのCDNに無料枠がありますが、転送量を超えると課金されます。

効果が出る条件は、はっきりしています。

条件効くか
利用者が地理的に散っている効く
静的ファイル(画像・CSS・JS)が多い効く
同じ内容に何度もアクセスがある効く
利用者が国内だけ効きは小さい
ログイン後の内容が中心ほとんど効かない
アクセスが1日数十件要らない

このサイトはレンタルサーバーで動いていて、読者もほぼ国内です。 静的ホスティングの回で見たとおり、GitHub Pages や Netlify を使うと最初からCDNが付いてきます。 自分で契約する場面は、いまのところありません。

それでも仕組みを知っておく価値はあります。 「直したのに反映されない」の原因が分かるのは、この知識だけです。


個人サイトではなく会社のサイトで、CDNの導入から運用まで日本語で任せたい場合は、Cloudflareのように代理店がアカウント開設・DNS切り替え・運用サポートまで請け負う形もあります。2026年11月時点の公式表示では初期アカウント開設費用5万円(税抜)に初期設定代行費用(Proは15万円)と月額(Proは1万PV以下で1万円)が別にかかり、契約は最低12ヵ月の年間契約・1ドメイン単位です。

つまずいたところ

proxy_cache_path を server の中に書いて nginx -t が通らなかった。 "proxy_cache_path" directive is not allowed here と出ます。http ブロックの直下(conf.d に置くファイルなら、server の外)に書きます。

X-Cache-Status が出なかった。 add_header に always を付け忘れていました。always が無いと、200以外の応答でヘッダが付きません。 キャッシュをどこに置くかの回でも同じところで詰まりました。

HIT にならず、ずっと MISS だった。 オリジンが Set-Cookie を返していました。nginx は既定で、Set-Cookie が付いた応答をキャッシュしません。 これは安全側の挙動で、正しい動作です。今回はそれに気づかず「壊れた」と思いました。

キャッシュを消したつもりが消えていなかった。 find ... -delete の対象ディレクトリを間違えていました。ls -R /var/cache/nginx/edge で実際に空になったかを見る癖を付けました。

ping の値が毎回違って、理論値と比べられなかった。 1回だけでは判断できません。-c 20 くらい打って avg を見るようにしました。それでも時間帯で変わります。

「回線を速くすれば距離は解決する」と思っていた。 ①の計算をするまで、本当にそう思っていました。帯域と遅延は別の量です。太い水道管にしても、水が届くまでの時間は変わりません。

ハッシュ付きファイル名の意味を、初めて理解した。 ビルドツールの回では「キャッシュ対策」としか書けていませんでした。消せないから、URLを変えて置き去りにするという発想だったと、ここで分かりました。


後片づけ

エッジの設定を消します。

bash
$ sudo rm /etc/nginx/conf.d/edge.conf
$ sudo nginx -t && sudo systemctl reload nginx

キャッシュを消します。

bash
$ sudo rm -rf /var/cache/nginx/edge

オリジンを止めます。

bash
$ pkill -f "node .*origin.js"
$ ss -tlnp | grep 3100

何も出なければ止まっています。

練習用フォルダを消します。

bash
$ cd ~ && rm -rf ~/cdnlab

nginx が元の状態に戻っていることを確認します。

bash
$ curl -sI http://localhost/ | head -1
$ sudo systemctl status nginx --no-pager | head -3

まとめ — 理解できたこと

  • 距離は速度で解決できない。 光ファイバ中で秒速20万km が上限で、回線を太くしても縮まらない
  • 東京〜ロンドンで往復96ms が理論値。実際はその1.5〜2倍
  • 1ページ取るのに4〜5往復する(DNS / TCP / TLS / HTTP)。RTT 100ms なら半秒
  • CDN が速いのは、賢いからではなく近いから
  • エッジとオリジンの関係は proxy_cache と同じ形。手元で作れて、0.211秒 → 0.003秒になる
  • オリジンを直しても、エッジは古いまま返し続ける
  • 消す方法は3つ。一番確実なのは「消す」ではなく「URLを変える」
  • ハッシュ付きファイル名の正体はこれ。HTMLはURLを変えられないのでキャッシュしない
  • プル型が普通。プッシュ型は配信開始が決まっているもの向け
  • ログイン後の内容を共有キャッシュに入れると、他人の画面が出る。private か no-store
  • エッジ側でも二重に防ぐ(proxy_no_cache $http_cookie)
  • 期限切れの瞬間に殺到する。proxy_cache_lock と stale-while-revalidate で守る
  • CDN はキャッシュだけではない。TLS終端が近いので、動的なページでも速くなる
  • 個人サイトには、たいてい要らない。ただし「反映されない」の原因を知るために、仕組みは知っておく

参考リンク


次に読む

この記事は 【深掘り】システム設計 の 6 / 17 本目です。

記事
← 前の記事キャッシュの書き込み戦略 — 更新したのに古い値が返る
→ 次の記事非同期処理とジョブキュー — 1つの遅い処理が全部を止める

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

System Design›System Design — CDN
  • 距離は速度で解決できない
  • プル型とプッシュ型 / 消し方3種

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次