ボトルネックは動く — 負荷分散とキャッシュの設計

負荷分散とキャッシュの設計。複数のサーバーに分岐する通信の道、キャッシュの箱と状態メーター。

※本記事はアフィリエイト広告(PR)を含みます。

「システム設計」という言葉には、たいてい図が付いてきます。四角がいくつも並んで、間に矢印が引いてあるやつです。

前回: 待っている時間に課金されない — サーバーレスとLambda 作業場所はVMの中(Ubuntu Server)です。~/server のAPI、nginx、MySQL、Redis が動いている状態から始めます。

あれを眺めても、何も分かりません。 自分のサーバーがいま何件さばけるのかを知らないまま、ロードバランサの絵を見ても、置く理由が無いからです。

そして、この分野で一番多い誤解がこれです。

設計とは「速くする方法」を選ぶことだ。

違います。

設計とは、「どこが先に詰まるかを知っていること」です。

速くする手段は、調べれば10分で20個出てきます。しかし自分のシステムのどこが最初に音を上げるのかは、測らないと絶対に分かりません。 そして詰まる場所は、手を打つたびに移動します。 アプリを増やせばデータベースが詰まり、データベースを速くすればディスクが詰まる。

この回では、実際にそれをやります。 いま持っているもの(nginx・Node.jsのAPI・MySQL・Redis)だけを使って、負荷をかけて、限界を数字にして、アプリを2つに増やして、壊して、直します。 新しいクラウドサービスは1つも使いません。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • 設計は「速くする」ではなく「どこが先に詰まるかを知る」こと。手段の暗記ではないということ
  • Node.js のプロセスは1つで1コアしか使わないこと。CPUが2本あっても、1プロセスなら1本しか回らない
  • アプリを2台に増やすと、認証が黙って壊れること。そして、その理由がセッションの置き場所だということ
  • ボトルネックは動くこと。アプリを増やすと次はデータベースが詰まる。銀の弾丸は無い
  • 冗長化は「同時に壊れないこと」が前提だということ。同じVMの中で2つ動かしても、可用性は上がらない

この記事でやること

  1. 負荷試験の道具(ab)をVMに入れて、いまの限界を req/s の数字で出す
  2. app.js をポート番号で起動できるようにして、アプリを2つ動かす
  3. nginx に upstream を書いて振り分け、両方に届いていることを確かめる
  4. ログインが切れる事故をわざと起こして、セッションの置き場所で直す
  5. 1台を落としても200が返ることを確認し、キャッシュをどこに置くかの地図に整理する

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
負荷分散(ロードバランサ)来たリクエストを複数のサーバーに振り分けるもの。今回は nginx がそれをやる
upstreamnginx の設定で、振り分け先の一覧に付ける名前
スケールアップ(垂直)1台を大きくする。CPUやメモリを増やす
スケールアウト(水平)台数を増やす。今回やるのはこっち
ステートレスアプリが自分の中に状態を持たないこと。どのサーバーに行っても同じ結果になる
スティッキーセッション同じ人を、いつも同じサーバーに送るやり方。今回、これは本命ではない
ヘルスチェック振り分け先が生きているか確認して、死んでいる側に送らない仕組み
スループット1秒に何件さばけるか(req/s)。「速さ」のうち量のほう
レイテンシ1件が返るまで何ミリ秒か。「速さ」のうち待ち時間のほう
ボトルネック全体の速さを決めている一番細いところ。瓶の首
負荷試験わざと大量のリクエストを送って、限界を測ること

スループットとレイテンシは別の数字です。 「速くしたい」と言うとき、どっちの話なのかを先に決めてください。 混ぜると議論が終わりません。

負荷試験は、自分のVMにだけかける

最初にこれを書きます。

負荷試験を、他人のサーバーに向けて撃たないでください。

これから使う道具は、大量のリクエストを機械的に送りつけるものです。向ける先を間違えると、やっていることは攻撃(DoS)と区別がつきません。

撃っていい撃ってはいけない
自分のPCの中で動いている自分のVM他人のサイト。例に出ていたURLも含む
(今回はこれだけ)自分が借りているレンタルサーバーやVPS(規約で禁止・帯域の共有先に迷惑がかかる)
会社のサーバー(許可と事前連絡が要る。勝手にやらない)
クラウド上の自分のインスタンス(各社に負荷試験の申請ルールがある)

今回の宛先は localhost と、自分のVMのIPだけです。 VMware の仮想マシンは自分のPCの中に閉じているので、外に一切迷惑がかかりません。 障害の回で「わざと壊せるのがVMの価値」と書いたのと、まったく同じ理由です。

① まず測る — いまの限界を数字にする

このサイトの型です。 キャッシュの回でも、入れる前に測りました。今回も、増やす前に測ります。

道具を入れる

ab(Apache Bench)を使います。 Ubuntu の標準リポジトリに入っていて、1コマンドで入り、設定ファイルも要りません。

bash
$ sudo apt update
$ sudo apt install -y apache2-utils

入ったか確認します。

bash
$ ab -V
This is ApacheBench, Version 2.3 <$Revision: 1903618 $>

apache2-utils であって apache2 ではありません。 Webサーバーの Apache は入りません(入れると80番を nginx と取り合って事故ります)。道具だけが入るパッケージです。

他の選択肢もあります。 hey(Go製・Ubuntuでは配布物を自分で置く)、wrk(sudo apt install wrk)、k6(別リポジトリの登録が要る)。どれでも構いませんが、この回は「追加の準備が一番少ない」ab で通します。

何を測るか決める

測る対象は /api/stats にします。 キャッシュの回で作った集計APIです。ログインが要るので、まず Cookie を取ります。

bash
$ cd ~/server
$ curl -s -c cookie.txt -X POST http://localhost/api/login \
    -H "Content-Type: application/json" \
    -d '{"email":"me@example.com","password":"pass12345"}' > /dev/null

宛先が http://localhost/ になっています(:3000 が付いていません)。前に nginx が立っているからです。リバースプロキシの回でやったとおりです。今回は最初から最後まで、利用者と同じ入口(80番)で測ります。

ab は Cookie ファイルを読めません。 値だけ取り出して渡します。

bash
$ SID=$(awk '/connect.sid/{print $7}' cookie.txt)
$ echo "${SID:0:20}..."
s%3AkL3v9xQ2mB7...

cookie.txt は Netscape 形式という決まったテキストで、7列目が値です。awk '{print $7}' はそれを抜いています。 全部は表示していません。 これはそのまま他人になりすませる文字列なので、認証の回で書いたとおり、画面に出したりコピーして貼ったりしないでください。

測る

bash
$ ab -n 2000 -c 20 -k -C "connect.sid=$SID" http://localhost/api/stats
Concurrency Level:      20
Time taken for tests:   1.812 seconds
Complete requests:      2000
Failed requests:        0
Non-2xx responses:      0
Requests per second:    1103.75 [#/sec] (mean)
Time per request:       18.120 [ms] (mean)

Percentage of the requests served within a certain time (ms)
  50%     17
  95%     28
  99%     41
 100%     63 (longest request)
オプション意味
-n 2000合計2000件送る
-c 20同時に20件ずつ送る(20人が同時に押している状態)
-k接続を使い回す(Keep-Alive)。付けないと、毎回TCP接続を作り直して測っているものがずれる
-CCookieを付ける。これが無いと全部401になる

見るところは4行だけです。

行なぜ見るか
Failed requestsここが0でないと、他の数字に意味がありません。 失敗が速いのは当たり前
Non-2xx responses401が返っているのに「速い」と喜ぶ、が一番よくある事故
Requests per secondスループット。 今日の主役
99%レイテンシ。 平均ではなく遅かったほうを見る。平均は嘘をつく

Failed requests と Non-2xx responses を必ず確認してください。 ここを見ずに req/s だけ読むと、「エラーを高速に返しているだけ」を性能だと思い込みます。 実際にやりました(後述)。

[スクリーンショット: 01_abの結果.png] ab の結果で、Failed requests: 0 と Requests per second の行が両方読める状態を撮ってください。数字は環境で違って構いません。

詰まっているのはどこか — top で見る

数字が出ました。では、この 1,100 req/s を決めているのは誰でしょうか。

測っている最中に、別のターミナルで見ます。 VS Code のターミナルなら + で増やせます(VS Code からVMを触る回)。

片方のターミナルで、長めに流し続けます。

bash
$ ab -n 20000 -c 20 -k -C "connect.sid=$SID" http://localhost/api/stats

もう片方で見ます。

bash
$ nproc
$ top -b -n 1 | head -15
2
top - 15:04:22 up  2:11,  2 users,  load average: 1.42, 0.71, 0.35
%Cpu(s): 52.1 us,  9.4 sy,  0.0 ni, 36.2 id, ...
    PID USER      PR  NI    VIRT    RES  %CPU %MEM     TIME+ COMMAND
   1188 ubuntu    20   0  712344  78120  99.3  2.4   0:41.22 node
    912 www-data  20   0   58204  12440  11.7  0.4   0:05.90 nginx

ここが今日の一番大事な画面です。

  • nproc は 2。このVMにはCPUが2本あります
  • node は %CPU 99.3。1本ぶんを使い切っています
  • しかし %Cpu(s) の id(idle=暇)が 36% 残っています

CPUは2本あるのに、アプリは1本しか使っていません。

Node.js は、1プロセスで1つのことしかしません。 サーバーとは何かの回で「待ち続けるプログラム」と書いた、あのプロセスが1個しかいないからです。CPUを2本積んでも、1個のプロセスは2本使えません。

これが「どこが先に詰まっているか」の答えです。 メモリでもディスクでもMySQLでもなく、アプリのプロセスが1個しかいないことでした。

[スクリーンショット: 02_topでnodeが1コア使い切る.png] nproc の出力と、top で node の %CPU が100付近、%Cpu(s) の id がまだ残っている状態を撮ってください。

もし nproc が 1 だった人へ。 この回の効果は出ません。 VMware の設定でCPUを2本以上に増やしてから進んでください(VMをシャットダウン →[仮想マシン設定の編集]→[プロセッサ])。1本のまま増やしても、数字は上がりません。

② アプリを2つ動かす

プロセスが1個なのが原因なら、2個にします。 それだけです。

ポート番号を外から決められるようにする

いまの app.js は 3000番を直接書いています。 2つ動かすには、別々のポートが要ります。

bash
$ nano ~/server/app.js

一番下の app.listen を書き換えます。

const PORT = Number(process.env.PORT) || 3000;
const INSTANCE = process.env.INSTANCE || "a";

app.listen(PORT, "127.0.0.1", () => {
  console.log(`instance=${INSTANCE} listening on 127.0.0.1:${PORT}`);
});

そして、どっちが応えたか分かる出口を足します。 app.listen の上に置きます。

app.get("/api/health", (req, res) => {
  res.json({ ok: true, instance: INSTANCE, pid: process.pid });
});
足したものなぜ要るか
PORT起動するたびに違うポートを渡すため
INSTANCEどっちが応えたかを目で見るため。 これが無いと振り分けを確認できません
/api/healthログイン不要で「生きてます」と即答する出口。 ヘルスチェックにも使います

app.listen の宛先を 0.0.0.0 から 127.0.0.1 に変えました。 リバースプロキシの回で書いた「後ろのアプリは外に晒さない。入口は nginx だけ」を、ここで実行します。戻したいときは "127.0.0.1" を "0.0.0.0" に書き戻すだけです。

/api/health にログインを付けていません。 中身は「生きているか」と「どのプロセスか」だけで、利用者のデータは1つも出ません。 セキュリティ点検の回で /metrics を外に出すなと書いたのと同じ判断です。出していい情報かどうかを、出口ごとに決めます。

もう3000番を直接開ける必要はありません。

bash
$ sudo ufw status
$ sudo ufw delete allow 3000
$ sudo ufw status

80番だけが開いていれば正解です。

systemd に「ポート違いで何個でも起こせる」形を作る

手で node app.js を2つ起動してもいいのですが、ターミナルを閉じたら消えます。 start と enable は別物の回でやったとおり、systemd に任せます。

ただし、いまの myserver.service は1個ぶんしか無いので、テンプレートという形を使います。

bash
$ sudo nano /etc/systemd/system/myserver@.service
[Unit]
Description=はじめての自作Webサーバー (ポート %i)
After=network.target

[Service]
Type=simple
User=ユーザー名
WorkingDirectory=/home/ユーザー名/server
Environment=PORT=%i
Environment=INSTANCE=%i
ExecStart=/home/ユーザー名/.nvm/versions/node/v22.14.0/bin/node --env-file=/home/ユーザー名/server/.env /home/ユーザー名/server/app.js
Restart=on-failure
RestartSec=3

[Install]
WantedBy=multi-user.target

ユーザー名 と node のバージョンは、いまの myserver.service からそのままコピーしてください。

bash
$ grep -E "User=|ExecStart=" /etc/systemd/system/myserver.service
書いたもの意味
ファイル名の @テンプレートである印。 myserver@3000 のように名前の後ろを指定して起動する
%i@ の後ろに書いた文字がそのまま入る。 myserver@3000 なら %i は 3000
Environment=PORT=%iそれを process.env.PORT に渡す
--env-file=.env(DBのパスワードなど)を読ませる。 ここは絶対パスで書きます

--env-file は、これまで手で起動するときだけ付けていました。 サービスにも要ります。忘れると Access denied for user ''@'localhost' で落ちます(MySQLの回に出てきたやつです)。実際にここで踏みました。

古いほうを止めて、新しいほうを2つ起こします。

bash
$ sudo systemctl daemon-reload
$ sudo systemctl disable --now myserver
$ sudo systemctl enable --now myserver@3000 myserver@3001

確認します。

bash
$ systemctl is-active myserver@3000 myserver@3001
$ sudo ss -tlnp | grep -E '3000|3001'
active
active
LISTEN 0  511  127.0.0.1:3000  0.0.0.0:*  users:(("node",pid=1502,fd=22))
LISTEN 0  511  127.0.0.1:3001  0.0.0.0:*  users:(("node",pid=1519,fd=22))

2つのプロセスが、別々のポートで待っています。

bash
$ curl -s http://127.0.0.1:3000/api/health; echo
$ curl -s http://127.0.0.1:3001/api/health; echo
{"ok":true,"instance":"3000","pid":1502}
{"ok":true,"instance":"3001","pid":1519}

pid が違います。 プロセスの回で見た、あのプロセスIDです。別のプロセスが2つ動いていることが、これで確定しました。

戻し方。 sudo systemctl disable --now myserver@3000 myserver@3001 してから sudo systemctl enable --now myserver で元の1個に戻ります。

③ nginx で振り分ける — upstream

2つ立ちましたが、いまは nginx が 3000番しか知りません。 教えます。

bash
$ sudo cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.bak
$ sudo nano /etc/nginx/sites-available/default

ファイルの一番上に upstream を足し、proxy_pass の宛先をその名前に変えます。

upstream app_servers {
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
}

server {
    listen 80 default_server;
    server_name _;

    location / {
        proxy_pass http://app_servers;

        proxy_set_header Host              $host;
        proxy_set_header X-Real-IP         $remote_addr;
        proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

変わったのは2か所だけです。

  • 先頭に upstream app_servers { ... } の4行を足した
  • proxy_pass http://127.0.0.1:3000; を proxy_pass http://app_servers; にした

upstream は server { } の外に書きます。 サイトの設定ファイルは nginx 本体の http { } の中に読み込まれているので、このファイルの先頭に置けば正しい場所になります。server { } の中に入れると "upstream" directive is not allowed here で nginx -t が落ちます。これも踏みました。

bash
$ sudo nginx -t
$ sudo systemctl reload nginx

nginx -t が通ってから reload。 障害の回で覚えた順番です。戻すときは sudo cp /etc/nginx/sites-available/default.bak /etc/nginx/sites-available/default して nginx -t && systemctl reload nginx。

本当に両方に振られているか確かめる

「設定したから振り分けられているはず」は、確認ではありません。 数えます。

bash
$ for i in $(seq 1 10); do curl -s http://localhost/api/health; echo; done
{"ok":true,"instance":"3000","pid":1502}
{"ok":true,"instance":"3001","pid":1519}
{"ok":true,"instance":"3000","pid":1502}
{"ok":true,"instance":"3001","pid":1519}
{"ok":true,"instance":"3000","pid":1502}
...

交互に来ています。 これがラウンドロビン(順番に配る)で、nginx の既定の振り分け方です。

件数で数えると、もっとはっきりします。

bash
$ for i in $(seq 1 100); do curl -s http://localhost/api/health; done \
    | grep -o '"instance":"[0-9]*"' | sort | uniq -c
     50 "instance":"3000"
     50 "instance":"3001"

50対50。 振り分けられています。

[スクリーンショット: 03_両方に振り分けられている.png] uniq -c で 3000 と 3001 がほぼ半々に並んでいる画面を撮ってください。

ログにも「どっちに行ったか」を残す

確認のたびに curl を100回打つのは現実的ではありません。 nginx のログに書かせます。

upstream ブロックの上に、1行足します。

log_format upstreamlog '$remote_addr -> $upstream_addr [$status] $request_time "$request"';

upstream app_servers {
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
}

server { } の中に、使う指定を足します。

    access_log /var/log/nginx/access.log upstreamlog;
bash
$ sudo nginx -t && sudo systemctl reload nginx
$ for i in $(seq 1 4); do curl -s -o /dev/null http://localhost/api/health; done
$ sudo tail -n 4 /var/log/nginx/access.log
127.0.0.1 -> 127.0.0.1:3000 [200] 0.003 "GET /api/health HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.002 "GET /api/health HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3000 [200] 0.004 "GET /api/health HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.003 "GET /api/health HTTP/1.1"
変数何が出るか
$upstream_addrどの振り分け先に渡したか。 落ちた側に送っていないかも、ここで分かる
$request_timenginx が受けてから返すまでの秒数

$upstream_addr は、負荷分散を入れた瞬間から必須の情報です。 これが無いと、「片方だけ遅い」「片方だけ500を返す」を永久に切り分けられません。 監視の回で「見に行った瞬間のことしか分からない」と書きましたが、ログは過去を残せます。

④ ログインが黙って切れる

ここが、この記事で一番大事なところです。

アプリを2つにした瞬間、認証が壊れます。 それも、エラーメッセージ無しで、時々だけ壊れます。一番たちが悪い形です。

なぜ壊れるのか

認証の回で作ったログインは、こういう仕組みでした。

ブラウザ ──[Cookie: connect.sid=xxx]──> サーバー
                                        「xxx は誰だったかな」と手元を見る

「手元」がプロセスのメモリだったら、どうなるでしょうか。

1回目 → 3000番に届く → 3000番がログイン情報を作って、自分のメモリに置く
2回目 → 3001番に届く → 3001番は「xxx? 知らない」→ 401
3回目 → 3000番に届く → 200
4回目 → 3001番に届く → 401

リクエストごとに、当たったり外れたりします。

実際に起こす

いまの app.js はセッションを Redis に置いてあるので、このままでは壊れません。 わざと、置き場所を取り上げます。

bash
$ nano ~/server/app.js

store を作っている行と、session() に渡している行を、コメントにします。

// const { RedisStore } = require("connect-redis");
// const store = new RedisStore({ client: redis, prefix: "app:v1:sess:" });

app.use(
  session({
    // store,          ← ここもコメントにする
    secret: process.env.SESSION_SECRET,
    resave: false,
    saveUninitialized: false,
    cookie: { httpOnly: true, sameSite: "lax", maxAge: 7 * 24 * 60 * 60 * 1000 },
  })
);
bash
$ sudo systemctl restart myserver@3000 myserver@3001

起動ログに、警告が出ています。

bash
$ journalctl -u myserver@3000 -n 20 --no-pager | grep -i memorystore
Warning: connect.session() MemoryStore is not

store を書かないと、express-session は「プロセスのメモリ」を使います。 そしてわざわざ警告を出します(NODE_ENV=production のときだけです。unit や .env で設定していなければ警告は出ませんが、このあとの壊れ方は同じです)。 「本番向きではない」と。理由がまさに、これから起きることです。

ログインして、6回叩きます。

bash
$ cd ~/server
$ curl -s -c cookie2.txt -X POST http://localhost/api/login \
    -H "Content-Type: application/json" \
    -d '{"email":"me@example.com","password":"pass12345"}' > /dev/null

$ for i in $(seq 1 6); do
$   curl -s -o /dev/null -w "%{http_code} " -b cookie2.txt http://localhost/api/stats
$ done; echo
200 401 200 401 200 401

壊れました。 同じ Cookie、同じURL、同じ瞬間なのに、半分が401です。

利用者から見ると、こう見えます。

画面を触っていると、時々ログイン画面に飛ばされる。 戻ると直っている。再現しない。

[スクリーンショット: 04_200と401が交互に出る.png] 200 401 200 401 200 401 が並んでいる画面を撮ってください。この記事で一番撮る価値のある1枚です。

これは「認証の不具合」ではありません。 コードは1行も間違っていません。構成を変えたから壊れたのです。 1台で動いているうちは、永遠に気づきません。 だから本番で増やした日に、初めて出ます。

直す — 状態を、共有の置き場に持つ

戻します。 さっきコメントにした3か所を、元に戻すだけです。

const { RedisStore } = require("connect-redis");
const store = new RedisStore({ client: redis, prefix: "app:v1:sess:" });

app.use(
  session({
    store,
    secret: process.env.SESSION_SECRET,
    ...
  })
);
bash
$ sudo systemctl restart myserver@3000 myserver@3001

$ curl -s -c cookie3.txt -X POST http://localhost/api/login \
    -H "Content-Type: application/json" \
    -d '{"email":"me@example.com","password":"pass12345"}' > /dev/null

$ for i in $(seq 1 6); do
$   curl -s -o /dev/null -w "%{http_code} " -b cookie3.txt http://localhost/api/stats
$ done; echo
200 200 200 200 200 200

直りました。

Redis の中を見ると、なぜ直ったかが分かります。

bash
$ redis-cli --no-auth-warning -a 'パスワード' --scan --pattern 'app:v1:sess:*'
app:v1:sess:kL3v9xQ2mB7...

セッションは1つだけです。 3000番も3001番も、この同じ1つを見に行っています。 どちらに届いても答えが同じになる。これが「ステートレス」の正体です。

アプリが「状態を持たない」というのは、「状態が無い」という意味ではありません。 状態を、アプリの外(共有の置き場)に置いているという意味です。

第6段階の回収

キャッシュの回で、セッションを MySQL から Redis に移しました。あのときの説明は「TTLが自動で付く」「毎回 SELECT が飛ばなくなる」でした。

本当の効き目は、今日でした。 認証の回で MySQL に置いたときも同じです。あのときの理由は「再起動しても消えないように」でしたが、共有の置き場に出しておいたおかげで、台数を増やしても壊れなかったのです。

MySQL でも Redis でも、この点は変わりません。 大事なのは「アプリのプロセスの中に置かない」というただ一点です。

「同じ人を同じサーバーに送る」という直し方について

もう1つの直し方があります。 nginx に1行足すだけです。

upstream app_servers {
    ip_hash;
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
}

ip_hash は、接続元IPから行き先を決めます。 同じ人はいつも同じサーバーに行くので、メモリに置いたままでも動いてしまいます。 これをスティッキーセッションと呼びます。

ただし、本命ではありません。

問題何が起きるか
1台落ちたらその台に張り付いていた人だけ、全員ログアウトする
偏る同じ会社・同じ回線から来る人が全部1台に集中する(外から見ると全員同じIP)
増やした瞬間に混ざる台数を変えると割り当てが変わり、その回だけ全員が飛ぶ
前に何かいると効かないCDNやプロキシを挟むと、IPがそいつのIPになって全員同じ扱いになる

ip_hash は「状態を外に出せない事情がある」ときの妥協策です。 今日のように外に出せるなら、外に出すのが正解です。

ip_hash には、練習中の落とし穴もあります。 自分のPC1台から curl を打つと、全部同じIPなので片方にしか行きません。 「振り分けられていない!」と設定を疑い始めますが、設定は正しいです。試すときは外してください。

⑤ 測り直す — 効いたのか

直ったので、もう一度同じ条件で測ります。

bash
$ cd ~/server
$ SID=$(awk '/connect.sid/{print $7}' cookie3.txt)
$ ab -n 2000 -c 20 -k -C "connect.sid=$SID" http://localhost/api/stats
Failed requests:        0
Non-2xx responses:      0
Requests per second:    1892.41 [#/sec] (mean)

  50%     10
  95%     18
  99%     26
プロセス1個プロセス2個
スループット1,103 req/s1,892 req/s
99%タイル41 ms26 ms

約1.7倍。 2倍にはなっていません。

2倍にならないのが正常です。 nginx 自身もCPUを使いますし、MySQL も Redis も同じ2本のCPUを分け合っています。「台数を2倍にしたら2倍速い」は、どこにも成り立ちません。

数字は環境で違います。 大事なのは倍率ではなく、「増やす前の数字を持っていて、比べられること」です。キャッシュの回と同じ話です。

そして top をもう一度見ると、今度は node が2つ並んで、id(暇)がほぼ0になっています。 CPUを使い切りました。

⑥ ボトルネックは動く

うまくいったので、4個にしてみます。

bash
$ sudo systemctl enable --now myserver@3002 myserver@3003
upstream app_servers {
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
    server 127.0.0.1:3002;
    server 127.0.0.1:3003;
}
bash
$ sudo nginx -t && sudo systemctl reload nginx
$ ab -n 2000 -c 20 -k -C "connect.sid=$SID" http://localhost/api/stats
Requests per second:    1904.88 [#/sec] (mean)

1,892 → 1,904。ほぼ変わりません。

CPUが2本しか無いからです。 2個で使い切っているので、4個に増やしても取り合うだけです。むしろ切り替えの手間が増えて、遅くなることさえあります。

これが「ボトルネックは動く」ということです。

手を打つ前詰まっていた場所
プロセス1個アプリのプロセス数(CPU1本しか使えない)
プロセス2個CPUそのもの(2本を使い切った)
CPUを増やしたら次はデータベース。全プロセスが同じ1台のMySQLを見ている

データベースが次に来る理由は、数字で見えます。

bash
$ sudo mysql -e "SHOW VARIABLES LIKE 'max_connections';"
$ sudo mysql -e "SHOW GLOBAL STATUS LIKE 'Threads_connected';"
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| max_connections | 151   |
+-----------------+-------+
+-------------------+-------+
| Threads_connected | 42    |
+-------------------+-------+

アプリのプロセスは、それぞれ自分の接続プールを持ちます。 ORMの回で入れた knex は、既定で1プロセスあたり最大10接続です。

2個なら20。4個なら40。15個立てたら150で、max_connections の151に当たります。

ERROR 1040 (HY000): Too many connections

アプリを増やしただけで、データベースが「もう受け付けない」と言い出します。 アプリ側は何も壊れていないのに、です。 これがボトルネックの移動です。

そして、その先も同じことが続きます。

詰まる場所手すると次に詰まるもの
アプリのCPUプロセス/台数を増やすDBの接続数
DBの接続数プールを絞る・接続を束ねるDBのCPUとディスク
DBの読み取りキャッシュ/読み取り専用の複製キャッシュの整合性(古い値)
DBの書き込みこれが一番きつい。 分割するしかない一貫性そのもの

「読み取りは足せる。書き込みは足せない。」 ここだけ覚えて帰ってください。 読み取りはコピーを増やせばいくらでも分散できます。書き込みは正解が1つでないと困るので、コピーを増やしても解決しません。世の中の大掛かりなシステム設計の大半は、この一点をどう避けるかの工夫です。

銀の弾丸は無い、というのはこういう意味です。 どの手も、詰まる場所を次に送るだけです。だから「どこが詰まっているか」を測れることが、手段を知っていることより先に来ます。

4個は戻しておきます。

bash
$ sudo systemctl disable --now myserver@3002 myserver@3003

upstream からも2行消して、nginx -t && systemctl reload nginx します。

⑦ キャッシュをどこに置くか — 地図にする

「キャッシュ」と一言で呼ばれますが、置ける場所は4つあります。 Redisの回で作ったものが、この地図のどこにいるのかをはっきりさせます。

ブラウザ ──① ブラウザキャッシュ
   │
   ├──② CDN / 前段のキャッシュ
   │
 nginx ────③ アプリのキャッシュ(Redis)
   │              ↑ 第6段階で作ったのは、ここ
 アプリ
   │
 MySQL ────④ DB自身のキャッシュ(バッファプール)
#場所誰が持つ効く相手消せるか
①ブラウザ利用者のPCその人だけ消せない。 期限が切れるまで待つしかない
②CDN・前段世界中の配信網全員管理画面から消せる(反映に時間差)
③アプリ(Redis)自分全員自分で消せる。 DEL 1つ
④DBの中MySQL全員自動。 触らない

手前ほど速く、手前ほど消せません。 これが一番大事な性質です。

①のブラウザキャッシュは、一度配ったら取り消せません。 Cache-Control: max-age=31536000(1年)を間違って動的なページに付けると、利用者の手元に1年間、古いページが残ります。 サーバーを直しても直りません。 だから「変わらないもの(画像・CSS・JS)」にだけ長い期限を付け、HTMLには付けない、が定石です。https強制の回でリダイレクトを間違えると厄介なのと、同じ種類の怖さです。

④は、すでに効いています。 MySQL は読んだデータをメモリに載せています。

bash
$ sudo mysql -e "SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_read%';"
+---------------------------------------+---------+
| Variable_name                         | Value   |
+---------------------------------------+---------+
| Innodb_buffer_pool_read_requests      | 1842911 |
| Innodb_buffer_pool_reads              | 3120    |
+---------------------------------------+---------+

read_requests(読みたいと言われた回数)に対して、reads(実際にディスクまで取りに行った回数)が 0.2% 弱。 99.8%はメモリで返っています。 何も設定していないのに、です。 「キャッシュを入れよう」と言う前に、すでに入っているものが効いているかを見る、という順番があります。

③(自分で作ったRedis)が効いているかも、同じように見られます。

bash
$ redis-cli --no-auth-warning -a 'パスワード' INFO stats | grep -E 'keyspace_hits|keyspace_misses'
keyspace_hits:18422
keyspace_misses:311

hits / (hits + misses) がヒット率です。 上の例で 98.3%。 ヒット率が低いキャッシュは、ただの往復です。 毎回外れているなら、Redis を1往復ぶん遅くしているだけになります。Redisの回の「入れないほうがいい場面 ⑤ヒットしないもの」が、この数字で確認できます。

設計の場面で決めるのは、「キャッシュを使うか」ではありません。

「このデータは、何秒古くていいか」

0秒(1秒も古くて困る)なら、キャッシュは置けません。 60秒でいいなら③に置けます。1年変わらないなら①に置けます。この1問だけで、置き場所はほぼ決まります。

⑧ 1台落ちても動くか

負荷分散を入れたら、ついでに手に入るものがあります。 台数が増えたので、1台落ちても残りで受けられるはずです。確かめます。

bash
$ sudo systemctl stop myserver@3001

すぐに30回叩きます。

bash
$ for i in $(seq 1 30); do curl -s -o /dev/null -w "%{http_code} " http://localhost/api/health; done; echo
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 ...

全部200です。 利用者は、1台落ちたことに気づいていません。

ログを見ると、何が起きたか分かります。

bash
$ sudo grep -c '127.0.0.1:3001' /var/log/nginx/access.log
$ sudo tail -n 3 /var/log/nginx/error.log
connect() failed (111: Connection refused) while connecting to upstream, ... upstream: "http://127.0.0.1:3001/api/health"

Connection refused は出ています。 リバースプロキシの回で502を出したときと、同じログです。 違うのは、502が利用者に返っていないことです。nginx は失敗したら、次の振り分け先に投げ直しました(proxy_next_upstream の既定の動き)。そして落ちている側を、しばらく候補から外します。

外す条件は、明示的に書けます。

upstream app_servers {
    server 127.0.0.1:3000 max_fails=3 fail_timeout=10s;
    server 127.0.0.1:3001 max_fails=3 fail_timeout=10s;
}
指定意味
max_fails=310秒の間に3回失敗したら、落ちていると判断する
fail_timeout=10s10秒間は送らない。 その後もう一度試す
backup普段は使わず、他が全部落ちたときだけ使う(server 127.0.0.1:3002 backup;)

既定は max_fails=1 fail_timeout=10s です。「1回失敗したら10秒外す」。練習では敏感すぎることがあるので、上のように緩めると挙動が読みやすくなります。

戻します。

bash
$ sudo systemctl start myserver@3001
$ for i in $(seq 1 10); do curl -s http://localhost/api/health; echo; done

3001番が候補に戻ってきます。

[スクリーンショット: 05_1台落としても200が返る.png] myserver@3001 を停止した状態で、200 だけが並んでいる画面を撮ってください。

これは「可用性が上がった」と言えるのか

言えません。 ここは正直に書きます。

いま2つのプロセスは、同じVMの中で動いています。 つまり、

壊れ方耐えられるか
片方のプロセスが落ちる✅ 耐えられる(いま確認した)
アプリのバグでどちらも落ちる❌ 同じコードなので、同時に落ちる
VMが落ちる / 再起動する❌ 両方消える
MySQL が落ちる❌ 1台しか無いので全滅(障害の回の障害③)
Redis が落ちる❌ 全員ログアウト
nginx が落ちる❌ 入口が1つなので全滅

冗長化は「2つある」ことではありません。「2つが、独立して壊れる」ことです。

同じVM・同じ電源・同じディスク・同じ設定ファイルを共有しているものは、一緒に壊れます。 数だけ増やして安心するのが、一番危ない状態です。

では、独立させるにはどうするか。 物理的に別のマシンに置くしかありません。そして、それを扱いやすくする道具が、すでにこのサイトに出てきています。

VMを3台でクラスタを組んだ回で、1台落としてもPodが別のノードに移るのを見ました。 あれは、今日やったことを「別のマシンにまたがって、自動でやる」道具です。 今日 nginx の upstream に手で書いた振り分け先の一覧を、Kubernetes は勝手に作り直しています。

順番はこっちが先です。 手で upstream を書いて、セッションで転んで、$upstream_addr を見て初めて、Kubernetes が何を肩代わりしているのかが分かります。

今日の構成は1台のVMの中でプロセスを2つに分けただけなので、VMそのものが落ちれば両方とも落ちます。本当に別のマシンへ分けて同じ実験をするなら、クラウド VPS byGMOのように複数台をローカル接続で組める VPS で試す方法もあります。1GB(仮想2コア・50GB)が12ヶ月契約で月858円(2026-11 時点・税込)ですが、表示月額とは別にサーチャージ費が毎月かかる点と、料金が日割りでなく利用開始月と解約月も1ヶ月分かかる点は、見積もる前に確認してください。

⑨ やりすぎない

ここまで書いておいてなんですが、最後に一番現実的な話をします。

個人のサービスに、最初から負荷分散は要りません。

今日測った数字は、2コアのVM1台で 1,892 req/s でした。これは1日に換算すると1億6千万リクエストです。個人が作るサービスで、この数字に届くことは、まずありません。

それでも負荷分散を最初から入れると、こうなります。

増えるもの具体的に
デプロイ全台に配る必要がある。片方だけ古いコードになる事故が起きる
ログどっちのログを見ればいいのかが毎回問題になる
セッション・キャッシュ今日壊したやつ。共有の置き場が必ず要る
ファイルの保存片方に保存した画像が、もう片方から見えない(今日は触れていませんが、必ず来ます)
料金台数ぶん

そして、この複雑さは永久に付いてきます。 やめるのは、始めるより難しい。

順番は、これです。

  1. 測る。 遅いと言われたら、まず数字を出す
  2. クエリと索引を直す(Redisの回の「索引を疑う」)
  3. キャッシュを置く(③のアプリキャッシュ)
  4. 1台を大きくする(スケールアップ。CPUを増やすのが一番安くて簡単)
  5. それでも足りないなら、台数を増やす(今日やったこと)

今日の内容は「5番目にやること」です。 順番を飛ばして5から始めるのが、初学者が一番やりがちで、一番損をする形です。

ただし、知らずに5に行くのと、知っていて4で止めるのは、まったく違います。 止まる判断ができるようになるために、一度やっておきます。

つまずいたところ

素直に書きます。

やったこと何が起きたか
upstream を server { } の中に書いたnginx -t で "upstream" directive is not allowed here。server の外(ファイルの先頭)が正しい場所
myserver@.service に --env-file を書き忘れた起動直後に落ちる。journalctl -u myserver@3000 に Access denied for user ''@'localhost'。手で動かすときは付けていたのに、unitには書いていなかった
ab の結果が速すぎて喜んだNon-2xx responses: 2000。全部401だった。 Cookieを渡し忘れていた。エラーを高速に返していただけ
ab に -k を付けずに測ったreq/s が半分以下。毎回TCP接続を作り直していた。 測っていたのは接続の作成コスト
ab が apr_socket_recv: Connection reset by peer (104) で止まった-c を上げすぎた。手元の接続が枯れただけで、サーバーの限界ではない。 -c 20 程度から上げていく
ip_hash を付けたまま curl で確認した全部3000番に行く。 設定を疑って30分溶かした。自分のPC1台からでは、IPが1つしか無い
myserver(古いほう)を止め忘れたAddress already in use。3000番を古いサービスが掴んだままだった。 sudo ss -tlnp | grep 3000 で犯人が出る
systemctl enable myserver@3000 の @ を忘れたFailed to enable: No such file or directory。テンプレートは @ 込みで指定する

一番効いたのは3つ目です。 Non-2xx responses を見ていなければ、「2倍速くなった」と書いて公開していました。 測定は、測り方を間違えると、間違いを自信に変えます。 これはキャッシュより危ない道具です。

後片づけ

練習用に増やしたものを戻します。

アプリを1個に戻すなら。

bash
$ sudo systemctl disable --now myserver@3000 myserver@3001
$ sudo systemctl enable --now myserver
$ systemctl is-active myserver

upstream も戻します。

bash
$ sudo cp /etc/nginx/sites-available/default.bak /etc/nginx/sites-available/default
$ sudo nginx -t && sudo systemctl reload nginx
$ curl -I http://localhost/

app.js の PORT と INSTANCE は残して構いません。 process.env.PORT が無ければ3000番になるので、元の myserver.service でもそのまま動きます。 ただし app.listen の第2引数を "127.0.0.1" にしたので、VMの外から :3000 で直接開けなくなっています。 戻したいときだけ "0.0.0.0" に書き直してください。基本は戻さないほうが安全です。

2個のまま進むなら、こちらを確認します。

bash
$ systemctl is-active myserver@3000 myserver@3001
$ systemctl is-enabled myserver@3000 myserver@3001
$ systemctl --failed
$ curl -s http://localhost/api/health; echo

enabled になっているかを必ず見てください。 start と enable は別物です。再起動したら片方しか上がらない、が起きます。

負荷試験の道具を消すなら。

bash
$ sudo apt purge -y apache2-utils
$ sudo apt autoremove -y

Cookieのファイルは消します。

bash
$ rm -f ~/server/cookie2.txt ~/server/cookie3.txt

cookie*.txt は、そのままログイン済みの権利です。 セキュリティ点検の回の「秘密情報」と同じ扱いにしてください。.gitignore に入っているかも確認します。

bash
$ grep -n "cookie" ~/server/.gitignore || echo "cookie*.txt" >> ~/server/.gitignore

まとめ

  • システム設計とは「速くする方法」ではなく、「どこが先に詰まるかを知っていること」
  • 測ってから増やす。 ab -n 2000 -c 20 -k で req/s を出す。Failed requests と Non-2xx responses を先に見る
  • ab は自分のVMにだけ向ける。 他人のサーバー・借りているVPS・クラウドに撃たない
  • Node.js は1プロセスで1コアしか使わない。 nproc と top で、CPUが余っていることを目で見る
  • upstream は server { } の外。 proxy_pass http://名前; に変えるだけで振り分けが始まる
  • 「設定したから振り分けられている」ではなく、数える。 /api/health にインスタンス名を返させ、$upstream_addr をログに出す
  • 台数を増やすと認証が壊れる。 原因はコードではなくセッションの置き場所。アプリのメモリに置いたら負け
  • ステートレスとは「状態が無い」ではなく「状態をアプリの外に置いた」。 Redis/MySQL に置いてあった理由の回収
  • ip_hash(スティッキー)は妥協策。 1台落ちたらその人たちだけログアウトする
  • 2倍にはならない。 1,103 → 1,892 req/s。そして4個に増やしても伸びない(CPUを使い切っている)
  • ボトルネックは動く。 アプリ → CPU → DBの接続数(max_connections 151 に対し、1プロセス10接続)
  • 読み取りは足せる。書き込みは足せない。 大掛かりな設計の大半は、この一点の工夫
  • キャッシュは4か所。 手前ほど速く、手前ほど消せない。Redis は「消せる側」の一番手前
  • 決めるのは「使うか」ではなく「何秒古くていいか」。 0秒なら置けない
  • 冗長化は「2つある」ではなく「2つが独立して壊れる」。 同じVMの2プロセスは一緒に死ぬ
  • 個人のサービスに最初から負荷分散は要らない。 測る → 索引 → キャッシュ → 1台を大きくする → 最後に台数

参考リンク


次に読む

この記事は 【第8段階】深掘り の 1 / 30 本目です。

記事
← 前の記事待っている時間に課金されない — サーバーレスとLambda
→ 次の記事サーバーから勝手には送れない — WebSocketとSSE

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

System Design/Backend›Scaling / Caching
  • 水平スケールと垂直スケール
  • ロードバランサ(nginx upstream)
  • ステートレスなアプリとセッションの外部化
  • キャッシュの階層(CDN / アプリ / DB)
  • 可用性とヘルスチェック

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次