※本記事はアフィリエイト広告(PR)を含みます。
「システム設計」という言葉には、たいてい図が付いてきます。四角がいくつも並んで、間に矢印が引いてあるやつです。
前回: 待っている時間に課金されない — サーバーレスとLambda 作業場所はVMの中(Ubuntu Server)です。
~/serverのAPI、nginx、MySQL、Redis が動いている状態から始めます。
あれを眺めても、何も分かりません。 自分のサーバーがいま何件さばけるのかを知らないまま、ロードバランサの絵を見ても、置く理由が無いからです。
そして、この分野で一番多い誤解がこれです。
設計とは「速くする方法」を選ぶことだ。
違います。
設計とは、「どこが先に詰まるかを知っていること」です。
速くする手段は、調べれば10分で20個出てきます。しかし自分のシステムのどこが最初に音を上げるのかは、測らないと絶対に分かりません。 そして詰まる場所は、手を打つたびに移動します。 アプリを増やせばデータベースが詰まり、データベースを速くすればディスクが詰まる。
この回では、実際にそれをやります。 いま持っているもの(nginx・Node.jsのAPI・MySQL・Redis)だけを使って、負荷をかけて、限界を数字にして、アプリを2つに増やして、壊して、直します。 新しいクラウドサービスは1つも使いません。
対象レベル: 中級 / 区分: 必修
この記事でわかること
- 設計は「速くする」ではなく「どこが先に詰まるかを知る」こと。手段の暗記ではないということ
- Node.js のプロセスは1つで1コアしか使わないこと。CPUが2本あっても、1プロセスなら1本しか回らない
- アプリを2台に増やすと、認証が黙って壊れること。そして、その理由がセッションの置き場所だということ
- ボトルネックは動くこと。アプリを増やすと次はデータベースが詰まる。銀の弾丸は無い
- 冗長化は「同時に壊れないこと」が前提だということ。同じVMの中で2つ動かしても、可用性は上がらない
この記事でやること
- 負荷試験の道具(
ab)をVMに入れて、いまの限界を req/s の数字で出す app.jsをポート番号で起動できるようにして、アプリを2つ動かす- nginx に
upstreamを書いて振り分け、両方に届いていることを確かめる - ログインが切れる事故をわざと起こして、セッションの置き場所で直す
- 1台を落としても200が返ることを確認し、キャッシュをどこに置くかの地図に整理する
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| 負荷分散(ロードバランサ) | 来たリクエストを複数のサーバーに振り分けるもの。今回は nginx がそれをやる |
upstream | nginx の設定で、振り分け先の一覧に付ける名前 |
| スケールアップ(垂直) | 1台を大きくする。CPUやメモリを増やす |
| スケールアウト(水平) | 台数を増やす。今回やるのはこっち |
| ステートレス | アプリが自分の中に状態を持たないこと。どのサーバーに行っても同じ結果になる |
| スティッキーセッション | 同じ人を、いつも同じサーバーに送るやり方。今回、これは本命ではない |
| ヘルスチェック | 振り分け先が生きているか確認して、死んでいる側に送らない仕組み |
| スループット | 1秒に何件さばけるか(req/s)。「速さ」のうち量のほう |
| レイテンシ | 1件が返るまで何ミリ秒か。「速さ」のうち待ち時間のほう |
| ボトルネック | 全体の速さを決めている一番細いところ。瓶の首 |
| 負荷試験 | わざと大量のリクエストを送って、限界を測ること |
スループットとレイテンシは別の数字です。 「速くしたい」と言うとき、どっちの話なのかを先に決めてください。 混ぜると議論が終わりません。
負荷試験は、自分のVMにだけかける
最初にこれを書きます。
負荷試験を、他人のサーバーに向けて撃たないでください。
これから使う道具は、大量のリクエストを機械的に送りつけるものです。向ける先を間違えると、やっていることは攻撃(DoS)と区別がつきません。
| 撃っていい | 撃ってはいけない |
|---|---|
| 自分のPCの中で動いている自分のVM | 他人のサイト。例に出ていたURLも含む |
| (今回はこれだけ) | 自分が借りているレンタルサーバーやVPS(規約で禁止・帯域の共有先に迷惑がかかる) |
| 会社のサーバー(許可と事前連絡が要る。勝手にやらない) | |
| クラウド上の自分のインスタンス(各社に負荷試験の申請ルールがある) |
今回の宛先は localhost と、自分のVMのIPだけです。 VMware の仮想マシンは自分のPCの中に閉じているので、外に一切迷惑がかかりません。 障害の回で「わざと壊せるのがVMの価値」と書いたのと、まったく同じ理由です。
① まず測る — いまの限界を数字にする
このサイトの型です。 キャッシュの回でも、入れる前に測りました。今回も、増やす前に測ります。
道具を入れる
ab(Apache Bench)を使います。 Ubuntu の標準リポジトリに入っていて、1コマンドで入り、設定ファイルも要りません。
入ったか確認します。
This is ApacheBench, Version 2.3 <$Revision: 1903618 $>
apache2-utilsであってapache2ではありません。 Webサーバーの Apache は入りません(入れると80番を nginx と取り合って事故ります)。道具だけが入るパッケージです。他の選択肢もあります。
hey(Go製・Ubuntuでは配布物を自分で置く)、wrk(sudo apt install wrk)、k6(別リポジトリの登録が要る)。どれでも構いませんが、この回は「追加の準備が一番少ない」abで通します。
何を測るか決める
測る対象は /api/stats にします。 キャッシュの回で作った集計APIです。ログインが要るので、まず Cookie を取ります。
宛先が
http://localhost/になっています(:3000が付いていません)。前に nginx が立っているからです。リバースプロキシの回でやったとおりです。今回は最初から最後まで、利用者と同じ入口(80番)で測ります。
ab は Cookie ファイルを読めません。 値だけ取り出して渡します。
s%3AkL3v9xQ2mB7...
cookie.txtは Netscape 形式という決まったテキストで、7列目が値です。awk '{print $7}'はそれを抜いています。 全部は表示していません。 これはそのまま他人になりすませる文字列なので、認証の回で書いたとおり、画面に出したりコピーして貼ったりしないでください。
測る
Concurrency Level: 20
Time taken for tests: 1.812 seconds
Complete requests: 2000
Failed requests: 0
Non-2xx responses: 0
Requests per second: 1103.75 [#/sec] (mean)
Time per request: 18.120 [ms] (mean)
Percentage of the requests served within a certain time (ms)
50% 17
95% 28
99% 41
100% 63 (longest request)
| オプション | 意味 |
|---|---|
-n 2000 | 合計2000件送る |
-c 20 | 同時に20件ずつ送る(20人が同時に押している状態) |
-k | 接続を使い回す(Keep-Alive)。付けないと、毎回TCP接続を作り直して測っているものがずれる |
-C | Cookieを付ける。これが無いと全部401になる |
見るところは4行だけです。
| 行 | なぜ見るか |
|---|---|
Failed requests | ここが0でないと、他の数字に意味がありません。 失敗が速いのは当たり前 |
Non-2xx responses | 401が返っているのに「速い」と喜ぶ、が一番よくある事故 |
Requests per second | スループット。 今日の主役 |
99% | レイテンシ。 平均ではなく遅かったほうを見る。平均は嘘をつく |
Failed requestsとNon-2xx responsesを必ず確認してください。 ここを見ずに req/s だけ読むと、「エラーを高速に返しているだけ」を性能だと思い込みます。 実際にやりました(後述)。
[スクリーンショット: 01_abの結果.png] ab の結果で、Failed requests: 0 と Requests per second の行が両方読める状態を撮ってください。数字は環境で違って構いません。
詰まっているのはどこか — top で見る
数字が出ました。では、この 1,100 req/s を決めているのは誰でしょうか。
測っている最中に、別のターミナルで見ます。 VS Code のターミナルなら + で増やせます(VS Code からVMを触る回)。
片方のターミナルで、長めに流し続けます。
もう片方で見ます。
2
top - 15:04:22 up 2:11, 2 users, load average: 1.42, 0.71, 0.35
%Cpu(s): 52.1 us, 9.4 sy, 0.0 ni, 36.2 id, ...
PID USER PR NI VIRT RES %CPU %MEM TIME+ COMMAND
1188 ubuntu 20 0 712344 78120 99.3 2.4 0:41.22 node
912 www-data 20 0 58204 12440 11.7 0.4 0:05.90 nginx
ここが今日の一番大事な画面です。
nprocは 2。このVMにはCPUが2本ありますnodeは%CPU 99.3。1本ぶんを使い切っています- しかし
%Cpu(s)のid(idle=暇)が 36% 残っています
CPUは2本あるのに、アプリは1本しか使っていません。
Node.js は、1プロセスで1つのことしかしません。 サーバーとは何かの回で「待ち続けるプログラム」と書いた、あのプロセスが1個しかいないからです。CPUを2本積んでも、1個のプロセスは2本使えません。
これが「どこが先に詰まっているか」の答えです。 メモリでもディスクでもMySQLでもなく、アプリのプロセスが1個しかいないことでした。
[スクリーンショット: 02_topでnodeが1コア使い切る.png] nproc の出力と、top で node の %CPU が100付近、%Cpu(s) の id がまだ残っている状態を撮ってください。
もし
nprocが1だった人へ。 この回の効果は出ません。 VMware の設定でCPUを2本以上に増やしてから進んでください(VMをシャットダウン →[仮想マシン設定の編集]→[プロセッサ])。1本のまま増やしても、数字は上がりません。
② アプリを2つ動かす
プロセスが1個なのが原因なら、2個にします。 それだけです。
ポート番号を外から決められるようにする
いまの app.js は 3000番を直接書いています。 2つ動かすには、別々のポートが要ります。
一番下の app.listen を書き換えます。
const PORT = Number(process.env.PORT) || 3000;
const INSTANCE = process.env.INSTANCE || "a";
app.listen(PORT, "127.0.0.1", () => {
console.log(`instance=${INSTANCE} listening on 127.0.0.1:${PORT}`);
});
そして、どっちが応えたか分かる出口を足します。 app.listen の上に置きます。
app.get("/api/health", (req, res) => {
res.json({ ok: true, instance: INSTANCE, pid: process.pid });
});
| 足したもの | なぜ要るか |
|---|---|
PORT | 起動するたびに違うポートを渡すため |
INSTANCE | どっちが応えたかを目で見るため。 これが無いと振り分けを確認できません |
/api/health | ログイン不要で「生きてます」と即答する出口。 ヘルスチェックにも使います |
app.listenの宛先を0.0.0.0から127.0.0.1に変えました。 リバースプロキシの回で書いた「後ろのアプリは外に晒さない。入口は nginx だけ」を、ここで実行します。戻したいときは"127.0.0.1"を"0.0.0.0"に書き戻すだけです。
/api/healthにログインを付けていません。 中身は「生きているか」と「どのプロセスか」だけで、利用者のデータは1つも出ません。 セキュリティ点検の回で/metricsを外に出すなと書いたのと同じ判断です。出していい情報かどうかを、出口ごとに決めます。
もう3000番を直接開ける必要はありません。
80番だけが開いていれば正解です。
systemd に「ポート違いで何個でも起こせる」形を作る
手で node app.js を2つ起動してもいいのですが、ターミナルを閉じたら消えます。 start と enable は別物の回でやったとおり、systemd に任せます。
ただし、いまの myserver.service は1個ぶんしか無いので、テンプレートという形を使います。
[Unit]
Description=はじめての自作Webサーバー (ポート %i)
After=network.target
[Service]
Type=simple
User=ユーザー名
WorkingDirectory=/home/ユーザー名/server
Environment=PORT=%i
Environment=INSTANCE=%i
ExecStart=/home/ユーザー名/.nvm/versions/node/v22.14.0/bin/node --env-file=/home/ユーザー名/server/.env /home/ユーザー名/server/app.js
Restart=on-failure
RestartSec=3
[Install]
WantedBy=multi-user.target
ユーザー名 と node のバージョンは、いまの myserver.service からそのままコピーしてください。
| 書いたもの | 意味 |
|---|---|
ファイル名の @ | テンプレートである印。 myserver@3000 のように名前の後ろを指定して起動する |
%i | @ の後ろに書いた文字がそのまま入る。 myserver@3000 なら %i は 3000 |
Environment=PORT=%i | それを process.env.PORT に渡す |
--env-file= | .env(DBのパスワードなど)を読ませる。 ここは絶対パスで書きます |
--env-fileは、これまで手で起動するときだけ付けていました。 サービスにも要ります。忘れるとAccess denied for user ''@'localhost'で落ちます(MySQLの回に出てきたやつです)。実際にここで踏みました。
古いほうを止めて、新しいほうを2つ起こします。
確認します。
active
active
LISTEN 0 511 127.0.0.1:3000 0.0.0.0:* users:(("node",pid=1502,fd=22))
LISTEN 0 511 127.0.0.1:3001 0.0.0.0:* users:(("node",pid=1519,fd=22))
2つのプロセスが、別々のポートで待っています。
{"ok":true,"instance":"3000","pid":1502}
{"ok":true,"instance":"3001","pid":1519}
pidが違います。 プロセスの回で見た、あのプロセスIDです。別のプロセスが2つ動いていることが、これで確定しました。戻し方。
sudo systemctl disable --now myserver@3000 myserver@3001してからsudo systemctl enable --now myserverで元の1個に戻ります。
③ nginx で振り分ける — upstream
2つ立ちましたが、いまは nginx が 3000番しか知りません。 教えます。
ファイルの一番上に upstream を足し、proxy_pass の宛先をその名前に変えます。
upstream app_servers {
server 127.0.0.1:3000;
server 127.0.0.1:3001;
}
server {
listen 80 default_server;
server_name _;
location / {
proxy_pass http://app_servers;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
変わったのは2か所だけです。
- 先頭に
upstream app_servers { ... }の4行を足した proxy_pass http://127.0.0.1:3000;をproxy_pass http://app_servers;にした
upstreamはserver { }の外に書きます。 サイトの設定ファイルは nginx 本体のhttp { }の中に読み込まれているので、このファイルの先頭に置けば正しい場所になります。server { }の中に入れると"upstream" directive is not allowed hereでnginx -tが落ちます。これも踏みました。
nginx -tが通ってからreload。 障害の回で覚えた順番です。戻すときはsudo cp /etc/nginx/sites-available/default.bak /etc/nginx/sites-available/defaultしてnginx -t && systemctl reload nginx。
本当に両方に振られているか確かめる
「設定したから振り分けられているはず」は、確認ではありません。 数えます。
{"ok":true,"instance":"3000","pid":1502}
{"ok":true,"instance":"3001","pid":1519}
{"ok":true,"instance":"3000","pid":1502}
{"ok":true,"instance":"3001","pid":1519}
{"ok":true,"instance":"3000","pid":1502}
...
交互に来ています。 これがラウンドロビン(順番に配る)で、nginx の既定の振り分け方です。
件数で数えると、もっとはっきりします。
50 "instance":"3000"
50 "instance":"3001"
50対50。 振り分けられています。
[スクリーンショット: 03_両方に振り分けられている.png] uniq -c で 3000 と 3001 がほぼ半々に並んでいる画面を撮ってください。
ログにも「どっちに行ったか」を残す
確認のたびに curl を100回打つのは現実的ではありません。 nginx のログに書かせます。
upstream ブロックの上に、1行足します。
log_format upstreamlog '$remote_addr -> $upstream_addr [$status] $request_time "$request"';
upstream app_servers {
server 127.0.0.1:3000;
server 127.0.0.1:3001;
}
server { } の中に、使う指定を足します。
access_log /var/log/nginx/access.log upstreamlog;
127.0.0.1 -> 127.0.0.1:3000 [200] 0.003 "GET /api/health HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.002 "GET /api/health HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3000 [200] 0.004 "GET /api/health HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.003 "GET /api/health HTTP/1.1"
| 変数 | 何が出るか |
|---|---|
$upstream_addr | どの振り分け先に渡したか。 落ちた側に送っていないかも、ここで分かる |
$request_time | nginx が受けてから返すまでの秒数 |
$upstream_addrは、負荷分散を入れた瞬間から必須の情報です。 これが無いと、「片方だけ遅い」「片方だけ500を返す」を永久に切り分けられません。 監視の回で「見に行った瞬間のことしか分からない」と書きましたが、ログは過去を残せます。
④ ログインが黙って切れる
ここが、この記事で一番大事なところです。
アプリを2つにした瞬間、認証が壊れます。 それも、エラーメッセージ無しで、時々だけ壊れます。一番たちが悪い形です。
なぜ壊れるのか
認証の回で作ったログインは、こういう仕組みでした。
ブラウザ ──[Cookie: connect.sid=xxx]──> サーバー
「xxx は誰だったかな」と手元を見る
「手元」がプロセスのメモリだったら、どうなるでしょうか。
1回目 → 3000番に届く → 3000番がログイン情報を作って、自分のメモリに置く
2回目 → 3001番に届く → 3001番は「xxx? 知らない」→ 401
3回目 → 3000番に届く → 200
4回目 → 3001番に届く → 401
リクエストごとに、当たったり外れたりします。
実際に起こす
いまの app.js はセッションを Redis に置いてあるので、このままでは壊れません。 わざと、置き場所を取り上げます。
store を作っている行と、session() に渡している行を、コメントにします。
// const { RedisStore } = require("connect-redis");
// const store = new RedisStore({ client: redis, prefix: "app:v1:sess:" });
app.use(
session({
// store, ← ここもコメントにする
secret: process.env.SESSION_SECRET,
resave: false,
saveUninitialized: false,
cookie: { httpOnly: true, sameSite: "lax", maxAge: 7 * 24 * 60 * 60 * 1000 },
})
);
起動ログに、警告が出ています。
Warning: connect.session() MemoryStore is not
storeを書かないと、express-session は「プロセスのメモリ」を使います。 そしてわざわざ警告を出します(NODE_ENV=productionのときだけです。unit や.envで設定していなければ警告は出ませんが、このあとの壊れ方は同じです)。 「本番向きではない」と。理由がまさに、これから起きることです。
ログインして、6回叩きます。
200 401 200 401 200 401
壊れました。 同じ Cookie、同じURL、同じ瞬間なのに、半分が401です。
利用者から見ると、こう見えます。
画面を触っていると、時々ログイン画面に飛ばされる。 戻ると直っている。再現しない。
[スクリーンショット: 04_200と401が交互に出る.png] 200 401 200 401 200 401 が並んでいる画面を撮ってください。この記事で一番撮る価値のある1枚です。
これは「認証の不具合」ではありません。 コードは1行も間違っていません。構成を変えたから壊れたのです。 1台で動いているうちは、永遠に気づきません。 だから本番で増やした日に、初めて出ます。
直す — 状態を、共有の置き場に持つ
戻します。 さっきコメントにした3か所を、元に戻すだけです。
const { RedisStore } = require("connect-redis");
const store = new RedisStore({ client: redis, prefix: "app:v1:sess:" });
app.use(
session({
store,
secret: process.env.SESSION_SECRET,
...
})
);
200 200 200 200 200 200
直りました。
Redis の中を見ると、なぜ直ったかが分かります。
app:v1:sess:kL3v9xQ2mB7...
セッションは1つだけです。 3000番も3001番も、この同じ1つを見に行っています。 どちらに届いても答えが同じになる。これが「ステートレス」の正体です。
アプリが「状態を持たない」というのは、「状態が無い」という意味ではありません。 状態を、アプリの外(共有の置き場)に置いているという意味です。
第6段階の回収
キャッシュの回で、セッションを MySQL から Redis に移しました。あのときの説明は「TTLが自動で付く」「毎回 SELECT が飛ばなくなる」でした。
本当の効き目は、今日でした。 認証の回で MySQL に置いたときも同じです。あのときの理由は「再起動しても消えないように」でしたが、共有の置き場に出しておいたおかげで、台数を増やしても壊れなかったのです。
MySQL でも Redis でも、この点は変わりません。 大事なのは「アプリのプロセスの中に置かない」というただ一点です。
「同じ人を同じサーバーに送る」という直し方について
もう1つの直し方があります。 nginx に1行足すだけです。
upstream app_servers {
ip_hash;
server 127.0.0.1:3000;
server 127.0.0.1:3001;
}
ip_hash は、接続元IPから行き先を決めます。 同じ人はいつも同じサーバーに行くので、メモリに置いたままでも動いてしまいます。 これをスティッキーセッションと呼びます。
ただし、本命ではありません。
| 問題 | 何が起きるか |
|---|---|
| 1台落ちたら | その台に張り付いていた人だけ、全員ログアウトする |
| 偏る | 同じ会社・同じ回線から来る人が全部1台に集中する(外から見ると全員同じIP) |
| 増やした瞬間に混ざる | 台数を変えると割り当てが変わり、その回だけ全員が飛ぶ |
| 前に何かいると効かない | CDNやプロキシを挟むと、IPがそいつのIPになって全員同じ扱いになる |
ip_hashは「状態を外に出せない事情がある」ときの妥協策です。 今日のように外に出せるなら、外に出すのが正解です。
ip_hashには、練習中の落とし穴もあります。 自分のPC1台からcurlを打つと、全部同じIPなので片方にしか行きません。 「振り分けられていない!」と設定を疑い始めますが、設定は正しいです。試すときは外してください。
⑤ 測り直す — 効いたのか
直ったので、もう一度同じ条件で測ります。
Failed requests: 0
Non-2xx responses: 0
Requests per second: 1892.41 [#/sec] (mean)
50% 10
95% 18
99% 26
| プロセス1個 | プロセス2個 | |
|---|---|---|
| スループット | 1,103 req/s | 1,892 req/s |
| 99%タイル | 41 ms | 26 ms |
約1.7倍。 2倍にはなっていません。
2倍にならないのが正常です。 nginx 自身もCPUを使いますし、MySQL も Redis も同じ2本のCPUを分け合っています。「台数を2倍にしたら2倍速い」は、どこにも成り立ちません。
数字は環境で違います。 大事なのは倍率ではなく、「増やす前の数字を持っていて、比べられること」です。キャッシュの回と同じ話です。
そして top をもう一度見ると、今度は node が2つ並んで、id(暇)がほぼ0になっています。 CPUを使い切りました。
⑥ ボトルネックは動く
うまくいったので、4個にしてみます。
upstream app_servers {
server 127.0.0.1:3000;
server 127.0.0.1:3001;
server 127.0.0.1:3002;
server 127.0.0.1:3003;
}
Requests per second: 1904.88 [#/sec] (mean)
1,892 → 1,904。ほぼ変わりません。
CPUが2本しか無いからです。 2個で使い切っているので、4個に増やしても取り合うだけです。むしろ切り替えの手間が増えて、遅くなることさえあります。
これが「ボトルネックは動く」ということです。
| 手を打つ前 | 詰まっていた場所 |
|---|---|
| プロセス1個 | アプリのプロセス数(CPU1本しか使えない) |
| プロセス2個 | CPUそのもの(2本を使い切った) |
| CPUを増やしたら | 次はデータベース。全プロセスが同じ1台のMySQLを見ている |
データベースが次に来る理由は、数字で見えます。
+-----------------+-------+
| Variable_name | Value |
+-----------------+-------+
| max_connections | 151 |
+-----------------+-------+
+-------------------+-------+
| Threads_connected | 42 |
+-------------------+-------+
アプリのプロセスは、それぞれ自分の接続プールを持ちます。 ORMの回で入れた knex は、既定で1プロセスあたり最大10接続です。
2個なら20。4個なら40。15個立てたら150で、
max_connectionsの151に当たります。ERROR 1040 (HY000): Too many connectionsアプリを増やしただけで、データベースが「もう受け付けない」と言い出します。 アプリ側は何も壊れていないのに、です。 これがボトルネックの移動です。
そして、その先も同じことが続きます。
| 詰まる場所 | 手 | すると次に詰まるもの |
|---|---|---|
| アプリのCPU | プロセス/台数を増やす | DBの接続数 |
| DBの接続数 | プールを絞る・接続を束ねる | DBのCPUとディスク |
| DBの読み取り | キャッシュ/読み取り専用の複製 | キャッシュの整合性(古い値) |
| DBの書き込み | これが一番きつい。 分割するしかない | 一貫性そのもの |
「読み取りは足せる。書き込みは足せない。」 ここだけ覚えて帰ってください。 読み取りはコピーを増やせばいくらでも分散できます。書き込みは正解が1つでないと困るので、コピーを増やしても解決しません。世の中の大掛かりなシステム設計の大半は、この一点をどう避けるかの工夫です。
銀の弾丸は無い、というのはこういう意味です。 どの手も、詰まる場所を次に送るだけです。だから「どこが詰まっているか」を測れることが、手段を知っていることより先に来ます。
4個は戻しておきます。
upstream からも2行消して、nginx -t && systemctl reload nginx します。
⑦ キャッシュをどこに置くか — 地図にする
「キャッシュ」と一言で呼ばれますが、置ける場所は4つあります。 Redisの回で作ったものが、この地図のどこにいるのかをはっきりさせます。
ブラウザ ──① ブラウザキャッシュ
│
├──② CDN / 前段のキャッシュ
│
nginx ────③ アプリのキャッシュ(Redis)
│ ↑ 第6段階で作ったのは、ここ
アプリ
│
MySQL ────④ DB自身のキャッシュ(バッファプール)
| # | 場所 | 誰が持つ | 効く相手 | 消せるか |
|---|---|---|---|---|
| ① | ブラウザ | 利用者のPC | その人だけ | 消せない。 期限が切れるまで待つしかない |
| ② | CDN・前段 | 世界中の配信網 | 全員 | 管理画面から消せる(反映に時間差) |
| ③ | アプリ(Redis) | 自分 | 全員 | 自分で消せる。 DEL 1つ |
| ④ | DBの中 | MySQL | 全員 | 自動。 触らない |
手前ほど速く、手前ほど消せません。 これが一番大事な性質です。
①のブラウザキャッシュは、一度配ったら取り消せません。
Cache-Control: max-age=31536000(1年)を間違って動的なページに付けると、利用者の手元に1年間、古いページが残ります。 サーバーを直しても直りません。 だから「変わらないもの(画像・CSS・JS)」にだけ長い期限を付け、HTMLには付けない、が定石です。https強制の回でリダイレクトを間違えると厄介なのと、同じ種類の怖さです。
④は、すでに効いています。 MySQL は読んだデータをメモリに載せています。
+---------------------------------------+---------+
| Variable_name | Value |
+---------------------------------------+---------+
| Innodb_buffer_pool_read_requests | 1842911 |
| Innodb_buffer_pool_reads | 3120 |
+---------------------------------------+---------+
read_requests(読みたいと言われた回数)に対して、reads(実際にディスクまで取りに行った回数)が 0.2% 弱。 99.8%はメモリで返っています。 何も設定していないのに、です。 「キャッシュを入れよう」と言う前に、すでに入っているものが効いているかを見る、という順番があります。
③(自分で作ったRedis)が効いているかも、同じように見られます。
keyspace_hits:18422
keyspace_misses:311
hits / (hits + misses)がヒット率です。 上の例で 98.3%。 ヒット率が低いキャッシュは、ただの往復です。 毎回外れているなら、Redis を1往復ぶん遅くしているだけになります。Redisの回の「入れないほうがいい場面 ⑤ヒットしないもの」が、この数字で確認できます。
設計の場面で決めるのは、「キャッシュを使うか」ではありません。
「このデータは、何秒古くていいか」
0秒(1秒も古くて困る)なら、キャッシュは置けません。 60秒でいいなら③に置けます。1年変わらないなら①に置けます。この1問だけで、置き場所はほぼ決まります。
⑧ 1台落ちても動くか
負荷分散を入れたら、ついでに手に入るものがあります。 台数が増えたので、1台落ちても残りで受けられるはずです。確かめます。
すぐに30回叩きます。
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 ...
全部200です。 利用者は、1台落ちたことに気づいていません。
ログを見ると、何が起きたか分かります。
connect() failed (111: Connection refused) while connecting to upstream, ... upstream: "http://127.0.0.1:3001/api/health"
Connection refusedは出ています。 リバースプロキシの回で502を出したときと、同じログです。 違うのは、502が利用者に返っていないことです。nginx は失敗したら、次の振り分け先に投げ直しました(proxy_next_upstreamの既定の動き)。そして落ちている側を、しばらく候補から外します。
外す条件は、明示的に書けます。
upstream app_servers {
server 127.0.0.1:3000 max_fails=3 fail_timeout=10s;
server 127.0.0.1:3001 max_fails=3 fail_timeout=10s;
}
| 指定 | 意味 |
|---|---|
max_fails=3 | 10秒の間に3回失敗したら、落ちていると判断する |
fail_timeout=10s | 10秒間は送らない。 その後もう一度試す |
backup | 普段は使わず、他が全部落ちたときだけ使う(server 127.0.0.1:3002 backup;) |
既定は
max_fails=1 fail_timeout=10sです。「1回失敗したら10秒外す」。練習では敏感すぎることがあるので、上のように緩めると挙動が読みやすくなります。
戻します。
3001番が候補に戻ってきます。
[スクリーンショット: 05_1台落としても200が返る.png] myserver@3001 を停止した状態で、200 だけが並んでいる画面を撮ってください。
これは「可用性が上がった」と言えるのか
言えません。 ここは正直に書きます。
いま2つのプロセスは、同じVMの中で動いています。 つまり、
| 壊れ方 | 耐えられるか |
|---|---|
| 片方のプロセスが落ちる | ✅ 耐えられる(いま確認した) |
| アプリのバグでどちらも落ちる | ❌ 同じコードなので、同時に落ちる |
| VMが落ちる / 再起動する | ❌ 両方消える |
| MySQL が落ちる | ❌ 1台しか無いので全滅(障害の回の障害③) |
| Redis が落ちる | ❌ 全員ログアウト |
| nginx が落ちる | ❌ 入口が1つなので全滅 |
冗長化は「2つある」ことではありません。「2つが、独立して壊れる」ことです。
同じVM・同じ電源・同じディスク・同じ設定ファイルを共有しているものは、一緒に壊れます。 数だけ増やして安心するのが、一番危ない状態です。
では、独立させるにはどうするか。 物理的に別のマシンに置くしかありません。そして、それを扱いやすくする道具が、すでにこのサイトに出てきています。
VMを3台でクラスタを組んだ回で、1台落としてもPodが別のノードに移るのを見ました。 あれは、今日やったことを「別のマシンにまたがって、自動でやる」道具です。 今日 nginx の
upstreamに手で書いた振り分け先の一覧を、Kubernetes は勝手に作り直しています。順番はこっちが先です。 手で
upstreamを書いて、セッションで転んで、$upstream_addrを見て初めて、Kubernetes が何を肩代わりしているのかが分かります。
今日の構成は1台のVMの中でプロセスを2つに分けただけなので、VMそのものが落ちれば両方とも落ちます。本当に別のマシンへ分けて同じ実験をするなら、クラウド VPS byGMO
のように複数台をローカル接続で組める VPS で試す方法もあります。1GB(仮想2コア・50GB)が12ヶ月契約で月858円(2026-11 時点・税込)ですが、表示月額とは別にサーチャージ費が毎月かかる点と、料金が日割りでなく利用開始月と解約月も1ヶ月分かかる点は、見積もる前に確認してください。
⑨ やりすぎない
ここまで書いておいてなんですが、最後に一番現実的な話をします。
個人のサービスに、最初から負荷分散は要りません。
今日測った数字は、2コアのVM1台で 1,892 req/s でした。これは1日に換算すると1億6千万リクエストです。個人が作るサービスで、この数字に届くことは、まずありません。
それでも負荷分散を最初から入れると、こうなります。
| 増えるもの | 具体的に |
|---|---|
| デプロイ | 全台に配る必要がある。片方だけ古いコードになる事故が起きる |
| ログ | どっちのログを見ればいいのかが毎回問題になる |
| セッション・キャッシュ | 今日壊したやつ。共有の置き場が必ず要る |
| ファイルの保存 | 片方に保存した画像が、もう片方から見えない(今日は触れていませんが、必ず来ます) |
| 料金 | 台数ぶん |
そして、この複雑さは永久に付いてきます。 やめるのは、始めるより難しい。
順番は、これです。
- 測る。 遅いと言われたら、まず数字を出す
- クエリと索引を直す(Redisの回の「索引を疑う」)
- キャッシュを置く(③のアプリキャッシュ)
- 1台を大きくする(スケールアップ。CPUを増やすのが一番安くて簡単)
- それでも足りないなら、台数を増やす(今日やったこと)
今日の内容は「5番目にやること」です。 順番を飛ばして5から始めるのが、初学者が一番やりがちで、一番損をする形です。
ただし、知らずに5に行くのと、知っていて4で止めるのは、まったく違います。 止まる判断ができるようになるために、一度やっておきます。
つまずいたところ
素直に書きます。
| やったこと | 何が起きたか |
|---|---|
upstream を server { } の中に書いた | nginx -t で "upstream" directive is not allowed here。server の外(ファイルの先頭)が正しい場所 |
myserver@.service に --env-file を書き忘れた | 起動直後に落ちる。journalctl -u myserver@3000 に Access denied for user ''@'localhost'。手で動かすときは付けていたのに、unitには書いていなかった |
ab の結果が速すぎて喜んだ | Non-2xx responses: 2000。全部401だった。 Cookieを渡し忘れていた。エラーを高速に返していただけ |
ab に -k を付けずに測った | req/s が半分以下。毎回TCP接続を作り直していた。 測っていたのは接続の作成コスト |
ab が apr_socket_recv: Connection reset by peer (104) で止まった | -c を上げすぎた。手元の接続が枯れただけで、サーバーの限界ではない。 -c 20 程度から上げていく |
ip_hash を付けたまま curl で確認した | 全部3000番に行く。 設定を疑って30分溶かした。自分のPC1台からでは、IPが1つしか無い |
myserver(古いほう)を止め忘れた | Address already in use。3000番を古いサービスが掴んだままだった。 sudo ss -tlnp | grep 3000 で犯人が出る |
systemctl enable myserver@3000 の @ を忘れた | Failed to enable: No such file or directory。テンプレートは @ 込みで指定する |
一番効いたのは3つ目です。
Non-2xx responsesを見ていなければ、「2倍速くなった」と書いて公開していました。 測定は、測り方を間違えると、間違いを自信に変えます。 これはキャッシュより危ない道具です。
後片づけ
練習用に増やしたものを戻します。
アプリを1個に戻すなら。
upstream も戻します。
app.jsのPORTとINSTANCEは残して構いません。process.env.PORTが無ければ3000番になるので、元のmyserver.serviceでもそのまま動きます。 ただしapp.listenの第2引数を"127.0.0.1"にしたので、VMの外から:3000で直接開けなくなっています。 戻したいときだけ"0.0.0.0"に書き直してください。基本は戻さないほうが安全です。
2個のまま進むなら、こちらを確認します。
enabled になっているかを必ず見てください。 start と enable は別物です。再起動したら片方しか上がらない、が起きます。
負荷試験の道具を消すなら。
Cookieのファイルは消します。
cookie*.txtは、そのままログイン済みの権利です。 セキュリティ点検の回の「秘密情報」と同じ扱いにしてください。.gitignoreに入っているかも確認します。
まとめ
- システム設計とは「速くする方法」ではなく、「どこが先に詰まるかを知っていること」
- 測ってから増やす。
ab -n 2000 -c 20 -kで req/s を出す。Failed requestsとNon-2xx responsesを先に見る abは自分のVMにだけ向ける。 他人のサーバー・借りているVPS・クラウドに撃たない- Node.js は1プロセスで1コアしか使わない。
nprocとtopで、CPUが余っていることを目で見る upstreamはserver { }の外。proxy_pass http://名前;に変えるだけで振り分けが始まる- 「設定したから振り分けられている」ではなく、数える。
/api/healthにインスタンス名を返させ、$upstream_addrをログに出す - 台数を増やすと認証が壊れる。 原因はコードではなくセッションの置き場所。アプリのメモリに置いたら負け
- ステートレスとは「状態が無い」ではなく「状態をアプリの外に置いた」。 Redis/MySQL に置いてあった理由の回収
ip_hash(スティッキー)は妥協策。 1台落ちたらその人たちだけログアウトする- 2倍にはならない。 1,103 → 1,892 req/s。そして4個に増やしても伸びない(CPUを使い切っている)
- ボトルネックは動く。 アプリ → CPU → DBの接続数(
max_connections151 に対し、1プロセス10接続) - 読み取りは足せる。書き込みは足せない。 大掛かりな設計の大半は、この一点の工夫
- キャッシュは4か所。 手前ほど速く、手前ほど消せない。Redis は「消せる側」の一番手前
- 決めるのは「使うか」ではなく「何秒古くていいか」。 0秒なら置けない
- 冗長化は「2つある」ではなく「2つが独立して壊れる」。 同じVMの2プロセスは一緒に死ぬ
- 個人のサービスに最初から負荷分散は要らない。 測る → 索引 → キャッシュ → 1台を大きくする → 最後に台数
参考リンク
- roadmap.sh — System Design
- roadmap.sh — Backend(Scaling / Caching の項目)
- nginx — Using nginx as HTTP load balancer
- nginx — ngx_http_upstream_module
- nginx — ngx_http_proxy_module(
proxy_next_upstream) - ApacheBench(ab)公式ドキュメント
- systemd.unit — テンプレートと
%i - Node.js — Cluster
- Express — Production Best Practices: Performance
- MySQL — Too many connections
- Redis — INFO コマンド
- MDN — Cache-Control
次に読む
この記事は 【第8段階】深掘り の 1 / 30 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- 水平スケールと垂直スケール
- ロードバランサ(nginx upstream)
- ステートレスなアプリとセッションの外部化
- キャッシュの階層(CDN / アプリ / DB)
- 可用性とヘルスチェック
この記事は、上の項目を実際に手を動かして確かめる回です。

コメント