※本記事はアフィリエイト広告(PR)を含みます。
本線で upstream に振り分け先を書きました。書いた瞬間、リクエストは2台に散りました。動いたので、そこで終わりにしていました。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の ボトルネックは動く — 負荷分散とキャッシュの設計 の続きとして、「振り分け方には種類があり、選ばないと偏る」ところだけを、実際に数えて確かめます。
前回: レイテンシとスループット — 台数を増やしたら遅くなった
この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。
前提: 本線の ボトルネックは動く — 負荷分散とキャッシュの設計を終えていて、VMの中で
nginx -vとnode -vの両方が答えること。 この記事は 8080番ポートに練習用のサイトを1つ増やします。 いま動いている 80番の設定には触りません。最後の「後片づけ」まで必ずやってください。
そのあと、台数を3台に増やしました。設定はこれだけです。
upstream lb_backend {
server 127.0.0.1:3000;
server 127.0.0.1:3001;
server 127.0.0.1:3002;
}
しばらく動かして top を見たら、3台のうち1台だけが CPU を張り付かせていて、残り2台は暇でした。
最初は「その台のアプリが壊れている」と思いました。違いました。その台だけ、少しだけ重い処理を持っていただけです。 そして nginx は、重かろうが軽かろうが、同じ数だけ投げ続けていました。
upstreamに3行書いた時点で、私は「振り分け方」を1つも選んでいませんでした。 選ばなかった結果、既定のラウンドロビン(順番に1つずつ配る)が動いていました。 ラウンドロビンは、全部の台が同じ速さであることを前提にした振り分け方です。 前提が崩れると、遅い台の前に行列ができます。
振り分け方には名前が付いた種類があります。 そして、どれを選ぶかで、遅い台が1つ混ざったときの結果がまったく変わります。 この記事は、それを数えて確かめます。
さらに、負荷分散を入れた瞬間に必ずぶつかる2つの事故——ログイン状態が消える、落ちた台にも一度は送られる——を、わざと起こして直します。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
upstreamに並べただけでは「振り分け方を選んでいない」こと。既定のラウンドロビンは全台が同じ速さを前提にしている- 遅い台が1つあると、ラウンドロビンでは全体が遅くなること。
least_connは台数を増やさずに改善すること - セッションが切れるのはロードバランサのせいではなく、アプリが状態を自分の中に持っているせいだということ
- スティッキーセッションは解決ではなく最後の手段だということ(偏る・失うと切れる)
- 既定では、落ちた台にも一度は送られてエラーになること。nginx の無料版には受動ヘルスチェックしかないこと
- ロードバランサ自身が単一障害点になること。それを消す方法は3つしかないこと
この記事でやること
- 自分の名前を返すバックエンドを3つ立て、1つだけわざと遅くする
- nginx の
upstreamで ラウンドロビン(既定)→least_connと切り替え、各台の処理件数を数えて比べる - ログイン状態を持つ画面で、リクエストごとに別の台へ行って 401 になるのを再現し、3つの直し方を比べる
- 1台を止めて
max_failsとfail_timeoutの挙動を確認し、受動ヘルスチェックの限界を見る - 立てたものを全部消す(後片づけ)
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| バックエンド(振り分け先) | ロードバランサが実際にリクエストを渡す先のサーバー。nginx では upstream の中の server 1行が1台 |
| 振り分けアルゴリズム | どの台に渡すかの決め方。ラウンドロビン・最少接続など。選ばないと既定が使われる |
| ラウンドロビン | 順番に1つずつ配る。台の忙しさを見ない。nginx の既定 |
最少接続(least_conn) | いま抱えている接続が一番少ない台に渡す。遅い台には自然と行かなくなる |
重み(weight) | 台ごとの配る割合。性能差のある台を混ぜるときに使う |
| ステートレス | サーバーがリクエストとリクエストの間に何も覚えていないこと。どの台に行っても同じ答えが返る |
| セッション | ログイン状態など、利用者ごとに覚えておく情報。どこに置くかが今日の主題 |
| スティッキーセッション | 同じ人を、いつも同じ台に送るやり方。セッションを移さずに済むが、代償がある |
| ヘルスチェック | 台が生きているかの確認。能動(定期的に見に行く)と受動(実際の失敗で判断する)がある |
| 単一障害点(SPOF) | そこが落ちると全部止まる場所。ロードバランサはその代表 |
| VIP(仮想IP) | 複数台で持ち回るIPアドレス。持っている台が落ちたら、別の台が同じIPを引き取る |
① 名前を返すバックエンドを3つ立てる
振り分けを観察するには、「どの台が答えたか」が返ってくる必要があります。 これが無いと、どんな設定をしても「たぶん散っている」以上のことは言えません。
作業用のフォルダを作ります。VMの中で打ちます。
アプリを1本だけ書きます。同じファイルを、環境変数を変えて3つ起動します。
const http = require('http');
const crypto = require('crypto');
const NAME = process.env.NAME || 'app';
const PORT = Number(process.env.PORT || 3000);
const DELAY = Number(process.env.DELAY || 0);
let served = 0;
const sessions = new Map();
function parseCookies(header) {
const out = {};
(header || '').split(';').forEach(function (part) {
const i = part.indexOf('=');
if (i > 0) out[part.slice(0, i).trim()] = part.slice(i + 1).trim();
});
return out;
}
const server = http.createServer(function (req, res) {
const url = new URL(req.url, 'http://localhost');
const cookies = parseCookies(req.headers.cookie);
// ログインしたことにして、この台のメモリにだけ覚える
if (url.pathname === '/login') {
const sid = crypto.randomBytes(8).toString('hex');
sessions.set(sid, { user: 'taro' });
res.writeHead(200, {
'Set-Cookie': 'sid=' + sid + '; Path=/',
'Content-Type': 'application/json'
});
res.end(JSON.stringify({ from: NAME, login: 'ok' }) + '\n');
return;
}
// 覚えているかどうかを答える
if (url.pathname === '/me') {
const s = sessions.get(cookies.sid);
if (!s) {
res.writeHead(401, { 'Content-Type': 'application/json' });
res.end(JSON.stringify({ from: NAME, error: 'not logged in' }) + '\n');
return;
}
res.writeHead(200, { 'Content-Type': 'application/json' });
res.end(JSON.stringify({ from: NAME, user: s.user }) + '\n');
return;
}
// 件数を見るためだけの窓口。ここは件数に数えない
if (url.pathname === '/stats') {
res.writeHead(200, { 'Content-Type': 'application/json' });
res.end(JSON.stringify({ from: NAME, served: served }) + '\n');
return;
}
served += 1;
setTimeout(function () {
res.writeHead(200, { 'Content-Type': 'application/json' });
res.end(JSON.stringify({ from: NAME, served: served, delay: DELAY }) + '\n');
}, DELAY);
});
server.listen(PORT, '127.0.0.1', function () {
console.log(NAME + ' listening on ' + PORT + ' (delay=' + DELAY + 'ms)');
});
Ctrl+O → Enter → Ctrl+X で保存します。
3つ起動します。3つ目だけ、わざと 300ミリ秒待たせます。
nohup ... &は「端末を閉じても動き続けるように、裏で起動する」という書き方です。 練習では便利ですが、本番でこの起動の仕方はしません。 動かし続けたいものはsystemdに登録します(start と enable の回)。
3つとも生きているかを確かめます。
{"from":"app-a","served":1,"delay":0}
{"from":"app-b","served":1,"delay":0}
{"from":"app-c","served":1,"delay":300}
from が3つとも違えば準備完了です。 3つ目だけ、答えが返るまで一拍あるのが分かるはずです。
うまくいかないときは cat ~/lb/a.log を見てください。EADDRINUSE なら、そのポートは他のものが使っています。本線で立てたアプリが残っているはずなので、ss -ltnp | grep 300 で確認して止めてください。
② nginx に3台をぶら下げて、件数を数える
80番の設定には触りません。 練習用のサイトを 8080番で新しく作ります。壊しても、いま動いているものに影響しません。
log_format lblog '$remote_addr -> $upstream_addr [$status] $upstream_response_time "$request"';
upstream lb_backend {
server 127.0.0.1:3000;
server 127.0.0.1:3001;
server 127.0.0.1:3002;
}
server {
listen 8080;
server_name _;
access_log /var/log/nginx/lb_access.log lblog;
location / {
proxy_pass http://lb_backend;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}
upstream は server { } の外側に書きます。 中に入れると nginx -t が "upstream" directive is not allowed here で落ちます。本線でも踏んだところです。
有効にして、文法を確かめてから読み込みます。
nginx: configuration file /etc/nginx/nginx.conf test is successful
$upstream_addr をログに出しているのが今日の要です。 これが無いと、どの台に渡したかを後から数えられません。 監視の回で書いたとおり、見に行った瞬間のことしか分からない道具では、偏りは追えません。
負荷をかける道具を入れます。本線で入れていれば、そのまま使えます。
ログを空にしてから、60リクエストを同時6本で投げます。
ab の出力から、この2行だけ見ます。
Time taken for tests: 3.084 seconds
Requests per second: 19.45 [#/sec] (mean)
そして、どの台が何件受けたかを数えます。
20 127.0.0.1:3000
20 127.0.0.1:3001
20 127.0.0.1:3002
きれいに20件ずつです。 ラウンドロビンなので当然です。そして、これが問題です。
[スクリーンショット: 01_round-robin-count.png] uniq -c の結果が 20 / 20 / 20 に揃っている画面を撮ってください。
60件のうち20件が、300ミリ秒かかる台に送られました。 同時6本で走らせているので、遅い台に当たった接続は、その間ずっと塞がっています。 空いている app-a と app-b があるのに、そこへは回されません。
ラウンドロビンは「公平に配る」振り分け方です。 そして公平は、速さとは関係ありません。 全台が同じ速さのときだけ、公平=最速になります。 前提が崩れた瞬間、公平はわざわざ遅い台に並びに行く動きになります。
③ least_conn に変えて、同じ負荷で比べる
1行足すだけです。
upstream の中の先頭に least_conn; を書きます。
upstream lb_backend {
least_conn;
server 127.0.0.1:3000;
server 127.0.0.1:3001;
server 127.0.0.1:3002;
}
まったく同じ負荷をかけます。
Time taken for tests: 1.106 seconds
Requests per second: 54.25 [#/sec] (mean)
27 127.0.0.1:3000
27 127.0.0.1:3001
6 127.0.0.1:3002
[スクリーンショット: 02_least-conn-count.png] least_conn に変えたあとの uniq -c が、3002番だけ極端に少なくなっている画面を撮ってください。
台数は増やしていません。設定を1行足しただけです。 それで所要時間が3分の1になりました。
なぜこうなるか。 least_conn は「いま抱えている接続が一番少ない台」を選びます。遅い台は、渡したリクエストが長く手元に残るので、抱えている接続が減りません。結果として、選ばれる回数が自然に減ります。
注意しておきます。これは「
least_connのほうが偉い」という話ではありません。 全台が同じ速さで、処理時間もほぼ一定なら、ラウンドロビンで何の問題もありません。 むしろ計算が要らないぶん素直です。least_connが効くのは、処理時間がリクエストごとにバラつくときです。検索や集計のように、1件が軽かったり重かったりする画面が典型です。
「遅い1台があるとき」は、実は特殊な状況ではありません。 台が古い、ディスクが遅い、同じホストで別の重い処理が動いた——運用していれば、勝手にそうなります。 数字で確かめておくと、least_conn は「念のため」ではなく根拠のある選択になります。
④ 振り分け方の一覧
nginx で書ける主なものを並べます。upstream ブロックの中に、1行書くだけです。
| 振り分け方 | 書き方 | 何を見て決めるか | 向いている場面 |
|---|---|---|---|
| ラウンドロビン | (何も書かない=既定) | 順番だけ。台の状態は見ない | 全台が同じ性能・処理時間もほぼ一定。いちばん素直 |
| 重み付き | server ... weight=3; | 順番+あらかじめ決めた割合 | 性能差が事前に分かっている台を混ぜるとき。新旧サーバーの入れ替え中 |
| 最少接続 | least_conn; | いま抱えている接続数 | 処理時間がバラつくとき。長い処理が混ざるAPI |
| ハッシュ | ip_hash; / hash $request_uri consistent; | 接続元IPやURLを計算した結果 | 同じ人・同じURLを、いつも同じ台へ送りたいとき(キャッシュを効かせる、セッションを移さない) |
| ランダム2択 | random two least_conn; | 無作為に2台選び、その2台のうち空いているほう | 台数が多く、全台の状態を毎回見るのが高くつくとき |
「ランダム2択」だけ、少し補足します。
完全な無作為だと、たまたま同じ台に集中します。かといって全台の接続数を毎回見るのは、ロードバランサ自体が何台もある構成では現実的ではありません。2台だけ無作為に選び、その2台を比べて空いているほうに渡す。 これだけで、偏りが大きく小さくなることが知られています。台数が数十を超えたときの定番です。
hash ... consistentのconsistentは「一貫性ハッシュ」です。 単純なハッシュは台数が変わると割り当てが全部ずれます(3で割った余りと、4で割った余りは別物です)。consistentを付けると、台が1つ増減しても、割り当てが変わるのは一部だけになります。台ごとにキャッシュを持っている構成では、これが有るか無いかで全滅か軽傷かが変わります。
⑤ ログイン状態が消える
ここからが、負荷分散を入れた人が全員ぶつかる場所です。
まず least_conn を外して、ラウンドロビン(既定)に戻します。 挙動が読みやすいためです。
ロードバランサ越しにログインします。 Cookie をファイルに保存します。
{"from":"app-a","login":"ok"}
app-a がログインを受け付け、app-a のメモリにだけ、そのセッションを覚えました。
同じ Cookie を持って、6回続けて自分の情報を聞きます。
{"from":"app-b","error":"not logged in"}
{"from":"app-c","error":"not logged in"}
{"from":"app-a","user":"taro"}
{"from":"app-b","error":"not logged in"}
{"from":"app-c","error":"not logged in"}
{"from":"app-a","user":"taro"}
[スクリーンショット: 03_session-401.png] 6回のうち4回が not logged in で返っている画面を撮ってください。
3回に2回、ログアウトしています。
ブラウザで同じことをすると、「ログインしたのに、画面を切り替えたらログイン画面に戻る」「たまに戻らない」 という、いちばん報告しづらいバグになります。
原因は nginx ではありません。 nginx は設定どおり順番に配っただけです。 原因は、アプリが「自分のメモリの中」に状態を持っていることです。 1台で動かしている間は、これで完全に正しく動きます。2台目を足した瞬間に、初めて間違いになります。
直し方は3つ。優先順位がある
| 直し方 | やること | 長所 | 短所 |
|---|---|---|---|
| ① そもそも状態を持たない | セッションの中身を署名付きトークンにして利用者側に持たせる(セッションとJWTの回) | どの台に行っても同じ。台を増やすのも減らすのも自由 | 即時に無効化しづらい。中身が大きいと毎回運ぶ |
| ② セッションを外に出す | Redis など全台から見える1か所に置く(Redisの回) | アプリは今のままに近い。無効化も即時にできる | 置き場所が新しい単一障害点になる。そこも冗長化が要る |
| ③ スティッキーセッション | 同じ人を同じ台に固定する(nginx なら ip_hash) | 設定1行。アプリを直さなくていい | 偏る・その台が落ちた人だけログアウト・台を増やしても既存の人は移らない |
③ は最後の手段です。 「1行で直った」ように見えるので、いちばん最初に手が伸びます。私も最初にこれを試しました。 そして、こうなります。
upstream lb_backend {
ip_hash;
server 127.0.0.1:3000;
server 127.0.0.1:3001;
server 127.0.0.1:3002;
}
- 偏ります。 会社や学校からのアクセスはまとめて1つのIPで来ることがあります。その全員が1台に集中します
- その台が落ちたら、その台に固定されていた人だけがログアウトします。 「一部の人だけログインできない」という、再現できない問い合わせになります
- 台を増やしても、いまログインしている人は移りません。 負荷が減るのは新規の人だけです
順番はこうです。まず ① を検討する。無理なら ②。③ は「今すぐ止血する必要があるとき」だけ。 そして③を入れたら、「あとで①か②にする」を必ず残りの作業として書き出してください。 書かないと消えます。
確かめたら ip_hash は消しておきます。
⑥ 落ちた1台を外す
振り分け先が3台あるということは、1台落ちても2台で受けられるということです。 本当にそうなるかを確かめます。
3台目だけを止めます。 ポート番号から PID を調べて止めるのが確実です。
LISTEN 0 511 127.0.0.1:3002 0.0.0.0:* users:(("node",pid=4821,fd=20))
grep が何も返さなければ止まっています。
ログを空にして、9回叩きます。
200 200 200 200 200 200 200 200 200
利用者には 200 しか返っていません。 ですが、ログを見ると話が違います。
127.0.0.1 -> 127.0.0.1:3000 [200] 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3002, 127.0.0.1:3000 [200] 0.000, 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3000 [200] 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.001 "GET /api/hello HTTP/1.1"
3行目に注目してください。$upstream_addr が2つあります。
落ちている 3002番に、まず送られています。 失敗してから、3000番に投げ直して 200 を返しています(
proxy_next_upstreamの既定の動き)。 つまり、既定では「落ちた台にも一度は送られる」のです。
エラーログにも残っています。
connect() failed (111: Connection refused) while connecting to upstream, ... upstream: "http://127.0.0.1:3002/api/hello"
今回は救われました。理由は2つあります。
- 接続が拒否された(サーバーが即座に「いない」と答えた)ので、失敗が一瞬で分かった
GETだったので、投げ直しても副作用がない
この2つが崩れると救われません。
- サーバーが「いる」のに応答しない(ケーブルが抜けた、OS ごと固まった)場合、タイムアウトまで待たされます。 利用者から見れば数十秒の沈黙です
POSTは救われません。 nginx は、すでに上流へ送ったPOSTを既定では次のサーバーへ投げ直さず、そのままエラーを返します。proxy_next_upstreamにnon_idempotentを足せば投げ直しますが、二重に処理される可能性があります。 注文が2件入る、といった事故です
max_fails と fail_timeout
「一度は送られる」を減らす設定が、これです。
upstream lb_backend {
server 127.0.0.1:3000 max_fails=3 fail_timeout=10s;
server 127.0.0.1:3001 max_fails=3 fail_timeout=10s;
server 127.0.0.1:3002 max_fails=3 fail_timeout=10s;
}
| 設定 | 意味 |
|---|---|
fail_timeout=10s | 失敗を数える窓の長さであり、同時に外しておく時間でもある(この2役を1つの値が兼ねています) |
max_fails=3 | その10秒の間に3回失敗したら、落ちていると判断する |
| 既定値 | max_fails=1 fail_timeout=10s。「1回失敗したら10秒間、候補から外す」 |
外している10秒が過ぎると、nginx はまた1回だけ送ります。 そこで成功すれば復帰、失敗すればまた10秒外れます。つまり「落ちている間、エラーが1回も出ない」設定は、これでは作れません。
ヘルスチェックには2種類ある
| 種類 | やり方 | 長所 | 短所 |
|---|---|---|---|
| 受動(passive) | 実際の利用者のリクエストが失敗したことで判断する | 余計な通信をしない。設定が要らない | 誰かが1回は失敗を踏む。 復帰の検知も、次に誰かが叩くまで分からない |
| 能動(active) | ロードバランサが定期的に /health を自分で叩きに行く | 利用者を踏ませずに外せる。 復帰も自動で分かる | 設定が要る。チェック自体が台に負荷をかける |
nginx の無料版(オープンソース版)は、受動ヘルスチェックしか持っていません。
max_fails/fail_timeoutが、その受動チェックです。能動ヘルスチェック(health_checkディレクティブ)は、商用の NGINX Plus の機能です。能動チェックが要るなら、選択肢は3つです。 HAProxy(無料で
checkと書くだけ)、クラウドのロードバランサ(標準機能)、Kubernetes の readinessProbe(Serviceの回でやったとおり、条件を満たさない Pod は振り分け先から自動で外れます)。
能動チェックを入れるなら、/health は「HTTPが返る」だけでは足りません。 DBに繋がるかまで見ないと、「nginx は生きていると判断しているのに、全リクエストが 500」という最悪の状態になります。わざと壊して直す回で見た切り分けの順番が、そのまま /health の中身になります。
3台目を戻しておきます。
⑦ リバースプロキシとロードバランサは、どう違うのか
同じ nginx で、同じ proxy_pass を書いています。 実際、役割は重なります。
| リバースプロキシ | ロードバランサ | |
|---|---|---|
| 目的 | 前に立つこと。ポートを隠す、TLSを終端する、パスで振り分ける、キャッシュする | 散らすこと。同じ役割の複数台に、負荷を配る |
| 後ろの台数 | 1台でも成立する | 2台以上でないと意味がない |
| 後ろの台の役割 | バラバラでよい(/api/ はNode、/ は静的) | 全部同じでなければならない |
| 見ている層 | 主に L7(HTTPの中身) | L4 でも L7 でもできる(L4/L7の回) |
ポート番号を隠す回で作ったのは、後ろが1台のリバースプロキシでした。 そこに server を1行足した瞬間、同じものがロードバランサになりました。
「どちらか」ではありません。 実務では同じ1台が両方やっています。 言葉を分けているのは、議論のときに何の話をしているかを揃えるためです。「LBを入れよう」と言われたら、散らしたいのか、前に立てたいのかを先に確認してください。必要なものが変わります。
⑧ DNS ラウンドロビンは、外せない
ロードバランサを1台も立てずに散らす方法があります。 同じ名前に、複数のIPアドレスを登録するだけです。
www.example.com. A 203.0.113.10
www.example.com. A 203.0.113.11
問い合わせるたびに順番が入れ替わって返るので、クライアントは散ります。タダで、どこでも動きます。 DNSレコードの回で見た A レコードを、2行書くだけです。
問題は、1台落ちたときです。
DNS の答えは、あちこちにキャッシュされています。 中継のDNSサーバー、OS、ブラウザ。TTL を60秒にしても、それを守らない実装があります。 つまり、落ちた台のIPを、しばらく配り続けます。 レコードを消しても、すでに配られた答えは回収できません。
DNS には「その台が生きているか」を知る手段がありません。 ヘルスチェックが無いのです。 だから DNS ラウンドロビンは、「落ちること」を前提にできません。 使えるのは、そもそも落とさない前提の、大きな単位——データセンターごと、リージョンごとを分ける場面です。台単位の負荷分散には使いません。
⑨ ロードバランサ自身が単一障害点になる
ここまでで、アプリは3台になりました。1台落ちても動きます。 ですが、その3台の前に立っている nginx は1台です。
この nginx が落ちたら、後ろが何台生きていても全部止まります。 「冗長化しました」と報告した構成が、壊れる場所を1か所に集めただけになっているのは、よくある話です。
消し方は3通りしかありません。
| やり方 | 仕組み | 切り替わる速さ | 使いどころ |
|---|---|---|---|
| DNS で複数のLBを配る | LB を2台立て、両方のIPを A レコードに書く | 遅い(キャッシュが切れるまで) | 大きな単位。リージョン間 |
| VIP を持ち回る(VRRP) | LB を2台並べ、片方だけが仮想IPを持つ。持っている側が落ちたら、もう片方が同じIPを引き取る(keepalived) | 速い(数秒) | 自前でサーバーを並べているとき。同じネットワーク内が前提 |
| クラウドのLBを使う | LB そのものが中で複数台に冗長化されている。利用者からは1つに見える | 意識しなくてよい | クラウドを使っているなら、まずこれ |
VIP(仮想IP)だけ、少し補足します。 普通、IPアドレスはサーバーに固定で紐づいています。VRRP は、そのIPを「持ち回りの札」にします。 2台が「私が持っています」と定期的に知らせ合い、知らせが途切れたら、もう片方が札を引き取ります。 利用者から見れば、同じIPのまま、答える機械だけが入れ替わります。
クラウドのロードバランサは、この面倒を丸ごと肩代わりしています。 「マネージドは高いだけ」と思っていましたが、自前で VIP を組んで、切り替えを試験して、両方の設定を同期させる手間を数えると、そう単純ではありませんでした。
そして、負荷分散を入れると必ず増える仕事があります。
- 設定が2か所以上になる。 LB を2台にしたら、両方の設定を同じに保つ必要があります(Ansibleの回)
- ログが台数分に散る。 どの台のログを見ればいいのか分からなくなります(Lokiの回)
- 「たまに遅い」が、どの台の話か分からなくなる。
$upstream_addrを必ずログに入れる理由がこれです
⑩ 何を使うか
| 道具 | 向いている場面 | 注意 |
|---|---|---|
| nginx | Webサーバーとロードバランサを兼ねたいとき。TLS終端・静的配信も一緒にやる | 能動ヘルスチェックが無料版に無い。スティッキーは ip_hash だけ |
| HAProxy | 負荷分散そのものが主目的のとき。能動チェックが無料で使える。統計画面が付く | 静的ファイルは配れない。Webサーバーは別に要る |
| クラウドのLB(ALB / NLB など) | クラウドで動かしているなら、まずこれ | LB自体の冗長化を考えなくてよい。ただし料金が時間課金+転送量 |
| サービスメッシュ | サービスが十数個以上あり、サービス同士の通信にも振り分け・リトライ・打ち切りが要るとき | 重い。 入れる前に本当に必要かを確認する。サービスメッシュの回で、なぜ自分で書かないほうがいいかを見ました |
選ぶ順番は、たいてい上から下です。 そして下に行くほど「入れたあとの仕事」が増えます。 設計の進め方の回で書いたとおり、要件から選ぶのであって、名前を知っているから選ぶのではありません。
Kubernetes を使っているなら、今日 upstream に手で書いたことを、Service が自動でやっています。 ただし順番はこちらが先です。 手で書いて、偏りを数えて、セッションで転んでおくと、Kubernetes が何を肩代わりしているのかが初めて見えます。
nginxやHAProxyを本当に別のマシンに置いて、バックエンド1台を落とす実験までやるなら、複数台をローカル接続で組めるVPSが向いています。クラウド VPS byGMO
は初期費用0円の定額制で転送量課金がなく、2026年11月時点の公式表示では1GB(仮想2コア・50GB)が12ヶ月契約で月858円・1ヶ月契約で月1,078円(税込)に、別途サーチャージ費が毎月加わります。
つまずいたところ
| つまずき | 何が起きたか |
|---|---|
least_conn を server 行の後ろに書いた | 動きはしましたが、書く位置で挙動が変わると思い込んでしばらく悩みました。nginx はブロック内のどこに書いても読みますが、先頭に書くのが慣例です。読む人のために揃えました |
ab の結果だけ見て「速くなった」と言いかけた | ab は所要時間しか教えません。 どの台に何件行ったかはログから数えないと分かりません。 数えて初めて「3002番が6件しか受けていない」が見えました |
ip_hash で直った、と思った | curl は毎回同じIPから出るので、当然すべて同じ台に行きます。 「直った」ように見えました。別のIPから来る人が偏る問題は、手元では絶対に再現できません |
/stats を件数に数えていた | 最初は全リクエストを数えていたので、確認のために /stats を叩くたびに数字が増えました。 測るための窓口は、測定対象から外す必要がありました |
| 落ちた台に送られていることに気づかなかった | curl は 200 を返していたので、問題なしと判断しかけました。 $upstream_addr が2つ並んで記録されているのを見て初めて分かりました |
pkill -f "node app.js" で3つ全部消した | 3台目だけ止めるつもりが、全滅しました。 ss -ltnp で PID を調べてから kill するのが確実でした |
後片づけ
立てたものを全部消します。 練習用の 8080番サイトを残すと、次に nginx を触ったときに混乱します。
3つのアプリを止めます。
grep が何も返さなければ止まっています。
練習用のサイトを外します。
消すのは
sites-enabledのリンクだけです。sites-availableの実体は残しておくと、あとでもう一度試せます。完全に消すならsudo rm /etc/nginx/sites-available/lbも打ちます。
ログとファイルを片づけます。
80番のサイトが元どおり動くことを、必ず確かめます。
200
戻し方: もし nginx -t が通らなくなったら、sudo rm -f /etc/nginx/sites-enabled/lb で今回のファイルを外し、もう一度 sudo nginx -t を打ってください。この記事で足したのは 8080番のサイト1つだけなので、それを外せば元の状態に戻ります。
まとめ — 理解できたこと
upstreamに並べただけでは、振り分け方を選んでいない。 既定のラウンドロビンは全台が同じ速さを前提にしている- 公平に配ることと、速く返すことは別。遅い台が1つあると、ラウンドロビンはわざわざ行列に並びに行く
least_connは台数を増やさずに効いた。 実測で所要時間が3分の1になった。ただし万能ではなく、処理時間がバラつくときの手- 振り分け方は5種類覚えれば足りる(順番 / 重み / 最少接続 / ハッシュ / ランダム2択)。台数が多いときはランダム2択
- セッションが切れるのはLBのせいではない。 アプリが自分のメモリに状態を持っているのが原因
- 直し方の順番は「状態を持たない → 外に出す → スティッキー」。 スティッキーは1行で直るが、偏る・落ちた人だけ切れる・増やしても移らない
- 既定では、落ちた台にも一度は送られる。
max_failsとfail_timeoutはそれを減らす設定であって、無くす設定ではない - nginx の無料版は受動ヘルスチェックだけ。 能動が要るなら HAProxy かクラウドのLBかKubernetes
- DNS ラウンドロビンはヘルスチェックを持たない。 キャッシュのせいで落ちた台を外せない
- ロードバランサ自身が単一障害点。 消す方法は DNS / VIP / クラウドのLB の3つだけ
次に台数を増やすときは、upstream に1行足す前に「この3台は本当に同じ速さか」を先に聞きます。 違うなら、振り分け方を選ぶところから始まります。
参考リンク
- roadmap.sh — System Design
- nginx — HTTP Load Balancing
- nginx — ngx_http_upstream_module
- nginx — ngx_http_proxy_module
- HAProxy 公式サイト
- HAProxy — Configuration Manual
- keepalived 公式サイト
- RFC 5798 — Virtual Router Redundancy Protocol Version 3
- AWS — Elastic Load Balancing とは
- Kubernetes — Service
- MDN — HTTP
次に読む
この記事は 【深掘り】システム設計 の 3 / 17 本目です。
| 記事 | |
|---|---|
| ← 前の記事 | レイテンシとスループット — 台数を増やしたら遅くなった |
| → 次の記事 | キャッシュを置く5つの層 — 入れたのに速くならない |
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- L4 と L7 / 振り分けアルゴリズム
- スティッキーセッションとヘルスチェック
この記事は、上の項目を実際に手を動かして確かめる回です。

コメント