ロードバランサと振り分け方式 — 3台なのに偏る

ロードバランサの振り分け。リクエストカードを振り分ける装置と3台のサーバー。

※本記事はアフィリエイト広告(PR)を含みます。

本線で upstream に振り分け先を書きました。書いた瞬間、リクエストは2台に散りました。動いたので、そこで終わりにしていました。

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の ボトルネックは動く — 負荷分散とキャッシュの設計 の続きとして、「振り分け方には種類があり、選ばないと偏る」ところだけを、実際に数えて確かめます。

前回: レイテンシとスループット — 台数を増やしたら遅くなった

この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。

前提: 本線の ボトルネックは動く — 負荷分散とキャッシュの設計を終えていて、VMの中で nginx -v と node -v の両方が答えること。 この記事は 8080番ポートに練習用のサイトを1つ増やします。 いま動いている 80番の設定には触りません。最後の「後片づけ」まで必ずやってください。

そのあと、台数を3台に増やしました。設定はこれだけです。

upstream lb_backend {
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
    server 127.0.0.1:3002;
}

しばらく動かして top を見たら、3台のうち1台だけが CPU を張り付かせていて、残り2台は暇でした。

最初は「その台のアプリが壊れている」と思いました。違いました。その台だけ、少しだけ重い処理を持っていただけです。 そして nginx は、重かろうが軽かろうが、同じ数だけ投げ続けていました。

upstream に3行書いた時点で、私は「振り分け方」を1つも選んでいませんでした。 選ばなかった結果、既定のラウンドロビン(順番に1つずつ配る)が動いていました。 ラウンドロビンは、全部の台が同じ速さであることを前提にした振り分け方です。 前提が崩れると、遅い台の前に行列ができます。

振り分け方には名前が付いた種類があります。 そして、どれを選ぶかで、遅い台が1つ混ざったときの結果がまったく変わります。 この記事は、それを数えて確かめます。

さらに、負荷分散を入れた瞬間に必ずぶつかる2つの事故——ログイン状態が消える、落ちた台にも一度は送られる——を、わざと起こして直します。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • upstream に並べただけでは「振り分け方を選んでいない」こと。既定のラウンドロビンは全台が同じ速さを前提にしている
  • 遅い台が1つあると、ラウンドロビンでは全体が遅くなること。least_conn は台数を増やさずに改善すること
  • セッションが切れるのはロードバランサのせいではなく、アプリが状態を自分の中に持っているせいだということ
  • スティッキーセッションは解決ではなく最後の手段だということ(偏る・失うと切れる)
  • 既定では、落ちた台にも一度は送られてエラーになること。nginx の無料版には受動ヘルスチェックしかないこと
  • ロードバランサ自身が単一障害点になること。それを消す方法は3つしかないこと

この記事でやること

  1. 自分の名前を返すバックエンドを3つ立て、1つだけわざと遅くする
  2. nginx の upstream で ラウンドロビン(既定)→ least_conn と切り替え、各台の処理件数を数えて比べる
  3. ログイン状態を持つ画面で、リクエストごとに別の台へ行って 401 になるのを再現し、3つの直し方を比べる
  4. 1台を止めて max_fails と fail_timeout の挙動を確認し、受動ヘルスチェックの限界を見る
  5. 立てたものを全部消す(後片づけ)

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
バックエンド(振り分け先)ロードバランサが実際にリクエストを渡す先のサーバー。nginx では upstream の中の server 1行が1台
振り分けアルゴリズムどの台に渡すかの決め方。ラウンドロビン・最少接続など。選ばないと既定が使われる
ラウンドロビン順番に1つずつ配る。台の忙しさを見ない。nginx の既定
最少接続(least_conn)いま抱えている接続が一番少ない台に渡す。遅い台には自然と行かなくなる
重み(weight)台ごとの配る割合。性能差のある台を混ぜるときに使う
ステートレスサーバーがリクエストとリクエストの間に何も覚えていないこと。どの台に行っても同じ答えが返る
セッションログイン状態など、利用者ごとに覚えておく情報。どこに置くかが今日の主題
スティッキーセッション同じ人を、いつも同じ台に送るやり方。セッションを移さずに済むが、代償がある
ヘルスチェック台が生きているかの確認。能動(定期的に見に行く)と受動(実際の失敗で判断する)がある
単一障害点(SPOF)そこが落ちると全部止まる場所。ロードバランサはその代表
VIP(仮想IP)複数台で持ち回るIPアドレス。持っている台が落ちたら、別の台が同じIPを引き取る

① 名前を返すバックエンドを3つ立てる

振り分けを観察するには、「どの台が答えたか」が返ってくる必要があります。 これが無いと、どんな設定をしても「たぶん散っている」以上のことは言えません。

作業用のフォルダを作ります。VMの中で打ちます。

bash
$ mkdir -p ~/lb && cd ~/lb

アプリを1本だけ書きます。同じファイルを、環境変数を変えて3つ起動します。

bash
$ nano ~/lb/app.js
const http = require('http');
const crypto = require('crypto');

const NAME = process.env.NAME || 'app';
const PORT = Number(process.env.PORT || 3000);
const DELAY = Number(process.env.DELAY || 0);

let served = 0;
const sessions = new Map();

function parseCookies(header) {
  const out = {};
  (header || '').split(';').forEach(function (part) {
    const i = part.indexOf('=');
    if (i > 0) out[part.slice(0, i).trim()] = part.slice(i + 1).trim();
  });
  return out;
}

const server = http.createServer(function (req, res) {
  const url = new URL(req.url, 'http://localhost');
  const cookies = parseCookies(req.headers.cookie);

  // ログインしたことにして、この台のメモリにだけ覚える
  if (url.pathname === '/login') {
    const sid = crypto.randomBytes(8).toString('hex');
    sessions.set(sid, { user: 'taro' });
    res.writeHead(200, {
      'Set-Cookie': 'sid=' + sid + '; Path=/',
      'Content-Type': 'application/json'
    });
    res.end(JSON.stringify({ from: NAME, login: 'ok' }) + '\n');
    return;
  }

  // 覚えているかどうかを答える
  if (url.pathname === '/me') {
    const s = sessions.get(cookies.sid);
    if (!s) {
      res.writeHead(401, { 'Content-Type': 'application/json' });
      res.end(JSON.stringify({ from: NAME, error: 'not logged in' }) + '\n');
      return;
    }
    res.writeHead(200, { 'Content-Type': 'application/json' });
    res.end(JSON.stringify({ from: NAME, user: s.user }) + '\n');
    return;
  }

  // 件数を見るためだけの窓口。ここは件数に数えない
  if (url.pathname === '/stats') {
    res.writeHead(200, { 'Content-Type': 'application/json' });
    res.end(JSON.stringify({ from: NAME, served: served }) + '\n');
    return;
  }

  served += 1;
  setTimeout(function () {
    res.writeHead(200, { 'Content-Type': 'application/json' });
    res.end(JSON.stringify({ from: NAME, served: served, delay: DELAY }) + '\n');
  }, DELAY);
});

server.listen(PORT, '127.0.0.1', function () {
  console.log(NAME + ' listening on ' + PORT + ' (delay=' + DELAY + 'ms)');
});

Ctrl+O → Enter → Ctrl+X で保存します。

3つ起動します。3つ目だけ、わざと 300ミリ秒待たせます。

bash
$ cd ~/lb
$ NAME=app-a PORT=3000 DELAY=0 nohup node app.js > a.log 2>&1 &
$ NAME=app-b PORT=3001 DELAY=0 nohup node app.js > b.log 2>&1 &
$ NAME=app-c PORT=3002 DELAY=300 nohup node app.js > c.log 2>&1 &

nohup ... & は「端末を閉じても動き続けるように、裏で起動する」という書き方です。 練習では便利ですが、本番でこの起動の仕方はしません。 動かし続けたいものは systemd に登録します(start と enable の回)。

3つとも生きているかを確かめます。

bash
$ curl -s localhost:3000/ping; curl -s localhost:3001/ping; curl -s localhost:3002/ping
{"from":"app-a","served":1,"delay":0}
{"from":"app-b","served":1,"delay":0}
{"from":"app-c","served":1,"delay":300}

from が3つとも違えば準備完了です。 3つ目だけ、答えが返るまで一拍あるのが分かるはずです。

うまくいかないときは cat ~/lb/a.log を見てください。EADDRINUSE なら、そのポートは他のものが使っています。本線で立てたアプリが残っているはずなので、ss -ltnp | grep 300 で確認して止めてください。

② nginx に3台をぶら下げて、件数を数える

80番の設定には触りません。 練習用のサイトを 8080番で新しく作ります。壊しても、いま動いているものに影響しません。

bash
$ sudo nano /etc/nginx/sites-available/lb
log_format lblog '$remote_addr -> $upstream_addr [$status] $upstream_response_time "$request"';

upstream lb_backend {
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
    server 127.0.0.1:3002;
}

server {
    listen 8080;
    server_name _;

    access_log /var/log/nginx/lb_access.log lblog;

    location / {
        proxy_pass http://lb_backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

upstream は server { } の外側に書きます。 中に入れると nginx -t が "upstream" directive is not allowed here で落ちます。本線でも踏んだところです。

有効にして、文法を確かめてから読み込みます。

bash
$ sudo ln -s /etc/nginx/sites-available/lb /etc/nginx/sites-enabled/lb
$ sudo nginx -t && sudo systemctl reload nginx
nginx: configuration file /etc/nginx/nginx.conf test is successful

$upstream_addr をログに出しているのが今日の要です。 これが無いと、どの台に渡したかを後から数えられません。 監視の回で書いたとおり、見に行った瞬間のことしか分からない道具では、偏りは追えません。

負荷をかける道具を入れます。本線で入れていれば、そのまま使えます。

bash
$ sudo apt install -y apache2-utils

ログを空にしてから、60リクエストを同時6本で投げます。

bash
$ sudo truncate -s 0 /var/log/nginx/lb_access.log
$ ab -n 60 -c 6 http://127.0.0.1:8080/api/hello

ab の出力から、この2行だけ見ます。

Time taken for tests:   3.084 seconds
Requests per second:    19.45 [#/sec] (mean)

そして、どの台が何件受けたかを数えます。

bash
$ sudo awk '{print $3}' /var/log/nginx/lb_access.log | sort | uniq -c
     20 127.0.0.1:3000
     20 127.0.0.1:3001
     20 127.0.0.1:3002

きれいに20件ずつです。 ラウンドロビンなので当然です。そして、これが問題です。

[スクリーンショット: 01_round-robin-count.png] uniq -c の結果が 20 / 20 / 20 に揃っている画面を撮ってください。

60件のうち20件が、300ミリ秒かかる台に送られました。 同時6本で走らせているので、遅い台に当たった接続は、その間ずっと塞がっています。 空いている app-a と app-b があるのに、そこへは回されません。

ラウンドロビンは「公平に配る」振り分け方です。 そして公平は、速さとは関係ありません。 全台が同じ速さのときだけ、公平=最速になります。 前提が崩れた瞬間、公平はわざわざ遅い台に並びに行く動きになります。

③ least_conn に変えて、同じ負荷で比べる

1行足すだけです。

bash
$ sudo nano /etc/nginx/sites-available/lb

upstream の中の先頭に least_conn; を書きます。

upstream lb_backend {
    least_conn;
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
    server 127.0.0.1:3002;
}
bash
$ sudo nginx -t && sudo systemctl reload nginx

まったく同じ負荷をかけます。

bash
$ sudo truncate -s 0 /var/log/nginx/lb_access.log
$ ab -n 60 -c 6 http://127.0.0.1:8080/api/hello
$ sudo awk '{print $3}' /var/log/nginx/lb_access.log | sort | uniq -c
Time taken for tests:   1.106 seconds
Requests per second:    54.25 [#/sec] (mean)
     27 127.0.0.1:3000
     27 127.0.0.1:3001
      6 127.0.0.1:3002

[スクリーンショット: 02_least-conn-count.png] least_conn に変えたあとの uniq -c が、3002番だけ極端に少なくなっている画面を撮ってください。

台数は増やしていません。設定を1行足しただけです。 それで所要時間が3分の1になりました。

なぜこうなるか。 least_conn は「いま抱えている接続が一番少ない台」を選びます。遅い台は、渡したリクエストが長く手元に残るので、抱えている接続が減りません。結果として、選ばれる回数が自然に減ります。

注意しておきます。これは「least_conn のほうが偉い」という話ではありません。 全台が同じ速さで、処理時間もほぼ一定なら、ラウンドロビンで何の問題もありません。 むしろ計算が要らないぶん素直です。 least_conn が効くのは、処理時間がリクエストごとにバラつくときです。検索や集計のように、1件が軽かったり重かったりする画面が典型です。

「遅い1台があるとき」は、実は特殊な状況ではありません。 台が古い、ディスクが遅い、同じホストで別の重い処理が動いた——運用していれば、勝手にそうなります。 数字で確かめておくと、least_conn は「念のため」ではなく根拠のある選択になります。

④ 振り分け方の一覧

nginx で書ける主なものを並べます。upstream ブロックの中に、1行書くだけです。

振り分け方書き方何を見て決めるか向いている場面
ラウンドロビン(何も書かない=既定)順番だけ。台の状態は見ない全台が同じ性能・処理時間もほぼ一定。いちばん素直
重み付きserver ... weight=3;順番+あらかじめ決めた割合性能差が事前に分かっている台を混ぜるとき。新旧サーバーの入れ替え中
最少接続least_conn;いま抱えている接続数処理時間がバラつくとき。長い処理が混ざるAPI
ハッシュip_hash; / hash $request_uri consistent;接続元IPやURLを計算した結果同じ人・同じURLを、いつも同じ台へ送りたいとき(キャッシュを効かせる、セッションを移さない)
ランダム2択random two least_conn;無作為に2台選び、その2台のうち空いているほう台数が多く、全台の状態を毎回見るのが高くつくとき

「ランダム2択」だけ、少し補足します。

完全な無作為だと、たまたま同じ台に集中します。かといって全台の接続数を毎回見るのは、ロードバランサ自体が何台もある構成では現実的ではありません。2台だけ無作為に選び、その2台を比べて空いているほうに渡す。 これだけで、偏りが大きく小さくなることが知られています。台数が数十を超えたときの定番です。

hash ... consistent の consistent は「一貫性ハッシュ」です。 単純なハッシュは台数が変わると割り当てが全部ずれます(3で割った余りと、4で割った余りは別物です)。consistent を付けると、台が1つ増減しても、割り当てが変わるのは一部だけになります。台ごとにキャッシュを持っている構成では、これが有るか無いかで全滅か軽傷かが変わります。

⑤ ログイン状態が消える

ここからが、負荷分散を入れた人が全員ぶつかる場所です。

まず least_conn を外して、ラウンドロビン(既定)に戻します。 挙動が読みやすいためです。

bash
$ sudo sed -i '/least_conn;/d' /etc/nginx/sites-available/lb
$ sudo nginx -t && sudo systemctl reload nginx

ロードバランサ越しにログインします。 Cookie をファイルに保存します。

bash
$ curl -s -c /tmp/lbcookie.txt http://127.0.0.1:8080/login
{"from":"app-a","login":"ok"}

app-a がログインを受け付け、app-a のメモリにだけ、そのセッションを覚えました。

同じ Cookie を持って、6回続けて自分の情報を聞きます。

bash
$ for i in 1 2 3 4 5 6; do curl -s -b /tmp/lbcookie.txt http://127.0.0.1:8080/me; done
{"from":"app-b","error":"not logged in"}
{"from":"app-c","error":"not logged in"}
{"from":"app-a","user":"taro"}
{"from":"app-b","error":"not logged in"}
{"from":"app-c","error":"not logged in"}
{"from":"app-a","user":"taro"}

[スクリーンショット: 03_session-401.png] 6回のうち4回が not logged in で返っている画面を撮ってください。

3回に2回、ログアウトしています。

ブラウザで同じことをすると、「ログインしたのに、画面を切り替えたらログイン画面に戻る」「たまに戻らない」 という、いちばん報告しづらいバグになります。

原因は nginx ではありません。 nginx は設定どおり順番に配っただけです。 原因は、アプリが「自分のメモリの中」に状態を持っていることです。 1台で動かしている間は、これで完全に正しく動きます。2台目を足した瞬間に、初めて間違いになります。

直し方は3つ。優先順位がある

直し方やること長所短所
① そもそも状態を持たないセッションの中身を署名付きトークンにして利用者側に持たせる(セッションとJWTの回)どの台に行っても同じ。台を増やすのも減らすのも自由即時に無効化しづらい。中身が大きいと毎回運ぶ
② セッションを外に出すRedis など全台から見える1か所に置く(Redisの回)アプリは今のままに近い。無効化も即時にできる置き場所が新しい単一障害点になる。そこも冗長化が要る
③ スティッキーセッション同じ人を同じ台に固定する(nginx なら ip_hash)設定1行。アプリを直さなくていい偏る・その台が落ちた人だけログアウト・台を増やしても既存の人は移らない

③ は最後の手段です。 「1行で直った」ように見えるので、いちばん最初に手が伸びます。私も最初にこれを試しました。 そして、こうなります。

upstream lb_backend {
    ip_hash;
    server 127.0.0.1:3000;
    server 127.0.0.1:3001;
    server 127.0.0.1:3002;
}
  • 偏ります。 会社や学校からのアクセスはまとめて1つのIPで来ることがあります。その全員が1台に集中します
  • その台が落ちたら、その台に固定されていた人だけがログアウトします。 「一部の人だけログインできない」という、再現できない問い合わせになります
  • 台を増やしても、いまログインしている人は移りません。 負荷が減るのは新規の人だけです

順番はこうです。まず ① を検討する。無理なら ②。③ は「今すぐ止血する必要があるとき」だけ。 そして③を入れたら、「あとで①か②にする」を必ず残りの作業として書き出してください。 書かないと消えます。

確かめたら ip_hash は消しておきます。

bash
$ sudo sed -i '/ip_hash;/d' /etc/nginx/sites-available/lb
$ sudo nginx -t && sudo systemctl reload nginx

⑥ 落ちた1台を外す

振り分け先が3台あるということは、1台落ちても2台で受けられるということです。 本当にそうなるかを確かめます。

3台目だけを止めます。 ポート番号から PID を調べて止めるのが確実です。

bash
$ ss -ltnp | grep 3002
LISTEN 0  511  127.0.0.1:3002  0.0.0.0:*  users:(("node",pid=4821,fd=20))
bash
$ kill 4821
$ ss -ltn | grep 3002

grep が何も返さなければ止まっています。

ログを空にして、9回叩きます。

bash
$ sudo truncate -s 0 /var/log/nginx/lb_access.log
$ for i in $(seq 1 9); do curl -s -o /dev/null -w "%{http_code} " http://127.0.0.1:8080/api/hello; done; echo
200 200 200 200 200 200 200 200 200

利用者には 200 しか返っていません。 ですが、ログを見ると話が違います。

bash
$ sudo head -5 /var/log/nginx/lb_access.log
127.0.0.1 -> 127.0.0.1:3000 [200] 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3002, 127.0.0.1:3000 [200] 0.000, 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3000 [200] 0.001 "GET /api/hello HTTP/1.1"
127.0.0.1 -> 127.0.0.1:3001 [200] 0.001 "GET /api/hello HTTP/1.1"

3行目に注目してください。$upstream_addr が2つあります。

落ちている 3002番に、まず送られています。 失敗してから、3000番に投げ直して 200 を返しています(proxy_next_upstream の既定の動き)。 つまり、既定では「落ちた台にも一度は送られる」のです。

エラーログにも残っています。

bash
$ sudo tail -3 /var/log/nginx/error.log
connect() failed (111: Connection refused) while connecting to upstream, ... upstream: "http://127.0.0.1:3002/api/hello"

今回は救われました。理由は2つあります。

  1. 接続が拒否された(サーバーが即座に「いない」と答えた)ので、失敗が一瞬で分かった
  2. GET だったので、投げ直しても副作用がない

この2つが崩れると救われません。

  • サーバーが「いる」のに応答しない(ケーブルが抜けた、OS ごと固まった)場合、タイムアウトまで待たされます。 利用者から見れば数十秒の沈黙です
  • POST は救われません。 nginx は、すでに上流へ送った POST を既定では次のサーバーへ投げ直さず、そのままエラーを返します。proxy_next_upstream に non_idempotent を足せば投げ直しますが、二重に処理される可能性があります。 注文が2件入る、といった事故です

max_fails と fail_timeout

「一度は送られる」を減らす設定が、これです。

upstream lb_backend {
    server 127.0.0.1:3000 max_fails=3 fail_timeout=10s;
    server 127.0.0.1:3001 max_fails=3 fail_timeout=10s;
    server 127.0.0.1:3002 max_fails=3 fail_timeout=10s;
}
設定意味
fail_timeout=10s失敗を数える窓の長さであり、同時に外しておく時間でもある(この2役を1つの値が兼ねています)
max_fails=3その10秒の間に3回失敗したら、落ちていると判断する
既定値max_fails=1 fail_timeout=10s。「1回失敗したら10秒間、候補から外す」

外している10秒が過ぎると、nginx はまた1回だけ送ります。 そこで成功すれば復帰、失敗すればまた10秒外れます。つまり「落ちている間、エラーが1回も出ない」設定は、これでは作れません。

bash
$ sudo nginx -t && sudo systemctl reload nginx

ヘルスチェックには2種類ある

種類やり方長所短所
受動(passive)実際の利用者のリクエストが失敗したことで判断する余計な通信をしない。設定が要らない誰かが1回は失敗を踏む。 復帰の検知も、次に誰かが叩くまで分からない
能動(active)ロードバランサが定期的に /health を自分で叩きに行く利用者を踏ませずに外せる。 復帰も自動で分かる設定が要る。チェック自体が台に負荷をかける

nginx の無料版(オープンソース版)は、受動ヘルスチェックしか持っていません。 max_fails / fail_timeout が、その受動チェックです。能動ヘルスチェック(health_check ディレクティブ)は、商用の NGINX Plus の機能です。

能動チェックが要るなら、選択肢は3つです。 HAProxy(無料で check と書くだけ)、クラウドのロードバランサ(標準機能)、Kubernetes の readinessProbe(Serviceの回でやったとおり、条件を満たさない Pod は振り分け先から自動で外れます)。

能動チェックを入れるなら、/health は「HTTPが返る」だけでは足りません。 DBに繋がるかまで見ないと、「nginx は生きていると判断しているのに、全リクエストが 500」という最悪の状態になります。わざと壊して直す回で見た切り分けの順番が、そのまま /health の中身になります。

3台目を戻しておきます。

bash
$ cd ~/lb && NAME=app-c PORT=3002 DELAY=300 nohup node app.js > c.log 2>&1 &

⑦ リバースプロキシとロードバランサは、どう違うのか

同じ nginx で、同じ proxy_pass を書いています。 実際、役割は重なります。

リバースプロキシロードバランサ
目的前に立つこと。ポートを隠す、TLSを終端する、パスで振り分ける、キャッシュする散らすこと。同じ役割の複数台に、負荷を配る
後ろの台数1台でも成立する2台以上でないと意味がない
後ろの台の役割バラバラでよい(/api/ はNode、/ は静的)全部同じでなければならない
見ている層主に L7(HTTPの中身)L4 でも L7 でもできる(L4/L7の回)

ポート番号を隠す回で作ったのは、後ろが1台のリバースプロキシでした。 そこに server を1行足した瞬間、同じものがロードバランサになりました。

「どちらか」ではありません。 実務では同じ1台が両方やっています。 言葉を分けているのは、議論のときに何の話をしているかを揃えるためです。「LBを入れよう」と言われたら、散らしたいのか、前に立てたいのかを先に確認してください。必要なものが変わります。

⑧ DNS ラウンドロビンは、外せない

ロードバランサを1台も立てずに散らす方法があります。 同じ名前に、複数のIPアドレスを登録するだけです。

www.example.com.  A  203.0.113.10
www.example.com.  A  203.0.113.11

問い合わせるたびに順番が入れ替わって返るので、クライアントは散ります。タダで、どこでも動きます。 DNSレコードの回で見た A レコードを、2行書くだけです。

問題は、1台落ちたときです。

DNS の答えは、あちこちにキャッシュされています。 中継のDNSサーバー、OS、ブラウザ。TTL を60秒にしても、それを守らない実装があります。 つまり、落ちた台のIPを、しばらく配り続けます。 レコードを消しても、すでに配られた答えは回収できません。

DNS には「その台が生きているか」を知る手段がありません。 ヘルスチェックが無いのです。 だから DNS ラウンドロビンは、「落ちること」を前提にできません。 使えるのは、そもそも落とさない前提の、大きな単位——データセンターごと、リージョンごとを分ける場面です。台単位の負荷分散には使いません。

⑨ ロードバランサ自身が単一障害点になる

ここまでで、アプリは3台になりました。1台落ちても動きます。 ですが、その3台の前に立っている nginx は1台です。

この nginx が落ちたら、後ろが何台生きていても全部止まります。 「冗長化しました」と報告した構成が、壊れる場所を1か所に集めただけになっているのは、よくある話です。

消し方は3通りしかありません。

やり方仕組み切り替わる速さ使いどころ
DNS で複数のLBを配るLB を2台立て、両方のIPを A レコードに書く遅い(キャッシュが切れるまで)大きな単位。リージョン間
VIP を持ち回る(VRRP)LB を2台並べ、片方だけが仮想IPを持つ。持っている側が落ちたら、もう片方が同じIPを引き取る(keepalived)速い(数秒)自前でサーバーを並べているとき。同じネットワーク内が前提
クラウドのLBを使うLB そのものが中で複数台に冗長化されている。利用者からは1つに見える意識しなくてよいクラウドを使っているなら、まずこれ

VIP(仮想IP)だけ、少し補足します。 普通、IPアドレスはサーバーに固定で紐づいています。VRRP は、そのIPを「持ち回りの札」にします。 2台が「私が持っています」と定期的に知らせ合い、知らせが途切れたら、もう片方が札を引き取ります。 利用者から見れば、同じIPのまま、答える機械だけが入れ替わります。

クラウドのロードバランサは、この面倒を丸ごと肩代わりしています。 「マネージドは高いだけ」と思っていましたが、自前で VIP を組んで、切り替えを試験して、両方の設定を同期させる手間を数えると、そう単純ではありませんでした。

そして、負荷分散を入れると必ず増える仕事があります。

  • 設定が2か所以上になる。 LB を2台にしたら、両方の設定を同じに保つ必要があります(Ansibleの回)
  • ログが台数分に散る。 どの台のログを見ればいいのか分からなくなります(Lokiの回)
  • 「たまに遅い」が、どの台の話か分からなくなる。 $upstream_addr を必ずログに入れる理由がこれです

⑩ 何を使うか

道具向いている場面注意
nginxWebサーバーとロードバランサを兼ねたいとき。TLS終端・静的配信も一緒にやる能動ヘルスチェックが無料版に無い。スティッキーは ip_hash だけ
HAProxy負荷分散そのものが主目的のとき。能動チェックが無料で使える。統計画面が付く静的ファイルは配れない。Webサーバーは別に要る
クラウドのLB(ALB / NLB など)クラウドで動かしているなら、まずこれLB自体の冗長化を考えなくてよい。ただし料金が時間課金+転送量
サービスメッシュサービスが十数個以上あり、サービス同士の通信にも振り分け・リトライ・打ち切りが要るとき重い。 入れる前に本当に必要かを確認する。サービスメッシュの回で、なぜ自分で書かないほうがいいかを見ました

選ぶ順番は、たいてい上から下です。 そして下に行くほど「入れたあとの仕事」が増えます。 設計の進め方の回で書いたとおり、要件から選ぶのであって、名前を知っているから選ぶのではありません。

Kubernetes を使っているなら、今日 upstream に手で書いたことを、Service が自動でやっています。 ただし順番はこちらが先です。 手で書いて、偏りを数えて、セッションで転んでおくと、Kubernetes が何を肩代わりしているのかが初めて見えます。

nginxやHAProxyを本当に別のマシンに置いて、バックエンド1台を落とす実験までやるなら、複数台をローカル接続で組めるVPSが向いています。クラウド VPS byGMOは初期費用0円の定額制で転送量課金がなく、2026年11月時点の公式表示では1GB(仮想2コア・50GB)が12ヶ月契約で月858円・1ヶ月契約で月1,078円(税込)に、別途サーチャージ費が毎月加わります。

つまずいたところ

つまずき何が起きたか
least_conn を server 行の後ろに書いた動きはしましたが、書く位置で挙動が変わると思い込んでしばらく悩みました。nginx はブロック内のどこに書いても読みますが、先頭に書くのが慣例です。読む人のために揃えました
ab の結果だけ見て「速くなった」と言いかけたab は所要時間しか教えません。 どの台に何件行ったかはログから数えないと分かりません。 数えて初めて「3002番が6件しか受けていない」が見えました
ip_hash で直った、と思ったcurl は毎回同じIPから出るので、当然すべて同じ台に行きます。 「直った」ように見えました。別のIPから来る人が偏る問題は、手元では絶対に再現できません
/stats を件数に数えていた最初は全リクエストを数えていたので、確認のために /stats を叩くたびに数字が増えました。 測るための窓口は、測定対象から外す必要がありました
落ちた台に送られていることに気づかなかったcurl は 200 を返していたので、問題なしと判断しかけました。 $upstream_addr が2つ並んで記録されているのを見て初めて分かりました
pkill -f "node app.js" で3つ全部消した3台目だけ止めるつもりが、全滅しました。 ss -ltnp で PID を調べてから kill するのが確実でした

後片づけ

立てたものを全部消します。 練習用の 8080番サイトを残すと、次に nginx を触ったときに混乱します。

3つのアプリを止めます。

bash
$ pkill -f "node app.js"
$ ss -ltn | grep -E '3000|3001|3002'

grep が何も返さなければ止まっています。

練習用のサイトを外します。

bash
$ sudo rm /etc/nginx/sites-enabled/lb
$ sudo nginx -t && sudo systemctl reload nginx

消すのは sites-enabled のリンクだけです。sites-available の実体は残しておくと、あとでもう一度試せます。完全に消すなら sudo rm /etc/nginx/sites-available/lb も打ちます。

ログとファイルを片づけます。

bash
$ sudo rm -f /var/log/nginx/lb_access.log
$ rm -rf ~/lb /tmp/lbcookie.txt

80番のサイトが元どおり動くことを、必ず確かめます。

bash
$ curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1/
200

戻し方: もし nginx -t が通らなくなったら、sudo rm -f /etc/nginx/sites-enabled/lb で今回のファイルを外し、もう一度 sudo nginx -t を打ってください。この記事で足したのは 8080番のサイト1つだけなので、それを外せば元の状態に戻ります。

まとめ — 理解できたこと

  • upstream に並べただけでは、振り分け方を選んでいない。 既定のラウンドロビンは全台が同じ速さを前提にしている
  • 公平に配ることと、速く返すことは別。遅い台が1つあると、ラウンドロビンはわざわざ行列に並びに行く
  • least_conn は台数を増やさずに効いた。 実測で所要時間が3分の1になった。ただし万能ではなく、処理時間がバラつくときの手
  • 振り分け方は5種類覚えれば足りる(順番 / 重み / 最少接続 / ハッシュ / ランダム2択)。台数が多いときはランダム2択
  • セッションが切れるのはLBのせいではない。 アプリが自分のメモリに状態を持っているのが原因
  • 直し方の順番は「状態を持たない → 外に出す → スティッキー」。 スティッキーは1行で直るが、偏る・落ちた人だけ切れる・増やしても移らない
  • 既定では、落ちた台にも一度は送られる。 max_fails と fail_timeout はそれを減らす設定であって、無くす設定ではない
  • nginx の無料版は受動ヘルスチェックだけ。 能動が要るなら HAProxy かクラウドのLBかKubernetes
  • DNS ラウンドロビンはヘルスチェックを持たない。 キャッシュのせいで落ちた台を外せない
  • ロードバランサ自身が単一障害点。 消す方法は DNS / VIP / クラウドのLB の3つだけ

次に台数を増やすときは、upstream に1行足す前に「この3台は本当に同じ速さか」を先に聞きます。 違うなら、振り分け方を選ぶところから始まります。

参考リンク


次に読む

この記事は 【深掘り】システム設計 の 3 / 17 本目です。

記事
← 前の記事レイテンシとスループット — 台数を増やしたら遅くなった
→ 次の記事キャッシュを置く5つの層 — 入れたのに速くならない

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

System Design›System Design — Load Balancing
  • L4 と L7 / 振り分けアルゴリズム
  • スティッキーセッションとヘルスチェック

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次