サービスディスカバリと名前解決 — 相手のIPを書いたら翌日壊れた

サービスディスカバリ。サービス名のカードと登録簿、虫眼鏡とサーバー。

そしてこれがシステム設計深掘りシリーズの最終回です。最後に、16回で何を積み上げたのかを振り返ります。

前回: 遅いアプリのアンチパターン7つ — 推測では当たらない

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へは進めます。 本線のまだマイクロサービスにしない — モノリスと12 Factorの回で、「サービスを分けると、サービス同士がどうやって相手を見つけるかという問題が生まれる」と一行だけ書きました。この記事はその一行の中身です。

この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。

前提: VMに Docker と Docker Compose が入っていること(docker compose version が返る)。まだなら本線の「Docker Composeの書き方|複数コンテナをまとめて起動する」の回を先にやってください。

端末を2つ開きます。 VS Code の統合ターミナルでも、ssh を2本張っても構いません。この記事では「端末1」「端末2」と呼びます。


小さなAPIを2つに分けたときの話です。注文を受けるサービスと、在庫を確認するサービス。よくある分け方です。

注文サービスから在庫サービスを呼ぶ必要があります。呼び先をどう書くか。私はこう書きました。

STOCK_API=http://172.18.0.3:80

動きました。 その日は。

翌日、在庫サービスのコードを直して docker compose up -d --build をしました。そこから注文が全部通らなくなりました。

ログにはこう出ています。

connect ECONNREFUSED 172.18.0.3:80

在庫サービスは元気に動いています。docker compose ps を見ても Up です。それでも繋がりません。

理由を知ったときは、正直がっかりしました。

コンテナを作り直したら、IPアドレスが 172.18.0.3 から 172.18.0.4 に変わっていた。

それだけです。バグでもネットワークの故障でもありません。私が「相手の住所は固定だ」と勝手に思い込んでいただけです。

これは Docker に限った話ではありません。

環境相手のIPが変わる瞬間
Dockerコンテナを作り直したとき
KubernetesPodが再作成されたとき(毎回)
クラウドのVM自動で台数が増減したとき
オンプレの物理サーバーめったに変わらない(だから昔はこれで済んだ)

「IPを書いておけばよい」が通用していたのは、サーバーが手で立てた固定の箱だった時代の話です。 台数が自動で動く前提になった瞬間、この方法は壊れます。

そこで必要になるのが、サービスディスカバリ(相手を見つける仕組み)です。

この記事では、その仕組みを一番素朴なものから順に、全部自分で立てて壊して確かめます。図で眺めても身に付きません。IPが変わる瞬間を目で見て、DNSでは足りないところを実測して、登録簿を自分で作ります。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • 相手のIPを設定に書くと、相手を作り直した瞬間に壊れること。そしてそれは自分のサービスのログには「相手が悪い」ように見えること
  • 一番簡単で、たいていはこれで十分な答えは「名前で呼ぶ」であること。Docker Compose も Kubernetes も、中でやっていることは同じだということ
  • DNSは「落ちている台」を外してくれないこと。落ちた台のIPもそのまま返ってくること
  • キャッシュされたIPは、消した後もしばらく使われ続けること。nginx は起動時に一度解決したIPを、既定では永久に持ち続けること
  • 登録簿(サービスレジストリ)の正体は「TTL付きの書き込みを、生きている間だけ更新し続ける」だけだということ
  • APIゲートウェイは「入口を1つにする」もので、そこに業務ロジックを入れ始めると、そこが新しいモノリスになること
  • そして、数台までなら登録簿もゲートウェイも要らないこと。このサイトの構成にも、まだ要らないこと

この記事でやること

  1. サービスを2つ立てて、docker inspect でIPが作り直すたびに変わるところを実際に見る
  2. IPを直書きした設定を作って壊し、サービス名で呼ぶ形に直して getent hosts でDNS解決を確かめる
  3. DNSだけでは足りないことを、nginx が古いIPを掴んだまま502を返し続けるところで実測し、resolver と TTL で直す
  4. Redis を登録簿にした小さなサービスレジストリを作り、SETEX で登録して定期更新し、片方を止めると自動で消えるところを確認する
  5. nginx で入口を1つにまとめた API ゲートウェイを作り、パスで振り分け、レート制限を実際に効かせる
  6. BFF(画面ごとの入口)の形を最小限で作り、最後に全部消す

先に知る言葉

基本的な言葉は用語集にもまとめてあります。

言葉意味
サービスディスカバリ呼びたい相手が「いまどこにいるか」を、IPを書かずに調べる仕組みの総称
サービスレジストリ(登録簿)起動したサービスが自分の住所を書き込み、止まると消える一覧表。Consul・etcd・ZooKeeper など
ハートビート「まだ生きています」と定期的に知らせること。届かなくなったら登録簿から消える
TTLTime To Live。「この情報は何秒間だけ有効か」。DNSの答えにも、登録簿の行にも付く
クライアントサイド・ディスカバリ呼ぶ側が一覧を取ってきて、自分でどの台に繋ぐか決める形
サーバーサイド・ディスカバリ呼ぶ側は入口1つだけ知っていて、ロードバランサが振り分ける形
APIゲートウェイ外からの入口を1つにまとめ、パスなどで内部のサービスへ振り分ける層
BFFBackends for Frontend。画面(Web・モバイル)ごとに専用の入口を用意する考え方
単一障害点そこが落ちると全部止まる場所。SPOF とも書く
ヘルスチェック相手が本当に応答できるかを、定期的に叩いて確かめること

① まずIPが変わるところを見る

「作り直すとIPが変わる」を、説明ではなく目で見ます。

作業場所を作る

端末1で打ちます。

bash
$ mkdir -p ~/dislab
$ cd ~/dislab

以降、この記事のコマンドはすべて ~/dislab の中で打ちます。迷ったら pwd で確かめてください。

bash
$ pwd
/home/ユーザー名/dislab

中身の違う静的サイトを2つ用意する

サービスの中身は何でもよいので、自分がどちらのサービスかを名乗るだけの静的ファイルにします。

bash
$ mkdir -p a b
$ echo 'I am service A' > a/index.html
$ echo 'I am service B' > b/index.html

compose.yaml を書く

bash
$ nano compose.yaml

以下を貼り付けます。

services:
  svc-a:
    image: nginx:alpine
    container_name: dl-a
    volumes:
      - ./a:/usr/share/nginx/html:ro

  svc-b:
    image: nginx:alpine
    container_name: dl-b
    volumes:
      - ./b:/usr/share/nginx/html:ro

  client:
    image: nginx:alpine
    container_name: dl-client
    command: ["sleep", "infinity"]

client は呼ぶ側の役です。中で curl を打つためだけに、何もせず起きているコンテナを1つ置いています。

保存は Ctrl+O → Enter → Ctrl+X です。

起動する

bash
$ docker compose up -d
bash
$ docker compose ps

3つとも Up になっていれば大丈夫です。

IPを調べる

bash
$ docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' dl-a
$ docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' dl-b

こういう値が出ます(数字は環境によって違います)。

172.19.0.2
172.19.0.3

この2行をメモしてください。 次でこれが変わります。

📸 スクリーンショットを撮ってください: 01_作り直す前のIP.png docker inspect の出力2行が見えている画面を撮ってください。次のスクリーンショットと並べると、この記事の主題がそれだけで伝わります。

作り直す

コードを直して入れ替えたときと同じことをします。コンテナを一度消して、作り直します。

bash
$ docker compose down
$ docker compose up -d

もう一度IPを見ます。

bash
$ docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' dl-a
$ docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' dl-b

入れ替わっているか、別の値になっているはずです。

172.19.0.3
172.19.0.2

必ず入れ替わるとは限りません。 起動の順番はそのときの気分次第で、たまたま同じになることもあります。「同じこともある」のが、この問題のいやらしいところです。 昨日は動いたのに今日は動かない、という形で出てきます。

何度か down と up -d を繰り返せば、いずれ変わります。変わるまでやってみてください。 ここを実感しないと、この記事の残りは全部ただの知識になります。

📸 スクリーンショットを撮ってください: 02_作り直した後のIP.png 同じコマンドなのに違う数字が出ている画面を撮ってください。

IP直書きで壊す

呼ぶ側の設定に、さっきのIPを書きます。

いま dl-a に付いているIPを変数に入れて、設定ファイルを作ります。

bash
$ A_IP=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' dl-a)
$ echo "STOCK_API=http://$A_IP" > target.env
$ cat target.env
STOCK_API=http://172.19.0.3

これが「翌日壊れる設定ファイル」です。 いまは動きます。

bash
$ docker compose exec client sh -c '. /work/target.env 2>/dev/null; curl -s --max-time 3 http://172.19.0.3'

ここは自分のメモしたIPに読み替えて打ってください。I am service A が返れば成功です。

コンテナの中から見えるようにファイルを渡していないので、IPを直接打つ形にしています。それがまさに「直書き」です。

では、作り直します。

bash
$ docker compose down
$ docker compose up -d

同じコマンドを、もう一度打ちます。

bash
$ docker compose exec client sh -c 'curl -s --max-time 3 http://172.19.0.3'

運が悪ければ、何も返りません。 タイムアウトするか、I am service B という別のサービスの答えが返ります。

これが一番こわい失敗です。 繋がらないなら気づきます。別のサービスに繋がってしまったら、気づきません。

在庫を聞いたつもりで、注文の返事を受け取る。そのままDBに書き込むところまで、エラーは1つも出ません。


② 一番簡単な答え — 名前で呼ぶ

答えは拍子抜けするほど簡単です。IPではなく名前で呼びます。

bash
$ docker compose exec client sh -c 'curl -s --max-time 3 http://svc-a'
I am service A
bash
$ docker compose exec client sh -c 'curl -s --max-time 3 http://svc-b'
I am service B

作り直しても、これは壊れません。 確かめます。

bash
$ docker compose down && docker compose up -d
$ docker compose exec client sh -c 'curl -s --max-time 3 http://svc-a'
I am service A

なぜ名前で引けるのか

魔法ではありません。Docker が小さなDNSサーバーを1つ立てているだけです。

コンテナの中で、名前がIPに変わるところを見ます。

bash
$ docker compose exec client getent hosts svc-a
172.19.0.3       svc-a

getent hosts は、「この名前は何番か」をOSの仕組みで引くコマンドです。ping を打たないので、相手が応答するかどうかとは無関係に、名前解決だけを確かめられます。

誰が答えているのかも見えます。

bash
$ docker compose exec client cat /etc/resolv.conf
nameserver 127.0.0.11
options ndots:0

127.0.0.11 は Docker の内蔵DNS の住所です。コンテナの中からしか見えません。

nslookup でも同じことができます。

bash
$ docker compose exec client nslookup svc-a
Server:		127.0.0.11
Address:	127.0.0.11:53

Name:	svc-a
Address: 172.19.0.3

dig はこのイメージに入っていません。dig を使いたければ apk add --no-cache bind-tools が要ります。getent hosts と nslookup は最初から使えるので、この記事ではそちらを使います。

Kubernetes でも、考え方は同じ

ここが大事なところです。この「名前で呼ぶ」は Docker 固有の話ではありません。

環境呼び方中で起きていること
Docker Composehttp://svc-a内蔵DNS(127.0.0.11)が、いまのコンテナのIPを返す
Kuberneteshttp://svc-a / http://svc-a.default.svc.cluster.localクラスタ内DNSが Service の固定IP を返す
クラウドのロードバランサhttp://内部の名前マネージドDNSが、いま生きている入口を返す

Kubernetes の場合、返ってくるのは Pod のIPではなく Service のIPです。 Podは作り直すたびにIPが変わりますが、Service のIPは変わりません。「変わるもの」の前に「変わらない名前」を1枚置くという、まったく同じ発想です。

そこはPodのIPは翌日には変わる — Kubernetes深掘りで、実際にPodを消してIPが変わるところまでやりました。この記事で見ている症状と、同じ症状です。

Docker のネットワークそのもの(なぜ localhost では繋がらないのか、ブリッジとは何か)はlocalhostで繋がらないのは当然 — Docker深掘りにまとめてあります。

たいていの現場は、ここで終わりでよいです。 サービスが数個、台数が固定なら、名前で呼ぶだけでこの記事の残りは全部要りません。

それでも先を読む理由は、名前で呼ぶだけでは足りない場面が、確かにあるからです。次でそれを実測します。


③ DNSだけでは足りない理由

DNSには、決定的にできないことが2つあります。

1. 落ちている台を、外してくれない。 2. 一度返した答えが、しばらく生き残る。

順に、実際に起こします。

落ちた台のIPも返る

同じサービスを2台に増やします。

bash
$ docker compose up -d --scale svc-b=2

container_name を指定していると --scale は使えません。エラーが出たら、compose.yaml の svc-b から container_name: dl-b の行を消して、もう一度打ってください。

bash
$ nano compose.yaml

svc-b はこうなります。

  svc-b:
    image: nginx:alpine
    volumes:
      - ./b:/usr/share/nginx/html:ro
bash
$ docker compose up -d --scale svc-b=2
$ docker compose ps

名前を引くと、2つのIPが返ります。

bash
$ docker compose exec client getent hosts svc-b
172.19.0.4       svc-b
172.19.0.5       svc-b

これが DNSラウンドロビン です。呼ぶ側は返ってきた一覧から適当に1つ選びます。

ここで、片方だけ止めます。

bash
$ docker compose ps --format '{{.Name}}' | grep svc-b

出てきた名前のうち片方を止めます(名前は環境で違います)。

bash
$ docker stop dislab-svc-b-2

もう一度引きます。

bash
$ docker compose exec client getent hosts svc-b

Docker の内蔵DNSは比較的よくできていて、止めたコンテナは一覧から消えることが多いです。1行だけ返れば、それが正常な動きです。

ですが、これは Docker が親切なだけです。 DNSという仕組み自体は、こうです。

DNSは「この名前はこのIPです」としか答えません。 そのIPが応答するかどうかは、一切見ていません。

社内のDNSサーバーに手でAレコードを書いた場合、そのサーバーが火を吹いていても、DNSは平然とそのIPを返し続けます。 誰も消しに行かないからです。

「名前が引ける」と「そこが生きている」は、まったく別のことです。 ここを混ぜると、障害のときに何時間も溶かします。

キャッシュされたIPは、消えた後も使われ続ける

こちらが実務で本当に刺さるほうです。実測します。

止めたコンテナを戻しておきます。

bash
$ docker start dislab-svc-b-2

呼ぶ側を、curl ではなく nginx のリバースプロキシにします。実際のシステムでは、たいてい前にプロキシが1枚います。

bash
$ mkdir -p gw
$ nano gw/default.conf

以下を貼り付けます。

server {
    listen 80;

    location / {
        proxy_pass http://svc-a;
        proxy_set_header Host $host;
    }
}

compose.yaml にゲートウェイを足します。

bash
$ nano compose.yaml

client の下に、以下を足します(インデントは半角スペース2つです)。

  gw:
    image: nginx:alpine
    container_name: dl-gw
    ports:
      - "127.0.0.1:8080:80"
    volumes:
      - ./gw/default.conf:/etc/nginx/conf.d/default.conf:ro

ports の先頭に 127.0.0.1: が付いていることを必ず確かめてください。 これが無いと、VMの外から誰でもこの入口に入れます。 練習用でも付けます。

bash
$ docker compose up -d

VMの中から叩きます。

bash
$ curl -s --max-time 3 http://127.0.0.1:8080/
I am service A

ここまでは動きます。では、svc-a だけを作り直します。

bash
$ docker compose rm -sf svc-a
$ docker compose up -d svc-a

そして、すぐに叩きます。

bash
$ for i in 1 2 3 4 5; do curl -s -o /dev/null -w '%{http_code} ' --max-time 3 http://127.0.0.1:8080/; sleep 1; done; echo
502 502 502 502 502

502 が出続けます。 svc-a は元気に動いています。docker compose ps で Up です。

30秒待ってからもう一度打っても、まだ 502 です。 1分待っても直りません。

nginx は、起動したときに一度だけ svc-a を名前解決し、そのIPを持ち続けます。 相手が別のIPになったことを、誰も教えてくれません。

いまの設定のまま直すなら、再起動するしかありません。

bash
$ docker compose restart gw
$ curl -s --max-time 3 http://127.0.0.1:8080/
I am service A

「再起動したら直った」の正体がこれです。 そして再起動でしか直らないということは、相手を入れ替えるたびに手で再起動しないといけないということです。

TTLを付けて直す

nginx には、名前を引き直させる設定があります。

bash
$ nano gw/default.conf

全文をこれに置き換えます。

server {
    listen 80;

    resolver 127.0.0.11 valid=10s ipv6=off;

    location / {
        set $upstream_a http://svc-a;
        proxy_pass $upstream_a;
        proxy_set_header Host $host;
    }
}

変えたのは2つです。

行意味
resolver 127.0.0.11 valid=10s;Docker の内蔵DNSに、10秒ごとに引き直す
set $upstream_a ...; proxy_pass $upstream_a;変数を使う。nginx は proxy_pass に変数があると、起動時解決をやめて実行時に引く(1.27.3 以降は、upstream の server に resolve を付けて引き直させる方法もある。zone と resolver が必要)

この「変数にすると挙動が変わる」は、知らないと絶対に分かりません。 proxy_pass http://svc-a; と proxy_pass $upstream_a; は、書き方が違うだけに見えて、動きが根本的に違います。 私はここで半日溶かしました。

反映して、もう一度壊します。

bash
$ docker compose restart gw
$ docker compose rm -sf svc-a && docker compose up -d svc-a
$ for i in $(seq 1 15); do curl -s -o /dev/null -w '%{http_code} ' --max-time 3 http://127.0.0.1:8080/; sleep 1; done; echo
502 502 502 200 200 200 200 200 200 200 200 200 200 200 200

数秒だけ 502 が出て、そのあと自力で戻ります。

これが TTL の正体です。 ゼロにはなりません。「壊れている時間の長さを、自分で決められるようになる」だけです。

valid=10s を valid=60s にすれば、壊れている時間は最大1分に伸びます。 短くすればDNSを引く回数が増えます。この綱引きが、キャッシュの設計そのものです。

同じ綱引きは、キャッシュの回でもやりました。保存する場所が違うだけで、悩みは同じです。

📸 スクリーンショットを撮ってください: 03_502が自力で戻る.png 502 502 502 200 200 ... と並んでいる行を撮ってください。「壊れて、直る」が1行で見えます。


④ 登録簿(レジストリ)を置く

DNSでは、「いま生きている台の一覧」を持てませんでした。ならば、それだけを持つ場所を作ります。

これがサービスレジストリです。実務では Consul や etcd を使いますが、中でやっていることは驚くほど単純です。

1. 起動したら、自分の住所を書き込む。 2. 生きている間、定期的に書き直す(ハートビート)。 3. TTLを付けておく。書き直しが止まれば、勝手に消える。

3行です。 これを Redis で作ります。

Redis そのものは本線の「Redisの導入とキャッシュ設計|有効期限と削除のタイミング」の回でやりました。ここではキャッシュではなく登録簿として使います。

登録簿と、登録係を足す

bash
$ nano compose.yaml

以下を足します。

  registry:
    image: redis:7-alpine
    container_name: dl-registry

  agent-a:
    image: redis:7-alpine
    container_name: dl-agent-a
    depends_on:
      - registry
    environment:
      SVC_NAME: web
      SVC_ID: a
      SVC_HOST: svc-a
    command:
      - sh
      - -c
      - |
        while true; do
          IP=$$(getent hosts "$$SVC_HOST" | awk '{print $$1}' | head -n1)
          if [ -n "$$IP" ]; then
            redis-cli -h registry SETEX "svc:$$SVC_NAME:$$SVC_ID" 15 "$$IP:80" >/dev/null
          fi
          sleep 5
        done

  agent-b:
    image: redis:7-alpine
    container_name: dl-agent-b
    depends_on:
      - registry
    environment:
      SVC_NAME: web
      SVC_ID: b
      SVC_HOST: svc-b
    command:
      - sh
      - -c
      - |
        while true; do
          IP=$$(getent hosts "$$SVC_HOST" | awk '{print $$1}' | head -n1)
          if [ -n "$$IP" ]; then
            redis-cli -h registry SETEX "svc:$$SVC_NAME:$$SVC_ID" 15 "$$IP:80" >/dev/null
          fi
          sleep 5
        done

$$ は打ち間違いではありません。 Docker Compose は $ を自分の変数展開に使うので、シェルに $ をそのまま渡すには $$ と書きます。 ここを $ にすると、WARN: The "IP" variable is not set と出て、空文字になります。

やっていることは1行だけです。

SETEX svc:web:a 15 "172.19.0.3:80"

「このキーを、15秒だけ有効な値として書く」。それを 5秒ごとに繰り返す。それだけです。

数字意味
15(TTL)15秒書き直しが来なければ、Redisが勝手に消す
5(間隔)5秒ごとに書き直す

TTLは間隔の2〜3倍にします。同じにすると、1回書き込みに失敗しただけで「死んだ」と判定されます。

bash
$ docker compose up -d

登録されているか見る

bash
$ docker compose exec registry redis-cli --scan --pattern 'svc:web:*'
svc:web:a
svc:web:b

中身も見ます。

bash
$ docker compose exec registry redis-cli mget svc:web:a svc:web:b
1) "172.19.0.3:80"
2) "172.19.0.4:80"

これが「いま生きている台の一覧」です。 DNSには作れなかったものです。

残り時間も見えます。

bash
$ docker compose exec registry redis-cli ttl svc:web:a
(integer) 12

何度か打つと、減っていって、また15に戻るのが見えます。それがハートビートです。

bash
$ for i in 1 2 3 4 5 6 7 8; do docker compose exec -T registry redis-cli ttl svc:web:a; sleep 2; done
(integer) 13
(integer) 11
(integer) 14
(integer) 12
(integer) 10
(integer) 13
(integer) 11
(integer) 14

止まった台が、自動で消える

ここがこの章の山です。片方を止めます。

bash
$ docker compose stop agent-b svc-b

止めた直後に一覧を見ます。

bash
$ docker compose exec registry redis-cli --scan --pattern 'svc:web:*'
svc:web:a
svc:web:b

まだ残っています。 TTLがまだ切れていないからです。20秒待ちます。

bash
$ for i in $(seq 1 12); do echo -n "$(date +%T) "; docker compose exec -T registry redis-cli --scan --pattern 'svc:web:*' | tr '\n' ' '; echo; sleep 3; done
19:20:01 svc:web:a svc:web:b 
19:20:05 svc:web:a svc:web:b 
19:20:09 svc:web:a svc:web:b 
19:20:13 svc:web:a 
19:20:17 svc:web:a 
19:20:21 svc:web:a 

誰も消していないのに、消えました。

登録簿から消すコードは、1行も書いていません。 「書き続けるのをやめた」だけで消えます。

これが、サービスレジストリの一番きれいなところです。サービスが kill -9 されても、VMごと電源が落ちても、ネットワークが切れても、同じように消えます。 「終了時に自分を削除する」という作りだと、きれいに終われなかったときに幽霊が残ります。

戻します。

bash
$ docker compose start svc-b agent-b
$ sleep 8
$ docker compose exec registry redis-cli --scan --pattern 'svc:web:*'
svc:web:a
svc:web:b

8秒ほどで戻ってきます。 登録も削除も、誰かが指示したのではなく、時間が決めています。

📸 スクリーンショットを撮ってください: 04_登録が自動で消える.png 時刻つきの一覧が、途中から svc:web:a だけになる画面を撮ってください。

この実装で足りていないこと

正直に書きます。これは説明用の最小実装で、そのまま使えるものではありません。

足りないもの何が起きるか
本当のヘルスチェックが無い登録係が生きているだけで登録される。サービス本体が固まっていても「生きている」ことになる
登録簿自体が1台Redisが落ちたら、全サービスが互いを見失う。実務では3〜5台で組む
--scan を毎回打っている台数が増えると重い。実務ではキーを1つの集合にまとめるか、変更を購読する
書き込みが誰でもできる認証が無い。偽の登録を書き込めば、通信をそこへ引ける

Consul や etcd が存在する理由は、この4つを全部埋めるのが面倒だからです。仕組み自体は、いま作った3行と同じです。


⑤ 呼ぶ側が選ぶか、任せるか

さて、一覧は手に入りました。 次の問題は「誰がその一覧を見て、どの台に繋ぐか」です。

道は2本しかありません。

クライアントサイドサーバーサイド
誰が選ぶか呼ぶ側のアプリ自身前に立つロードバランサ
一覧を見るのは呼ぶ側ロードバランサ
経路呼ぶ側 → 相手呼ぶ側 → LB → 相手
速さ速い(間に1つも挟まらない)1ホップ増える
実装コスト使う言語すべてに、選ぶ処理を書くアプリは何も知らなくていい
言語をまたぐとJava・Go・Node それぞれに必要どの言語でも同じ
障害の切り分け呼ぶ側のログを全部見る必要があるLBのログ1箇所で分かる
LB自体の障害そもそも無いLBが単一障害点になる
代表例Netflix Ribbon、gRPCのクライアントLBnginx、AWS ALB、Kubernetes の Service

どちらが正しいという話ではありません。 判断の軸は1つです。

言語が1つなら、クライアントサイドも選べる。 言語が2つ以上になった瞬間、サーバーサイドのほうが安い。

そして、もう1つの道があります。アプリの隣に小さなプロキシを置いて、アプリは localhost を呼ぶだけにするという形です。これがサービスメッシュのサイドカーで、サーキットブレーカを自分で書かない — サービスメッシュでやりました。「全言語に実装が要る」を、プロセスを1つ足すことで回避しています。

振り分け方そのもの(ラウンドロビンで偏る理由、重み付け、スティッキーセッション)は3台に振り分けたのに偏る — システム設計深掘りにまとめてあります。この記事は「どの台に振るか」ではなく「そもそも台の一覧をどう得るか」の話です。


⑥ APIゲートウェイ — 入口を1つにする

サービスが増えると、外から見た入口が増えます。

https://example.com:3001/orders    ← 注文サービス
https://example.com:3002/stock     ← 在庫サービス
https://example.com:3003/users     ← 利用者サービス

これは、ブラウザ側から見ると地獄です。

困ること中身
ポートが増えるファイアウォールに穴が増える。企業ネットワークから塞がれる
CORSドメインやポートが違うと、ブラウザが弾く
TLS証明書サービスごとに証明書を置いて更新する
認証同じログイン処理を、全サービスに書く
内部構造が漏れる外から「サービスが何個あるか」が丸見え

そこで、入口を1つにします。 これが APIゲートウェイです。

nginx で作る

bash
$ nano gw/default.conf

全文をこれに置き換えます。

limit_req_zone $binary_remote_addr zone=apilimit:10m rate=2r/s;

server {
    listen 80;

    resolver 127.0.0.11 valid=10s ipv6=off;

    location = /healthz {
        return 200 "gateway ok\n";
        add_header Content-Type text/plain;
    }

    location /orders/ {
        limit_req zone=apilimit burst=3 nodelay;
        set $up_a http://svc-a;
        rewrite ^/orders/(.*)$ /$1 break;
        proxy_pass $up_a;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    location /stock/ {
        limit_req zone=apilimit burst=3 nodelay;
        set $up_b http://svc-b;
        rewrite ^/stock/(.*)$ /$1 break;
        proxy_pass $up_b;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

limit_req_zone は server の外に書きます。中に書くと nginx: [emerg] "limit_req_zone" directive is not allowed here で起動しません。

設定の文法を確かめてから反映します。

bash
$ docker compose exec gw nginx -t
$ docker compose restart gw

syntax is ok と test is successful が出れば大丈夫です。restart の前に必ず nginx -t を打つ癖をつけてください。 文法が壊れていると、再起動した瞬間に入口が丸ごと落ちます。

1つの入口から、2つのサービスに届く

bash
$ curl -s http://127.0.0.1:8080/healthz
$ curl -s http://127.0.0.1:8080/orders/
$ curl -s http://127.0.0.1:8080/stock/
gateway ok
I am service A
I am service B

ポートは 8080 の1つだけです。 外から見えるのはこれだけで、内部にサービスがいくつあるかは分かりません。

リバースプロキシそのものの書き方はポート番号を隠す — nginxのリバースプロキシでやりました。ゲートウェイは、それを「複数サービスへの振り分け」に広げたものです。

レート制限が効くのを見る

設定を書いたら、効いているか確かめます。 書いただけで安心しないでください。

bash
$ for i in $(seq 1 12); do curl -s -o /dev/null -w '%{http_code} ' http://127.0.0.1:8080/orders/; done; echo
200 200 200 200 503 503 503 503 503 503 503 503

5回目から 503 になりました。 rate=2r/s に burst=3 なので、瞬間的に通るのは4件までです。

本番でこの設定をそのまま使わないでください。 2r/s は練習用に厳しくしてあります。実際の値は「普通の利用者が出す秒間リクエスト数」を測ってから決めます。 測らずに決めると、攻撃ではなく自分の利用者を締め出します。

10秒ほど待ってからもう一度打つと、また通ります。

ゲートウェイが肩代わりするもの

仕事ゲートウェイに置くと各サービスに置くと
TLS終端(HTTPSの復号)証明書は1箇所。更新も1箇所サービスの数だけ証明書
認証(このトークンは誰か)1回検証して、結果をヘッダで渡す同じ処理を全サービスに実装
レート制限全体で数えられるサービスごとにバラバラに数える
ログ・計測全リクエストが1箇所を通る集めて回る必要がある
ルーティングパスやヘッダで振り分け呼ぶ側が全部知る必要がある
レスポンスの集約3つ叩いて1つにまとめられるブラウザが3回叩く

Kubernetes で同じ役をするのが Ingress です。EXTERNAL-IPがpendingのまま — Kubernetes深掘りでやったものと、いま書いた nginx の設定は、ほとんど同じことをしています。 Kubernetes の Ingress Controller には nginx を使うものが多くありましたが、代表格の ingress-nginx は2026年3月で保守を終えており、いまは Gateway API への移行が案内されています。

ゲートウェイの2つの罠

罠1: そこが単一障害点になる。

bash
$ docker compose stop gw
$ curl -s --max-time 3 http://127.0.0.1:8080/orders/
(何も返らない)

svc-a も svc-b も元気に動いています。 それでも、外からは全部落ちて見えます。

戻します。

bash
$ docker compose start gw

対策は「ゲートウェイを冗長化する」しかありません。入口を1つにする設計を選んだ以上、その入口を落とさないことが最優先の仕事になります。

罠2: 業務ロジックを入れ始めると、そこが新しいモノリスになる。

これは技術ではなく、運用の罠です。ゲートウェイは全リクエストが通るので、何を書くにも都合がよく見えます。

「この条件のときだけ在庫サービスを飛ばす」 「この利用者のときだけ古いAPIに繋ぐ」 「ここでレスポンスのこの項目を書き換える」

1つずつは小さいのですが、全部ゲートウェイに溜まります。 半年後にはこうなります。

  • ゲートウェイの設定が2000行になり、誰も全体を読めない
  • どのサービスを直しても、ゲートウェイも直さないと動かない
  • サービスを分けた意味が消える

サービスを分けたのは、別々に直して別々に出すためでした。まだマイクロサービスにしない — モノリスと12 Factorで書いた通りです。その目的が、ゲートウェイ1つで無効になります。

線引きは1つだけ覚えれば足ります。

「誰からのリクエストか」「どこへ流すか」はゲートウェイの仕事。 「そのリクエストの答えは何か」はサービスの仕事。


⑦ BFF — 画面ごとに入口を分ける

ゲートウェイを1つにすると、今度は別の不満が出ます。

商品の画面を作るとします。必要なデータはこうです。

画面欲しいもの
Web版(大きい画面)商品情報、在庫、レビュー20件、関連商品10件、購入履歴
モバイル版(小さい画面)商品情報、在庫、レビューは3件だけ

APIが1種類しかないと、どちらかが損をします。

  • Web版に合わせる → モバイルが要らないデータを毎回受け取る。通信量が増え、電池も減る
  • モバイル版に合わせる → Webが足りない分を追加で3回叩く。表示が遅くなる

この「1画面のために何度も叩く」問題は、GraphQL の回でも扱いました。GraphQL はこれを「欲しい形をクライアントが書く」で解きます。BFF は「画面ごとに専用の入口を作る」で解きます。

最小限の形を作る

bash
$ nano gw/default.conf

server ブロックの中に、以下の2つの location を足します(} の直前に入れます)。

    location /bff-web/ {
        set $up_w http://svc-a;
        rewrite ^/bff-web/(.*)$ /$1 break;
        proxy_pass $up_w;
        add_header X-BFF "web" always;
        proxy_set_header Host $host;
    }

    location /bff-mobile/ {
        set $up_m http://svc-b;
        rewrite ^/bff-mobile/(.*)$ /$1 break;
        proxy_pass $up_m;
        add_header X-BFF "mobile" always;
        proxy_set_header Host $host;
    }
bash
$ docker compose exec gw nginx -t && docker compose restart gw
$ curl -si http://127.0.0.1:8080/bff-web/    | grep -i 'x-bff'
$ curl -si http://127.0.0.1:8080/bff-mobile/ | grep -i 'x-bff'
X-BFF: web
X-BFF: mobile

入口が2つになりました。 実際のBFFは、この入口の裏で複数のサービスを叩いて、画面が欲しい形に組み立てて返す小さなアプリになります。nginx だけでは組み立てはできないので、そこは Node などで書きます。

BFFの損得

良いこと悪いこと
画面の都合を1箇所に置けるWebの都合でモバイルが遅くならない入口の数だけ、動くものが増える
画面チームが自分で直せる裏のサービスチームに頼まなくていい似たコードが入口の数だけ重複する
裏のAPIを画面に合わせなくていいサービス側は素直な形でよい画面が3種類なら、直す場所も3箇所

判断はこうです。

画面が1種類なら、BFFは要らない。 画面が2種類でも、欲しいデータが同じなら、まだ要らない。 「Webのために足したフィールドで、モバイルが遅くなった」が実際に起きてから作る。


⑧ 判断表と、正直な結論

ここまでで、道具は全部出そろいました。選び方を表にします。

いまの状況使うもの理由
サービス1〜3個、台数固定名前で呼ぶだけ登録簿もゲートウェイも動くものが増えるだけ
サービス数個、Docker Compose名前で呼ぶ + resolver を設定作り直しでIPが変わる問題だけ潰しておく
サービス数個、外に公開する口が複数+ APIゲートウェイTLSと認証を1箇所にまとめる価値が出る
台数が自動で増減する+ 登録簿、またはKubernetesここで初めて登録簿が要る
Kubernetes を使っているService と Ingress登録簿は自分で立てない。中にもう入っている
言語が3つ以上サーバーサイド、またはサイドカー全言語に選ぶ処理を書くのは割に合わない
画面ごとに欲しいデータが違う+ BFFただし実際に困ってから

正直な結論

この記事で、登録簿もゲートウェイも自分の手で作りました。そのうえで書きます。

このサイトの構成には、どれも要りません。

obmes.com は WordPress が1つ動いているだけです。サービスは分かれていません。台数も増えません。登録簿を置く相手がいません。

VMで動かしている練習用の構成も、せいぜい nginx と Node とデータベースが1台ずつです。docker compose のサービス名で呼べば終わりです。

それでもこの記事を書いたのは、「要らない」と言うために、一度は作っておく必要があったからです。

作らずに「要らない」と言うのは、ただ知らないだけです。 作ってから「要らない」と言えるのが、設計の判断です。

そして実務では、こういう順番で必要になります。

  1. 名前で呼ぶ(ここで9割は終わる)
  2. DNSのキャッシュで刺される → resolver と TTL を知る
  3. 外向きの口が増える → ゲートウェイを立てる
  4. 台数が自動で増減し始める → Kubernetes に載せるか、登録簿を立てる
  5. 言語が増える → サイドカーを検討する

1から順にしか来ません。 いきなり4から始めると、運用する物が増えただけで、解決した問題は1つもないという状態になります。


つまずいたところ

1. --scale が container_name と喧嘩する。

docker compose up -d --scale svc-b=2 を打つと、こう出ました。

service "svc-b" has container_name set, so it cannot be scaled beyond one container

当然です。2台に増やすのに、名前を1つに固定できません。 container_name を消せば動きます。「便利だから全部に付ける」ものではないと、ここで知りました。

2. Compose の中の $ が消えた。

登録係のシェルを最初 $IP と書いたら、こう出ました。

WARN[0000] The "IP" variable is not set. Defaulting to a blank string.

Compose が先に $IP を食べていました。 シェルに渡したい $ は $$ と書きます。エラーではなく警告なので、気づかずに「なぜか空文字が登録される」状態を30分見ていました。

3. proxy_pass http://svc-a; と proxy_pass $upstream; で挙動が違う。

これが一番刺さりました。同じことを書いているつもりでした。

書き方名前を引くタイミング
proxy_pass http://svc-a;起動時に1回だけ。以降ずっと同じIPを使う
proxy_pass $upstream;リクエストのたび(resolver の valid に従う)

resolver を書いても、変数にしていなければ(1.27.3 以降で upstream の resolve を使っていなければ)何も変わりません。 私は resolver だけ書いて「効かない」と1時間悩みました。両方揃って初めて効きます。

4. 「サービスは動いているのに 502」を、サービス側で調べていた。

svc-a のログを何度も見ました。当たり前ですが、何も出ていません。 リクエストが届いていないのだから、届かない側のログには何も残りません。

502 は「自分が繋げなかった」というプロキシ側の告白です。 見る場所は、プロキシのログです。

bash
$ docker compose logs --tail 20 gw

ここに connect() failed と、掴んだままの古いIPが書いてありました。最初からここを見ていれば5分で終わっていました。

5. TTLを短くすれば解決すると思っていた。

valid=1s にすれば「ほぼリアルタイム」だと思いました。実際には、

  • 壊れている時間は短くなるが、ゼロにはならない
  • DNSへの問い合わせがリクエストのたびに近い頻度で飛ぶ
  • DNSが遅いと、全リクエストがその分遅くなる

キャッシュの時間は、短くすれば良いというものではありません。 「壊れていてよい時間」を決める作業です。

6. 登録簿のTTLと更新間隔を同じにして、サービスが点滅した。

TTL 5秒、更新5秒にしたら、一覧に出たり消えたりしました。書き込みが少しでも遅れると、その瞬間だけ消えます。

TTLは更新間隔の2〜3倍。 これは覚えるしかありません。

7. 「登録係が生きている」を「サービスが生きている」だと思っていた。

svc-b を docker pause してみたら、登録簿には残ったままでした。 当然です。登録係は getent hosts が答えるかどうかしか見ていません。本当のヘルスチェックは、サービス本体に /healthz を叩いて 200 を確かめる必要があります。

「登録されている」と「答えられる」は別です。③でDNSについて言ったことと、まったく同じ間違いを、登録簿でもう一度やりました。

8. ゲートウェイを直すときに nginx -t を打たなかった。

limit_req_zone を server の中に書いて restart したら、ゲートウェイが起動せず、全部落ちました。

nginx: [emerg] "limit_req_zone" directive is not allowed here

入口を1つにするということは、入口の設定ミスが全障害になるということです。⑥の「単一障害点」を、設定ファイルの書き間違いで自分で実演しました。


後片づけ

立てたものは全部消します。 練習用の Redis やゲートウェイを、VMに残しておく理由はありません。

まず、いま何が動いているか確認します。

bash
$ cd ~/dislab
$ docker compose ps

止めて、消します。ボリュームとネットワークも一緒に落とします。

bash
$ docker compose down -v

消えたことを確かめます。

bash
$ docker ps -a | grep dl-

何も出なければ成功です。

イメージも消す場合はこうします(他で使っていないことを確かめてから打ってください)。

bash
$ docker image rm nginx:alpine redis:7-alpine

他のプロジェクトで同じイメージを使っていると、次回また落とし直しになります。 容量に困っていないなら、残しておいて構いません。

作業ディレクトリごと消す場合は、中身を確かめてからです。

bash
$ ls -la ~/dislab
$ rm -rf ~/dislab

rm -rf は戻せません。パスを二度読んでから Enter を押してください。

最後に、VMの空きを見ておきます。

bash
$ docker system df
$ df -h /

まとめ — 理解できたこと

  • 相手のIPを設定に書くと、相手を作り直した瞬間に壊れる。 そして繋がらないより、別のサービスに繋がるほうが恐ろしい。エラーが1つも出ないから
  • IPが変わることは異常ではない。 コンテナも Pod もクラウドのVMも、作り直せば変わるのが普通。異常なのは「変わらない」と思っていた自分の前提のほう
  • 一番簡単で、たいてい十分な答えは「名前で呼ぶ」。 Docker の内蔵DNSも Kubernetes のクラスタ内DNSも、やっていることは同じ。「変わるもの」の前に「変わらない名前」を1枚置く
  • getent hosts は名前解決だけを確かめられる。 ping と違って、相手が応答するかどうかと切り離して調べられる。障害の切り分けはここから始める
  • DNSは「落ちている台」を外してくれない。 名前が引けることと、そこが生きていることは、別のこと
  • nginx は起動時に一度だけ名前を解決し、そのIPを持ち続ける。 resolver を書いても、proxy_pass を変数にする(1.27.3 以降なら upstream の server に resolve を付ける)まで何も変わらない
  • TTLは「壊れている時間をゼロにする」ものではない。 「壊れている時間の長さを、自分で決められるようにする」もの
  • サービスレジストリの正体は3行しかない。 起動したら書く、生きている間は書き直す、TTLで勝手に消える
  • 「消す処理」を書かないほうが強い。 kill -9 でも電源断でも同じように消える。終了時に自分を消す作りは、きれいに終われなかったときに幽霊を残す
  • TTLは更新間隔の2〜3倍。 同じにすると、1回の遅延で「死んだ」ことになって点滅する
  • クライアントサイドか、サーバーサイドか。 判断の軸は速さではなく、言語がいくつあるか
  • APIゲートウェイは入口を1つにする代わりに、そこを単一障害点にする。 そして業務ロジックを入れ始めると、そこが新しいモノリスになる。線引きは「どこへ流すか」と「答えは何か」
  • BFFは、画面ごとに欲しいデータが違うと分かってから作る。 先に作ると、似たコードが入口の数だけ増えるだけ
  • そして、数台までなら何も要らない。 名前で呼べば終わる。このサイトの構成には、まだ1つも要らない

このシステム設計深掘りシリーズの解説回は、これで16回です。振り返ると、同じ1つのことを、場所を変えて16回やっていたのだと思います。

設計は図ではなく数から始めるで「まず測る」を覚えて、遅さの正体、キャッシュの効かせ方、振り分けの偏り、キューの型、そして今回の「相手をどう見つけるか」まで来ました。全部、「動くようにする」話ではなく「動かなくなる場所を先に知る」話でした。

設計とは、選ぶことではなく、要らないものを外せることだと、いまは思っています。この16回で一番身についたのは、たぶん「まだ要らない」と言えるようになったことです。


参考リンク


次に読む

この記事は 【深掘り】システム設計 の 16 / 17 本目です。

記事
← 前の記事遅いアプリのアンチパターン7つ — 推測では当たらない
→ 次の記事推測で直さず測って潰す — システム設計の到達作品

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

System Design›System Design — Service Discovery
  • DNS は落ちた台を外さない
  • ゲートウェイが肩代わりするもの

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次