サーキットブレーカを自分で書かない — サービスメッシュ

サービスメッシュ。アプリの箱に寄り添うプロキシの箱、通信線と鍵。

※本記事はアフィリエイト広告(PR)を含みます。

再試行やタイムアウトをアプリの中に書き続けるのは限界があります。通信の面倒をアプリの外へ出す仕組みを見ます。

前回: 監視は自前かSaaSか — 替えられるのは道具だけ 作業場所はVMの中(Ubuntu Server)です。kubeadmで3台のKubernetesクラスタを組む|ノード障害時の挙動(cp1 / w1 / w2)が動いている状態から始めます。kubectl は cp1 の中で打ちます。 始める前に、3台のVMのスナップショットを取ってください。 今回はクラスタ全体に常駐するものを入れます。

前回のサーキットブレーカの回で、私たちはこれを自分の手で書きました。

  • タイムアウト(AbortSignal.timeout)
  • 指数バックオフ+ジッター付きのリトライ
  • サーキットブレーカ(閉 / 開 / 半開)を、状態変数3つと if 4つで30行
  • 縮退(Promise.allSettled)とバルクヘッド

書けたこと自体は、絶対に無駄になりません。 中で何が起きているかを知らずにこの先を読んでも、意味がないからです。

ただ、あの記事を書き終わったところで、当然の疑問が残ります。

サービスが10個あったら、あれを10回書くのか?

しかも、Goの回で同じAPIを別の言語で書きました。Node.js のサーキットブレーカは、Go のサービスでは1行も使えません。 言語が3つあれば、同じ考え方を3回、別々のライブラリで書き直すことになります。

そして、書いたあとにこうなります。

  • Aさんのサービスだけタイムアウトが 30 秒のまま
  • Bさんのサービスはリトライにジッターが入っていない
  • Cさんのサービスはブレーカを入れ忘れている
  • 全部を直すには、10個のリポジトリに10回プルリクを出す

「全サービスで同じ通信の作法を守らせる」という仕事が、ここで出てきます。そして、これはアプリのコードの中では、どうやっても解けません。

この記事でやるのは、その仕事をアプリの外に追い出すことです。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • サービスメッシュは「通信の面倒をアプリの外に出す」道具であること。新しい機能ではなく、置き場所の移動だということ
  • 前回自分で書いたもの(再試行・タイムアウト・サーキットブレーカ)が、そっくり全部ここにあること。設定で手に入るということ
  • サイドカーとは、Podの中にプロキシを1個同居させること。アプリは localhost に喋っているつもりのまま横取りされること
  • アプリを1行も変えていないのに、成功率とレイテンシが取れること。その理由
  • mTLS が自動で掛かり、証明書を配る仕事が消えること。httpsの回とは守っている場所が違うこと
  • 代償があること。Podの数が倍になり、レイテンシが増え、デバッグの層が1枚増える
  • Istio は多機能で重く、Linkerd は軽くて分かりやすいこと。Envoy がどこにいるか
  • サービスが数個なら要らないこと。このサイトには入れないという判断

この記事でやること

  1. メモリを先に測る(今回は足りないと物理的に始められません)
  2. Linkerd の CLI を入れて、linkerd check --pre でクラスタを事前診断する
  3. web を linkerd inject して、kubectl get pod -o yaml で「何が足されたか」を実際に見る
  4. アプリを1行も変えずに、成功率とレイテンシが出るところまで見る(この記事の山場)
  5. mTLS が掛かっていることを linkerd viz edges で確認する
  6. タイムアウト・再試行・サーキットブレーカを、コードではなく注釈で入れる
  7. 全部アンインストールして、メモリを返す

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
サービスメッシュサービス同士の通信だけを専門に面倒みる層。アプリの外側に置く
サイドカーPodの中に、アプリと並べてもう1個入れるコンテナ。バイクの横に付ける座席から来た言葉
プロキシ代わりに通信してくれる中継役。nginxのリバースプロキシと同じ役
データプレーン実際に通信が通っていく部分。サイドカーのプロキシたちのこと
コントロールプレーンデータプレーンに「こう振る舞え」と指示を配る部分。自分では通信を運ばない
East-West トラフィッククラスタの中の、サービス同士の通信。メッシュが見るのはここ
North-South トラフィック外の世界とクラスタの間の通信。Ingress が見るのはここ
mTLS(相互TLS)通信の両側が、お互いに証明書を出し合って身元を証明するTLS。普通のhttpsはサーバー側だけ
iptablesLinuxカーネルの中で、通信を横取り・書き換えするための仕組み
EnvoyC++で書かれたプロキシ。Istio や Consul がサイドカーに使っている
アンビエントモードサイドカーを使わない新しい方式。Podの中には何も入れない
注釈(アノテーション)Kubernetes のリソースに付けるメモ書きの key: value。道具側がそれを読んで挙動を変える

必要なメモリ(先に測ってください)

サービスメッシュは、クラスタに常駐して動き続けるものです。 そしてPodが増えます。 空きが無いと、入れた瞬間に Pending のまま止まります。

まず、いま何が空いているかを測ります。 cp1 で:

bash
$ kubectl get nodes -o wide
$ free -h

ワーカー2台も見ます。 w1 と w2 にそれぞれ SSH で入って:

bash
$ free -h

[スクリーンショット: 01_メモリ確認.png] cp1 / w1 / w2 の3台で free -h を実行した結果を撮ってください。available の列が見えるようにしてください。

目安はこれです。

入れるもの追加で要るメモリ(目安)置かれる場所
Linkerd コントロールプレーン(destination / identity / proxy-injector)合計 300 MB 前後ワーカー
サイドカープロキシ 1個あたり10〜30 MBPodがある場所すべて
linkerd viz(可視化。Prometheus を含む)500 MB 〜 1 GBワーカー

重いのは linkerd viz です。 Linkerd 本体ではなく、その中に付いてくる Prometheus がメモリを食います。監視の回で見たとおり、Prometheus は取ったデータをメモリに載せます。

判断はこうします。 w1 か w2 のどちらかに:

available の値どうするか
1.5 GB 以上あるそのまま進んでください。 viz も入ります
700 MB 〜 1.5 GBviz を諦めます。 後述の「viz を入れない道」を使ってください。山場は同じように見られます
700 MB 未満VMのメモリを増やすか、読むだけにしてください(下記)

メモリを増やす場合(VMware)

  1. VMをシャットダウンします(sudo shutdown -h now)。稼働中は変更できません
  2. VMware Workstation で VM を選択 → 「仮想マシン設定の編集」→「メモリ」
  3. w1 を 2 GB → 4 GB に変更(1台だけで足ります)
  4. 起動し直して、kubectl get nodes が全部 Ready に戻るのを待ちます

PCのスペックを測る回で書いた「ホスト16GB」の範囲に収めています。 ホストが 8 GB しかない場合、3台クラスタ+メッシュは素直に無理です。

入らない場合は「読むだけ」で構いません

この記事は、手を動かさなくても意味が通るように書いています。

理由は、この記事の結論が「あなたはこれをまだ入れなくていい」だからです。 後半の「いつ要るのか」まで読んで、「そういう層がある」と知っていることが、この回で本当に持ち帰ってほしいものです。手を動かすのは、実際に必要になったときで間に合います。

そして、Istio は使いません。 Istio のコントロールプレーン(istiod)だけで メモリ 2 GB を推奨しており、Envoy のサイドカーも Linkerd のプロキシより重いためです。学習用の3台クラスタでは、Istio は入れた瞬間に他が動かなくなります。 ここでは軽いほうの Linkerd を使い、Istio との違いは後半で説明だけします。

3 台の VM に加えてメッシュを常駐させると、手元の PC のメモリが先に尽きることがあります。家で常時動かす検証機を別に持つなら、GMKtecのようなミニ PC をベアボーン(メモリ・SSD・OS 非搭載)で買って自分で部品を足す選び方があり、2026-11 時点の公式ストア表示では G11 PLUS のベアボーンが 29,900 円、16GB+512GB 構成が 54,999 円(税込)です。初期設定言語が英語で、基本は香港からの発送とされている点は、承知のうえで選んでください。

① サービスメッシュとは何か — 通信の面倒を、アプリの外に出す

難しく考えないでください。やっていることは1つです。

サービスAがサービスBに直接喋るのをやめさせて、あいだにプロキシを1枚挟む。

挟むだけです。 そのプロキシに、タイムアウトもリトライもブレーカも暗号化も計測も全部やらせます。

前回の絵と、今回の絵

前回(自分で書いた):

[ アプリ A のコード ]
   ├ タイムアウトのコード
   ├ リトライのコード      ← 全部、Aのソースの中
   └ ブレーカのコード
        ↓ HTTP
[ アプリ B ]

今回(外に出す):

[ アプリ A ] → [ プロキシ ] ~~~~ [ プロキシ ] → [ アプリ B ]
                    ↑ ここに全部ある      ↑
                    └── コントロールプレーンが両方に設定を配る

アプリ A のコードからは、タイムアウトもリトライもブレーカも消えます。 A はただ http://b/ に投げるだけになります。

サイドカー — Podの中に、プロキシを同居させる

では、そのプロキシはどこに置くのでしょうか。

素直に考えると「別の Pod にプロキシを1台立てて、そこを経由させる」です。でもそれをすると、アプリのコードを書き換える必要が出ます。 宛先を http://b/ から http://proxy/?to=b のように変えないといけないからです。

サービスメッシュの答えは、これでした。

同じ Pod の中に、プロキシのコンテナをもう1個入れる。

これがサイドカーです。Podの回で「Podは1コンテナとは限らない」と書いた、あれが効いてきます。

       ┌─────── Pod ────────┐
       │  [ アプリ ]          │
       │      ↕ localhost     │
       │  [ プロキシ ]        │ ← サイドカー
       └──────────↕──────────┘
                  外のネットワークへ

同じ Pod の中のコンテナは、ネットワーク名前空間を共有します。 つまりお互いが localhost で届きます。

なぜ「アプリを1行も変えなくていい」のか

ここが、この記事で一番大事なところです。

Pod を作るときに、もう1個だけ、一瞬だけ動く init コンテナが走ります。これが Pod のネットワーク名前空間に対して iptables のルールを書きます。

「この Pod から出ていく通信は、全部いったんプロキシ(ポート 4140)に流せ」 「この Pod に入ってくる通信は、全部いったんプロキシ(ポート 4143)に流せ」

アプリは、何も知りません。 fetch('http://b/') と書いたつもりで、カーネルの中で行き先をすり替えられてプロキシに届きます。プロキシが本物の B に中継します。

アプリのコードを変えないのではなく、アプリに気づかせない、が正確です。カーネルの層で横取りしています。

これが、OSI参照モデルの回でやった L4 と L7 の話につながります。 横取り自体は L4(TCPの接続) で行われますが、プロキシは中身のHTTPを読みます(L7)。 だから「/api/orders だけリトライする」「gRPC のメソッド単位で分ける」ができます。

ロードバランサを L7 にしたときと、まったく同じ理屈です。 中身を読める場所に立てば、中身で判断できます。

データプレーンとコントロールプレーン

用語だけ整理しておきます。

誰か仕事
データプレーン各Podのサイドカープロキシ全部実際に通信を運ぶ。 数はPodの数だけ増える
コントロールプレーンクラスタに数個だけ立つ管理用Podプロキシたちに設定と証明書を配る。 通信そのものは運ばない

「メッシュ(網)」という名前は、データプレーンの形から来ています。 プロキシ同士が網の目のように直接つながるからです。

② 何が自動で手に入るのか — 前回書いたものの回収

前回、自分で書いたものを並べます。そして、メッシュがどれを持っているかを見ます。

前回、自分で書いたものサービスメッシュでは誰が持つか
タイムアウト✅ 設定1行プロキシ
リトライ(指数バックオフ+ジッター)✅ 設定プロキシ
リトライ予算(やり直しを増やしすぎない)✅ 設定プロキシ
サーキットブレーカ(閉/開/半開)✅ 設定プロキシ
バルクヘッド(同時実行数の制限)✅ 設定プロキシ
成功率・レイテンシの計測(監視の回で手で入れた)✅ 自動。設定すら不要プロキシ
トレースの伝播(トレーシングの回)✅ ヘッダを引き継ぐプロキシ
サービス間の暗号化✅ 自動。設定すら不要プロキシ
負荷分散(L7。gRPC も正しく分散できる)✅ 自動プロキシ
縮退(代わりに何を返すか)❌ アプリの仕事のままあなた
冪等かどうかの判断❌ アプリの仕事のままあなた

下の2つを見てください。 「Redis が落ちたら遅いDBから返す」「この POST はやり直していいか」は、メッシュには絶対に判断できません。 業務の意味を知らないからです。

メッシュが引き受けるのは「通信の作法」までで、「業務の判断」は引き受けません。 前回の記事は、無駄になりませんでした。 半分は、いまも自分の仕事です。

そして、ここが「自動で手に入る」の本当の意味です。

メッシュは、localhost を通る全部の通信を見ています。 だから、あなたが何もしなくても、通った回数・失敗した回数・かかった時間が数えられます。監視の回で prom-client をアプリに入れて手で数えたことを、アプリの外で勝手にやってくれます。

次の節で、それを本当に見ます。

③ Linkerd を入れる

CLI を入れる

cp1 の中で:

bash
$ curl --proto '=https' --tlsv1.2 -sSfL https://run.linkerd.io/install-edge | sh

このコマンドは、クラスタには何もしません。 ダウンロードして ~/.linkerd2/bin/linkerd に置くだけです。パスを通します。

bash
$ export PATH=$HOME/.linkerd2/bin:$PATH
$ echo 'export PATH=$HOME/.linkerd2/bin:$PATH' >> ~/.bashrc
$ linkerd version --client
Client version: edge-25.x.x

install-edge を使っています。 Linkerd は 2.15 以降、「stable」版の配布元が商用ベンダー(Buoyant)側になりました。 OSS として自由に使える系統は edge リリースです。学習にはこちらで十分ですが、仕事で使うときは、どの系統を使うのかを最初に確認してください。 ここは Linkerd の弱点として正直に書いておきます。

入れる前に、クラスタを診断する

これが Linkerd の一番良いところです。

bash
$ linkerd check --pre

「入れられる状態か」を、入れる前に全部チェックしてくれます。 バージョン、権限、名前の衝突などです。

kubernetes-api
√ can initialize the client
√ can query the Kubernetes API

kubernetes-version
√ is running the minimum Kubernetes API version

pre-kubernetes-setup
√ control plane namespace does not already exist
√ can create non-namespaced resources
...
Status check results are √

赤が出たら、そこで止めてください。 進めても失敗します。

本体を入れる

2段階です。 先に CRD(Kubernetes に新しい種類のリソースを教える定義)、次に本体です。

bash
$ linkerd install --crds | kubectl apply -f -
$ linkerd install | kubectl apply -f -

linkerd install は、YAML を標準出力に吐くだけのコマンドです。 クラスタには触りません。| kubectl apply -f - で初めて入ります。 Helmの回と同じで、「先に何が生成されるか目で見られる」形になっています。 不安なら linkerd install > /tmp/linkerd.yaml して中を読んでから applyしてください。

入り終わるまで待ちます。

bash
$ kubectl -n linkerd get pods -w

3つとも Running になったら Ctrl+C で抜けます。

NAME                                      READY   STATUS    RESTARTS   AGE
linkerd-destination-6f4b8c9d4-xk2mp       4/4     Running   0          70s
linkerd-identity-7d9c5b8f6-9wqrt          2/2     Running   0          70s
linkerd-proxy-injector-5c6d7f8b9-lm4vz    2/2     Running   0          70s

READY の列を見てください。 2/2 や 4/4 になっています。コントロールプレーン自身も、サイドカーを持っています。 Linkerd は自分自身をメッシュに入れています。

最後に、全体診断です。

bash
$ linkerd check

[スクリーンショット: 02_linkerd_check.png] linkerd check が最後まで通って Status check results are √ と出た画面を撮ってください。

いま、3つの Pod が何をしているか

Pod仕事
linkerd-destination「web はどのIPか」「どんな設定か」をプロキシに教える。メッシュの頭脳
linkerd-identity各プロキシに証明書を発行する。mTLS の根っこ。あとで効いてきます
linkerd-proxy-injectorPodが作られる瞬間に割り込んで、サイドカーを差し込む(アドミッションWebhook)

3つ目が重要です。 linkerd inject はあなたのYAMLに注釈を1行足すだけで、実際にコンテナを差し込むのはクラスタ側のこの Pod です。 次の節で確かめます。

④ アプリを1行も変えずに、成功率とレイテンシを取る

材料を用意する

クラスタの回で作った web(nginx × 3)をそのまま使います。ただし、通信が無いと何も測れません。 呼ぶ側と、Service を足します。

bash
$ nano ~/k8s/mesh-demo.yaml
apiVersion: v1
kind: Service
metadata:
  name: web
spec:
  selector:
    app: web
  ports:
    - port: 80
      targetPort: 80
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: caller
spec:
  replicas: 1
  selector:
    matchLabels:
      app: caller
  template:
    metadata:
      labels:
        app: caller
    spec:
      containers:
        - name: caller
          image: busybox:1.36
          command: ["/bin/sh", "-c"]
          args:
            - while true; do wget -q -O /dev/null http://web/ || true; sleep 0.5; done

caller は 0.5 秒ごとに web を叩き続けるだけの Pod です。

bash
$ kubectl apply -f ~/k8s/mesh-demo.yaml
$ kubectl get pods

この時点では、まだメッシュに入っていません。

まず「入れる前」を見る

比較の材料を取っておきます。

bash
$ kubectl get pods -l app=web -o jsonpath='{.items[0].spec.containers[*].name}'; echo
nginx

コンテナは1個です。 そして:

bash
$ linkerd viz stat deploy 2>/dev/null || echo "まだ viz が無い"

当然、何も出ません。 ここから始めます。

linkerd inject する

bash
$ linkerd inject ~/k8s/web.yaml | kubectl apply -f -
$ linkerd inject ~/k8s/mesh-demo.yaml | kubectl apply -f -
deployment "web" injected
deployment "caller" injected

deployment.apps/web configured
deployment.apps/caller configured

~/k8s/web.yaml は1文字も編集していません。 linkerd inject はファイルを読んで、注釈を足したものを出力しただけです。

入れ替わるのを待ちます。

bash
$ kubectl rollout status deploy/web
$ kubectl get pods
NAME                      READY   STATUS    RESTARTS   AGE
caller-7f8d9c6b5-2kp4m    2/2     Running   0          40s
web-6b4c8f9d7-8xz2n       2/2     Running   0          45s
web-6b4c8f9d7-j5m7q       2/2     Running   0          40s
web-6b4c8f9d7-t9wk4       2/2     Running   0          35s

READY が 1/1 から 2/2 になりました。 ここが、この記事で一番目に見える変化です。

inject が Pod に何を足したのか、実際に見る

「2/2になりました」で終わらせません。 何が入ったのかを、自分の目で確かめます。

まず、Deployment 側に足されたのは注釈1行だけです。

bash
$ kubectl get deploy web -o jsonpath='{.spec.template.metadata.annotations}'; echo
{"linkerd.io/inject":"enabled"}

これだけです。 linkerd inject がやったのは、この注釈1行を足すことでした。

次に、実際に生まれた Pod を見ます。

bash
$ kubectl get pods -l app=web -o jsonpath='{.items[0].spec.containers[*].name}'; echo
$ kubectl get pods -l app=web -o jsonpath='{.items[0].spec.initContainers[*].name}'; echo
nginx linkerd-proxy
linkerd-init

あなたが書いていないコンテナが2つ増えています。

増えたものいつ動くか何をするか
linkerd-init(initContainer)Podが起動する一瞬だけiptables のルールを書いて、通信をプロキシに向ける
linkerd-proxy(container)ずっと本体。 中継・計測・暗号化・再試行

足したのは注釈だけなのに、コンテナが増えました。 差し込んだのは、さっきの linkerd-proxy-injector です。

プロキシの中身を、もう少し見ます。

bash
$ kubectl get pods -l app=web -o yaml | grep -A3 "name: linkerd-proxy" | head -20
$ kubectl get pods -l app=web -o jsonpath='{.items[0].spec.containers[1].ports[*].containerPort}'; echo
4143 4191
ポート用途
4143入ってくる通信の受け口(inbound)
4140出ていく通信の受け口(outbound。linkerd-init がここへ流す)
4191管理・メトリクスの口。成功率とレイテンシは、ここから読まれます

バージョンによっては linkerd-proxy が initContainers 側に出ます。 Kubernetes 1.29 以降のネイティブサイドカー(起動順と終了順を保証する仕組み)に対応した版です。出た場所が違っても、やっていることは同じです。

ここで確認する — アプリは1行も変わっていない

bash
$ kubectl exec deploy/web -c nginx -- nginx -v
$ git -C ~/k8s diff --stat 2>/dev/null || true

nginx の設定も、イメージも、web.yaml も、何ひとつ変えていません。 変えたのは注釈1行だけです。

計測を見る — linkerd viz

bash
$ linkerd viz install | kubectl apply -f -
$ linkerd viz check

linkerd viz check が通ったら、いよいよここです。

bash
$ linkerd viz stat deploy
NAME     MESHED   SUCCESS      RPS   LATENCY_P50   LATENCY_P95   LATENCY_P99   TCP_CONN
caller      1/1   100.00%   2.0rps           1ms           2ms           2ms          1
web         3/3   100.00%   2.0rps           1ms           2ms           4ms          3

[スクリーンショット: 03_viz_stat.png] linkerd viz stat deploy の結果を撮ってください。SUCCESS と LATENCY_P95 の列が見えるようにしてください。

この表を、よく見てください。

  • SUCCESS(成功率)
  • RPS(秒あたりのリクエスト数)
  • LATENCY_P50 / P95 / P99

パフォーマンスの回で「平均ではなく p95 を見ろ」と書いた、あの p95 です。

そして、これを出すために私たちがアプリに書いたコードは、0行です。

監視の回では、prom-client を npm install して、histogram.observe() を自分で呼びました。 今回は、注釈を1行足しただけです。

これが「通信の面倒を外に出す」の、一番分かりやすい果実です。

誰が誰を呼んでいるか

bash
$ linkerd viz edges deploy
SRC      DST   SRC_NS    DST_NS    SECURED
caller   web   default   default   √

呼び出しの関係が、勝手に地図になっています。 マイクロサービスの回で「分けるとログが分断される」と書きましたが、メッシュは「誰が誰を呼んだか」を、コードを読まずに答えられます。

SECURED の列は、次の節で扱います。

中身を1本ずつ覗く

bash
$ linkerd viz tap deploy/web

流れているリクエストが、1本ずつ流れてきます。 Ctrl+C で止めてください。

req id=0:1 proxy=in  src=10.244.1.9:41234 dst=10.244.2.5:80 tls=true :method=GET :path=/
rsp id=0:1 proxy=in  src=10.244.1.9:41234 dst=10.244.2.5:80 tls=true :status=200 latency=712µs
end id=0:1 proxy=in  src=10.244.1.9:41234 dst=10.244.2.5:80 tls=true duration=11µs response-length=615B

:method と :path が読めています。 中身を読んでいる(L7)証拠です。

画面で見る(任意)

ダッシュボードもあります。 ただし そのままでは Windows のブラウザから開けません。

Linkerd のダッシュボードは、Host: ヘッダが localhost 以外だと拒否します(DNSリバインディング対策)。--address 0.0.0.0 にしても弾かれます。

素直な解決は、SSHのポート転送です。 VS Code Remote SSH の回でトンネルを掘ったのと同じことを、手で1本掘ります。

Windows の PowerShell で:

PowerShell
PS> ssh -L 50750:localhost:50750 ユーザー名@cp1のIP

そのまま開いたセッション(cp1の中)で:

bash
$ export PATH=$HOME/.linkerd2/bin:$PATH
$ linkerd viz dashboard --port 50750

Windows のブラウザで http://localhost:50750/ を開きます。

[スクリーンショット: 04_viz_dashboard.png] Linkerd のダッシュボードで、default 名前空間の web と caller が成功率つきで並んでいる画面を撮ってください。

viz を入れない道(メモリが足りないとき)

Prometheus が入らないなら、プロキシから直接メトリクスを読めます。

bash
$ linkerd diagnostics proxy-metrics deploy/web | grep -E "^request_total|^response_latency_ms_count" | head
request_total{direction="inbound",target_addr="10.244.2.5:80",...} 412
response_latency_ms_count{direction="inbound",status_code="200",...} 412

さっきの表の元データは、これです。 さっきの stat は、これを Prometheus が集めて割り算していただけです。

「アプリを1行も変えずにメトリクスが取れる」という山場は、この1コマンドでも同じように確認できます。 viz は見やすくするための贅沢品であって、本質ではありません。

⑤ mTLS が自動で掛かる — 証明書を配る仕事が消える

さっきの SECURED 列の √ と、tap の tls=true に戻ります。

私たちは、証明書を1枚も作っていません。 それなのに、caller と web の間の通信は暗号化されていて、しかも相手の身元が検証されています。

bash
$ linkerd viz edges deploy -o wide
SRC      DST   SRC_NS    DST_NS    SECURED   CLIENT_ID                      SERVER_ID
caller   web   default   default   √         default.default.serviceaccount.identity.linkerd.cluster.local   default.default.serviceaccount.identity.linkerd.cluster.local

CLIENT_ID を見てください。 「どのサービスアカウントとして喋っているか」が、証明書に書かれています。

httpsの回との違い

同じ TLS ですが、守っている場所も、形も違います。

普通の https(SSLの回)mTLS(今回)
守る通信利用者のブラウザ ↔ サーバー(North-South)サービス ↔ サービス(East-West)
証明書を出すのはサーバー側だけ両側
身元を確かめるのはブラウザがサーバーを確かめるお互いに確かめ合う
証明書の発行元Let’s Encrypt など、世界が信じる認証局クラスタの中の linkerd-identity
有効期限90日など24時間。自動で更新される
設定した人あなた(certbot を打った)誰も。勝手に掛かった

一番効くのは、最後の行です。

手でやろうとすると、こうなります。 サービスごとに鍵を作り → 署名して → Secret に入れて → アプリに読ませて → 期限が切れる前に配り直す。サービスが10個あれば10回、しかも定期的に。

サービスメッシュを入れる一番の動機は、実は暗号化ではなく「証明書を配る仕事が消えること」だとよく言われます。この表を見ると、その意味が分かります。

ただし 誤解しないでください。

  • これはクラスタの中の通信の話です。 利用者からの https は、いままで通り別に要ります
  • メッシュに入っていない Pod との通信は、暗号化されません。 linkerd viz edges に出てこない相手は守られていません
  • アプリケーションの認可(誰がこのAPIを叩いていいか)とは別です。OAuthの回でやった話は、まだ自分の仕事です

⑥ 再試行・タイムアウト・ブレーカを、コードではなく注釈で入れる

前回自分で書いたものを、今度は設定で入れます。

先に、これだけは言っておきます。 この節の書き方は、Linkerd のバージョンによって変わります。 古いやり方(ServiceProfile というリソース)と、新しいやり方(Service や HTTPRoute への注釈)が併存しています。「メッシュならこう書ける」という感触を掴むためのものとして読んでください。実際に使うときは、必ず自分の入れた版のドキュメントを見てください。

そして、これ自体が後述の「代償」の1つです。 道具のバージョンが上がるたび、設定の書き方を追いかける仕事が発生します。

タイムアウト

bash
$ kubectl annotate service web timeout.linkerd.io/response=500ms

前回書いた AbortSignal.timeout(500) が、この1行になりました。

再試行

bash
$ kubectl annotate service web retry.linkerd.io/http=5xx
$ kubectl annotate service web retry.linkerd.io/limit=2

ここで、前回の学びが効きます。

  • 5xx を指定しています。 前回書いたとおり、400番台はやり直しても無駄です
  • limit=2 にしています。 前回書いたとおり、素直な無制限リトライは弱った相手にとどめを刺します
  • Linkerd には「リトライ予算」という考え方もあります。 全リクエストのうち何%までやり直してよいかで縛るもので、リトライストームを構造的に防ぎます

前回の記事を読んでいないと、この3行は「おまじない」です。 読んでいれば、なぜ 5xx なのか、なぜ上限が要るのかが全部説明できます。 書いておいてよかった、はここです。

サーキットブレーカ

bash
$ kubectl annotate service web balancer.linkerd.io/failure-accrual=consecutive
$ kubectl annotate service web balancer.linkerd.io/failure-accrual-consecutive-max-failures=7

これが、前回30行書いたものです。

やっていることも同じです。 連続で7回失敗した宛先を、しばらく候補から外して、そのあと1本だけ試す。 前回の「開 → 半開」そのものです。

ただし、大きな違いが1つあります。

前回のブレーカは「サービス単位」でした。 メッシュのブレーカは 「宛先のエンドポイント(Pod)単位」 です。 web の3つの Pod のうち1つだけが壊れたとき、その1つだけを外して、残り2つには流し続けます。

これは、アプリのコードでは書きづらいものです。 アプリは http://web/ としか知らず、その裏に Pod が3つあることを知らないからです。プロキシは知っています。 だから、こう振る舞えます。

確認します。

bash
$ kubectl get service web -o jsonpath='{.metadata.annotations}'; echo
$ linkerd viz stat deploy/web

⑦ 代償を正直に

ここまで良いことばかり書きました。ここからが逆側です。

1. Pod(コンテナ)の数が倍になる

これは比喩ではなく、そのままです。

bash
$ kubectl get pods --all-namespaces
$ free -h

web は3つとも 2/2 です。 コンテナ数は、単純にアプリの数だけ増えます。

前後
コンテナ数48(+コントロールプレーン3、+viz 数個)
メモリ—サイドカー1個あたり 10〜30 MB × 全Pod

Pod が 100 個あるクラスタなら、プロキシも 100 個です。 学習用の3台VMで実感しにくいのは、まさにここです。

2. レイテンシが増える

当たり前です。ホップが2つ増えたのですから。

前: アプリ ────────────────→ アプリ
後: アプリ → プロキシ ─→ プロキシ → アプリ

Linkerd で片道 1 ms 未満、往復で 1〜数 ms 程度というのが、よく言われる目安です。大したことないように見えます。 でも:

  • 1リクエストの中で内部呼び出しが10回あれば、10回ぶん乗ります
  • 元々 2 ms で返る内部APIなら、体感で数割遅くなります

「速くする前に必ず測る」というパフォーマンスの回の原則が、そのまま効きます。 入れる前と入れた後の p95 を、必ず自分の環境で測ってください。 他人のベンチマークは、あなたの答えではありません。

3. デバッグの層が1枚増える

これが、一番厄介です。

「500が返る」と言われたとき、いままでは2択でした。

  1. アプリが悪い
  2. ネットワークが悪い

メッシュを入れると、こうなります。

  1. アプリが悪い
  2. 呼び出し側のプロキシが悪い
  3. 呼ばれた側のプロキシが悪い
  4. プロキシに配られた設定が悪い
  5. プロキシが証明書を取れていない
  6. ネットワークが悪い

しかも、自分が書いていないコンポーネントが原因になり得ます。

メッシュが原因の障害には、独特の症状があります。

症状疑うところ
アプリのログには何も出ていないのに 502 / 503プロキシが返している
メッシュに入れた瞬間だけ失敗するプロキシがそのプロトコルを理解できていない
Pod の起動直後だけ失敗するアプリがプロキシより先に起動して、外に出られていない
Pod の終了時だけ失敗するプロキシが先に死んで、アプリの後始末が外に出られない

下2つは、古典的で、しつこいやつです。 アプリとサイドカーの起動順・終了順の問題で、Kubernetes 1.29 の「ネイティブサイドカー」は、まさにこれを直すために入りました。

だから、プロキシのログを読む道具は、最初に覚えてください。

bash
$ kubectl logs deploy/web -c linkerd-proxy --tail=50

-c linkerd-proxy です。 -c を付けないと、コンテナが2つあるので怒られます。この「-c が要るようになる」こと自体が、層が増えたということです。

4. バージョン追従の仕事が増える

  • クラスタ全体の通信が、この道具に依存します。 上げるのが怖くなります
  • メッシュの更新は、全 Pod の再起動を伴います(プロキシを入れ替えるため)
  • Kubernetes 本体のバージョンにも追従が要ります
  • さっき見たとおり、設定の書き方(ServiceProfile → 注釈)自体が変わります

入れた瞬間から、あなたは「メッシュの面倒を見る人」になります。 これは無料ではありません。

⑧ Istio と Linkerd の違い

大きく2つあります。3つ目に Consul を1行で足します。

LinkerdIstio
サイドカーの中身linkerd2-proxy(Rust製、Linkerd専用)Envoy(C++製、汎用プロキシ)
サイドカーの重さ軽い(10〜30 MB 程度)重い(50〜100 MB 以上になりがち)
できること必要十分。mTLS・計測・再試行・ブレーカ・分割非常に多い。細かい認可、外部への出口制御、WASM拡張、マルチクラスタ
設定の面少なくて済む。既定値がそのまま実用的面が広い。CRDが多く、覚えることが多い
学習コスト低い高い
入っている実績中規模まで多い大規模・大企業に多い
3台の学習用VM✅ 入る厳しい

Envoy がどこにいるか

これは覚えておく価値があります。

Envoy は「Istio の一部」ではありません。 独立したプロキシ製品です。

Istio は、Envoy を自分のデータプレーンとして採用しているだけです。

Istio  = istiod(コントロールプレーン) + Envoy(データプレーン)
Consul = Consul サーバー                + Envoy(データプレーン)
Linkerd= linkerd-destination など        + linkerd2-proxy(自作・専用)

Envoy は、他にもいろいろな場所にいます。 API ゲートウェイ製品、Kubernetes の Ingress 実装、クラウドのロードバランサの中身。「Envoy を知っている」ことは、Istio 以外にも効きます。

Linkerd が Envoy を使わず、Rust で専用プロキシを書いた理由は明快です。

汎用プロキシは、汎用であるぶん重い。 サイドカーは全Podに載るので、軽さが直接コストになる。

この設計判断の違いが、上の表の1行目から最後の行まで、全部を説明しています。

Consul(1行)

HashiCorp の Consul も、サービスディスカバリの製品からサービスメッシュに広がったもので、Envoy をサイドカーに使います。 Kubernetes の外(VM上のサービス)も一緒にメッシュに入れられるのが特徴です。Terraform の回と同じ会社の製品です。

⑨ アンビエントモード — サイドカーを使わない方式

⑦で見た代償の多くは、「Podの中にプロキシを入れる」ことから来ていました。 Podが倍になるのも、起動順の問題も、更新で全Pod再起動になるのもそうです。

そこで出てきたのが、サイドカーを置かない方式です。 Istio のアンビエントモードが代表です(Linkerd はサイドカー方式を続けています)。

考え方は、こうです。

サイドカー方式:  Podごとにプロキシ(重いが、細かく制御できる)

アンビエント方式:
  ┌ ノード(w1)─────────────────┐
  │ [Pod A] [Pod B] [Pod C]       │  ← Podの中には何も入れない
  │        ↓ 全部まとめて          │
  │   [ ノード常駐のプロキシ ]      │  ← L4。mTLS と基本の計測はここ
  └───────────────────────────────┘
              ↓ L7 が要るときだけ
        [ 別に立てたプロキシ ]        ← 再試行・細かい振り分けはここ

ここが良く出来ているところです。

サイドカー方式アンビエント方式
Podの中プロキシが入る何も入らない
mTLS と基本の計測サイドカーがノード常駐のプロキシが(L4)
再試行・細かい振り分けサイドカーが必要な場所にだけ、別途プロキシを立てる(L7)
メモリPodの数に比例ノードの数に比例(ずっと少ない)
更新全Pod再起動Podはそのまま

ここでも L4 と L7 です。

「暗号化と、通った量を数えるだけなら中身を読まなくていい(L4で足りる)。中身を読む必要がある機能だけ、あとから L7 を足す」 — これが、アンビエントの設計です。必要なところにだけ、必要な層を払うという考え方です。

ただし 段階が1つ増えるぶん、「どこで何が起きているか」は分かりにくくなります。 層が減ったわけではなく、層の置き場所が変わっただけです。

いま覚えるのは「サイドカーを置かない方式が本流になりつつある」という一点で十分です。 実際に選ぶときが来たら、そのときの最新のドキュメントを見てください。

⑩ いつ要るのか — そして、このサイトには入れません

ここが、この記事の結論です。

要らない場合

あなたの状況サービスメッシュは
サービスが1個(いまの ~/server)❌ 絶対に要りません
サービスが2〜5個❌ まだ要りません。 前回のコードのほうが速くて分かりやすい
チームが1人〜数人❌ 要りません。 全員のコードを直接直せます
言語が1つ❌ 要りません。 ライブラリ1つで全部に配れます
Kubernetes を使っていない❌ そもそも前提が違います

要る場合

あなたの状況サービスメッシュは
サービスが数十個以上⭕ 同じ作法を10回書き直す仕事が消えます
言語が3つ以上ある⭕ 言語ごとにライブラリを揃える仕事が消えます
チームが複数あり、他人のコードを直せない⭕ 一番大きい動機。プルリク10本の代わりに設定1つ
サービス間の暗号化が要件になっている⭕ 証明書を配る仕事が消えます
どのサービスがどれを呼んでいるか、誰も知らない⭕ 地図が勝手にできます

表の3行目が本命です。

サービスメッシュは、技術の問題を解く道具である以上に、組織の問題を解く道具です。 「他人が書いたサービスにも、同じ通信の作法を強制できる」 — これが本体です。 他人のコードを直接直せるうちは、直したほうが速いです。

このサイトには入れません

明記しておきます。

このサイトの ~/server は、1個のアプリです。 サービスは分かれていません。マイクロサービスの回で「まだ分けない」と結論を出したとおりです。

分けていないものにメッシュを入れるのは、通る車が1台しかない道に、高速道路のインターチェンジを建てるようなものです。

だから、この記事の最後にやるのは、アンインストールです。 入れっぱなしにはしません。

ただし、この記事を書いた意味は消えません。 「サーキットブレーカを10回書くのか」という疑問に、「そういう層がある」という答えを持てたこと。 それが持ち帰るものです。答えを知っていて選ばないのと、知らずに選べないのは、まったく違います。

つまずいたところ

① linkerd viz を入れたら Pod が Pending から動かなくなった

症状:

linkerd-prometheus-6d8f9b5c4-x2kmp   0/2   Pending   0   3m

原因を見にいきます。

bash
$ kubectl -n linkerd-viz describe pod -l component=prometheus | tail -20
Events:
  Warning  FailedScheduling  ... 0/3 nodes are available: 1 node(s) had untolerated taint, 2 Insufficient memory.

メモリ不足でした。 w1 と w2 が 2 GB で、そこに既に3台クラスタぶんの常駐物と web × 3 が乗っていたためです。

やったこと: w1 を 4 GB に増やしました。メモリを増やせない場合は、viz を諦めて linkerd diagnostics proxy-metrics を使ってください。 山場は同じように確認できます。

この記事の冒頭に「先にメモリを測る」を置いたのは、ここで詰まったからです。

② linkerd inject したのに 1/1 のままだった

inject は成功と言っているのに、Pod が 2/2 になりません。

原因: linkerd inject は、Deployment の spec.template に注釈を足すだけです。注釈を足しただけでは、既にあるPodは作り直されません。

bash
$ kubectl rollout status deploy/web
$ kubectl rollout restart deploy/web

kubectl apply が「変更あり」と判断すれば自動で入れ替わりますが、入れ替わらないときは rollout restart を打ってください。

学び: サイドカーは Pod が作られる瞬間にしか入りません。 既に動いている Pod に後から差し込むことはできません。proxy-injector は、Pod の作成リクエストに割り込んでいるからです。

③ ダッシュボードが「It appears that you are trying to reach this service…」で開けない

VMのIPを指定してブラウザで開いたら、これが出ました。

原因: Linkerd のダッシュボードは、Host: ヘッダが localhost か 127.0.0.1 以外のとき、拒否します。 DNSリバインディング攻撃への対策です。--address 0.0.0.0 を付けても解決しません(ここで15分溶かしました)。

解決: SSHのポート転送を使います。 Windows 側で:

PowerShell
PS> ssh -L 50750:localhost:50750 ユーザー名@cp1のIP

学び: --address 0.0.0.0 は「待ち受ける場所」の設定で、「誰を信じるか」の設定ではありません。 別の問題を、別の設定で直そうとしていました。

④ kubectl logs が「a container name must be specified」で怒られた

bash
$ kubectl logs deploy/web
error: a container name must be specified for pod web-6b4c8f9d7-8xz2n, choose one of: [linkerd-proxy nginx] and [linkerd-init]

入れる前は通っていたコマンドが、通らなくなりました。

bash
$ kubectl logs deploy/web -c nginx

これは不便ではなく、⑦で書いた「層が1枚増えた」の、一番小さくて一番早い現れです。 慣れているコマンドが動かなくなることは、これから何度も起きます。

⑤ 「アプリを変えていない」を確かめずに信じかけた

これは、技術ではなく姿勢のほうのつまずきです。

2/2 になって stat に数字が出た時点で、「おお、すごい」で終わりかけました。 そこで一度止まって、kubectl get deploy web -o jsonpath='{.spec.template.metadata.annotations}' で「本当に注釈1行しか増えていないのか」を確かめました。

そこで初めて、「注釈を足したのは inject、コンテナを差し込んだのは proxy-injector」という分担が見えました。

動いたことを喜ぶ前に、何が変わったかを1回自分の目で見る。 これをやらないと、壊れたときに何も切り分けられません。

後片づけ

必ずやってください。 メッシュはクラスタ全体に常駐し、メモリを食い続けます。

① メッシュから抜く(注釈を外して、Podを作り直す)

先に、これをやります。 コントロールプレーンを先に消すと、プロキシは残っているのに設定を配る相手がいないという、一番厄介な状態になります。

bash
$ kubectl get deploy web -o yaml | linkerd uninject - | kubectl apply -f -
$ kubectl get deploy caller -o yaml | linkerd uninject - | kubectl apply -f -
$ kubectl rollout status deploy/web

確認します。

bash
$ kubectl get pods
NAME                      READY   STATUS    RESTARTS   AGE
caller-5c9d8b7f4-p2wkn    1/1     Running   0          20s
web-7d6c5f8b9-k4xzt       1/1     Running   0          25s

1/1 に戻っていることを必ず確認してください。 ここで 2/2 のままなら、次に進まないでください。

② viz を消す

bash
$ linkerd viz uninstall | kubectl delete -f -

③ 本体を消す

bash
$ linkerd uninstall | kubectl delete -f -

④ 今回作ったデモを消す

bash
$ kubectl delete -f ~/k8s/mesh-demo.yaml

⑤ 全部消えたか確認する

bash
$ kubectl get ns | grep linkerd
$ kubectl get pods --all-namespaces
$ free -h

linkerd で始まる名前空間が1つも出てこなければ完了です。

[スクリーンショット: 05_後片づけ.png] 後片づけ後の kubectl get pods --all-namespaces と free -h を並べて撮ってください。メモリが戻っていることが見えるようにしてください。

⑥ CLI とパスを片づける(任意)

bash
$ rm -rf ~/.linkerd2
$ sed -i '/linkerd2/d' ~/.bashrc

⑦ VMのメモリを戻す(増やした場合)

w1 を 4 GB に増やしたなら、シャットダウンして 2 GB に戻してください。 クラスタの回の状態に戻すためです。

VMを使い終わったら、必ず止めてください。

bash
$ sudo shutdown -h now

まとめ — 理解できたこと

  • サービスメッシュは新しい機能ではない。 前回自分で書いたものを、アプリの外に移しただけ
  • 動機は「10個のサービスに10回書きたくない」。 言語が違うと、書き直しすら効かない
  • サイドカーとは、Podの中にプロキシをもう1個入れること。 Podはコンテナ1つとは限らない
  • アプリを1行も変えないのではなく、アプリに気づかせない。 linkerd-init が iptables で横取りしている
  • 横取りは L4、判断は L7。 ロードバランサの回と同じ理屈
  • linkerd inject が足したのは注釈1行だけ。 コンテナを差し込んだのはクラスタ側の proxy-injector
  • サイドカーは Pod が作られる瞬間にしか入らない。 既存Podには後から差し込めない
  • 注釈1行で、成功率・RPS・p50/p95/p99 が出た。 監視の回で自分で書いた計測が、0行になった
  • viz は贅沢品。 本体は各プロキシの 4191 番。linkerd diagnostics proxy-metrics で直接読める
  • mTLS は勝手に掛かった。 本当の価値は暗号化ではなく、証明書を配る仕事が消えること
  • 普通の https は利用者↔サーバー(North-South)、mTLS はサービス↔サービス(East-West)。 守る場所が違う
  • 再試行・タイムアウト・ブレーカが注釈で入る。 5xx だけ・上限つき、という前回の学びがそのまま効く
  • メッシュのブレーカは Pod 単位。 アプリは裏に Pod が3つあることを知らないので、これは書けない
  • 縮退と冪等の判断は、メッシュには渡せない。 業務の意味を知らないから。前回書いたものは無駄にならない
  • 代償: コンテナが倍・レイテンシが数ms増える・デバッグの層が1枚増える・バージョン追従が発生する
  • kubectl logs に -c が要るようになるのが、層が増えたことの一番小さい証拠
  • 起動順と終了順の事故は古典。 Kubernetes 1.29 のネイティブサイドカーは、これを直すために入った
  • Istio は Envoy+多機能+重い、Linkerd は専用プロキシ+必要十分+軽い。 Envoy は Istio の部品ではなく独立製品
  • Consul も Envoy を使い、K8s の外のサービスも入れられる
  • アンビエントは、サイドカーを置かない方式。 L4はノードで、L7は要る場所にだけ
  • サービスが数個なら要らない。 他人のコードを直接直せるうちは、直したほうが速い
  • これは組織の問題を解く道具。このサイトには入れない。だから最後にアンインストールした
  • 知っていて選ばないのと、知らずに選べないのは、まったく違う

参考リンク


次に読む

この記事は 【第6段階】インフラとコンテナ の 22 / 25 本目です。

記事
← 前の記事監視は自前かSaaSか — 替えられるのは道具だけ
→ 次の記事aptが無いサーバーもある — Ubuntu以外のOS

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Service Mesh
  • Istio / Linkerd / Envoy / Consul
  • サイドカーと mTLS — 通信の面倒をアプリの外に出す

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次