本線で Pod を動かしたあと、私は素直にこうしました。Pod のIPを調べて、そこへ繋いだのです。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこで名前だけ出てきた Service が実際には何をしているのかを確かめる回です。
この記事のコマンドは、すべてVMの中(Ubuntu Server)で打ちます。 前提: 本線の minikube 入門を終えて、
kubectl get nodesがReadyを返すこと。 本線で作ったものには触りません。 練習用にsvclabという名前空間を作り、最後に名前空間ごと消します。
NAME READY STATUS IP NODE
web-5d8b9c7f4d-abcde 1/1 Running 10.244.0.7 minikube
10.244.0.7 をメモして、別の Pod から wget http://10.244.0.7/ を打つ。ちゃんと繋がりました。 満足して、その日は終わりました。
次の日、同じコマンドが繋がりませんでした。
wget: can't connect to remote host (10.244.0.7): Connection refused
何も設定を変えていません。Pod は Running のままです。変わっていたのはIPでした。
NAME READY STATUS IP NODE
web-5d8b9c7f4d-xyz12 1/1 Running 10.244.0.11 minikube
名前まで変わっています。 これは壊れたのではなく、Kubernetes の設計どおりです。Pod は使い捨てなので、Pod のIPも使い捨てです。落ちれば新しい Pod が作られ、新しいIPが振られます。
だから Kubernetes では、Pod のIPを「控える」という行為そのものが間違いです。
Service は、この使い捨ての Pod たちに、変わらない名前と入口を1つ与えるためのものです。この記事では、それを実際に作って、わざと壊して、直します。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
- Pod のIPは、作り直されるたびに変わる。控えて使う対象ではないということ
- Pod 同士は、Service が無くても直接繋がる。Service は「繋げる」のではなく「宛先を固定する」ものだということ
selectorは Deployment を指していない。ラベルで Pod を直接選んでいるということ- ラベルが1文字違うと
Endpointsが空になり、それでも Service の作成は成功すること - 短い名前で引けるのは、Pod の中の
/etc/resolv.confにsearchが書かれているからだということ - 振り分けているのは Service ではなく、各ノードの kube-proxy が書いたルールだということ
この記事でやること
- Pod を立て、IPを見てから消して作り直し、IPが変わることを確かめる
- Service を使わずに Pod 同士を直接繋ぎ、同じネットワークにいることを確かめる
- ClusterIP の Service を作り、
kubectl get endpointsで実際に選ばれた Pod を見る selectorのラベルをわざと間違えて、Endpointsを空にする- Pod の中から名前で引き、
/etc/resolv.confのsearchを確認する - NodePort を作って、ノードのIP:ポートで外から繋ぐ
- kube-proxy が書いた iptables のルールを、1回だけ実物で見る
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| Service | 使い捨ての Pod たちに、変わらない名前とIPを1つ与える仕組み |
| ClusterIP | クラスタの中だけで有効な仮想IP。Service の既定の種類 |
| セレクタ(selector) | ラベルで Pod を選ぶ条件。「このラベルが付いた Pod 全部」という書き方 |
| ラベル(label) | Pod などに付ける キー: 値 の付箋。Kubernetes はこれで物を選ぶ |
| Endpoints | その Service が実際に選んだ Pod のIP一覧。ここが空なら誰にも届かない |
| 名前空間(namespace) | クラスタの中の仕切り。同じ名前の Service を別々に置ける |
| kube-proxy | 各ノードで動き、Service 宛の通信を Pod へ書き換えるルールを作る部品 |
| NodePort | ノード自身のポートを開けて、クラスタの外から入れるようにする Service の種類 |
① 練習用の名前空間と Pod を作る
本線で作ったものと混ざらないように、専用の名前空間を切ります。
namespace/svclab created
作業フォルダを作り、YAML を置きます。
apiVersion: apps/v1
kind: Deployment
metadata:
name: web
namespace: svclab
spec:
replicas: 2
selector:
matchLabels:
app: web
template:
metadata:
labels:
app: web
spec:
containers:
- name: nginx
image: nginx:alpine
ports:
- containerPort: 80
この labels: の app: web が、あとで Service が探す目印になります。 ここを覚えておいてください。
NAME READY STATUS RESTARTS AGE IP NODE
web-9f7d6c5b4-2mrkq 1/1 Running 0 18s 10.244.0.14 minikube
web-9f7d6c5b4-r8vlt 1/1 Running 0 18s 10.244.0.15 minikube
-o wide を付けないとIP列は出ません。 素の kubectl get pod にIPは表示されません。
[スクリーンショット: 01_pod_wide.png] kubectl -n svclab get pod -o wide を実行して、2つの Pod にIPが振られている画面を撮ってください。
② IPが変わるところを、目の前で起こす
IPを1つ控えます。 上の例なら 10.244.0.14 です。そして、その Pod を消します。
pod "web-9f7d6c5b4-2mrkq" deleted
Pod 名は実行のたびに違います。 上の名前をそのまま打っても消えません。自分の get pod の出力にある名前に置き換えてください。
Deployment が「2個であれ」と宣言しているので、すぐに代わりが作られます。
NAME READY STATUS RESTARTS AGE IP NODE
web-9f7d6c5b4-r8vlt 1/1 Running 0 92s 10.244.0.15 minikube
web-9f7d6c5b4-t4qc9 1/1 Running 0 7s 10.244.0.16 minikube
名前が変わり、IPも 10.244.0.14 から 10.244.0.16 に変わりました。
これが「Pod のIPを控えてはいけない」の全部です。 アプリの設定ファイルにIPを書いた瞬間、次に Pod が作り直された時点で嘘になります。 そして Pod は、ノードの再起動でも、イメージの更新でも、メモリ不足でも作り直されます。平常運転で起こることです。
[スクリーンショット: 02_ip_changed.png] Pod を削除する前と後の -o wide の出力が両方写るように、ターミナルを撮ってください。
③ Service が無くても、Pod 同士は直接繋がる
ここを誤解していました。「Service を作らないと Pod 同士は通信できない」と思っていたのです。 違います。
確認用のクライアント Pod を1つ立てます。
NAME READY STATUS RESTARTS AGE
client 1/1 Running 0 9s
いま生きている Pod のIPを確かめて、そこへ直接繋ぎます。
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
繋がりました。 つまり Kubernetes の Pod は、既定で全部が同じ1つのネットワークにいて、互いのIPへ直接届きます。
Service は「繋がるようにする」ものではありません。「毎回変わる宛先を、変わらない宛先に固定する」ものです。
-l app=web は「ラベルで絞る」指定です。 この app=web という選び方が、次に作る Service の selector とまったく同じ考え方です。
④ ClusterIP の Service を作る
apiVersion: v1
kind: Service
metadata:
name: web
namespace: svclab
spec:
type: ClusterIP
selector:
app: web
ports:
- port: 8080
targetPort: 80
3つの行が、それぞれ別の仕事をしています。
| 項目 | 意味 |
|---|---|
selector の app: web | app: web というラベルが付いた Pod を全部選ぶ |
port: 8080 | Service 自身が待ち受けるポート。呼ぶ側が使う番号 |
targetPort: 80 | 転送先の Pod が待っているポート。nginx なので80 |
port と targetPort は、わざと違う番号にしてあります。 同じ番号だと「なぜ2つあるのか」が分からないままになるからです。呼ぶ側は8080、Pod 側は80です。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
web ClusterIP 10.104.22.181 <none> 8080/TCP 5s
10.104.22.181 が ClusterIP です。 これは Pod のIPとは別の帯で、どの Pod にも属していない仮想のIPです。
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
繋がります。 そしてこのIPは、Pod を何回作り直しても変わりません。
⑤ selector は Deployment を指していない
ここが、この記事で一番言いたいところです。
svc.yaml のどこにも web という Deployment の名前は書いていません。 書いてあるのは app: web というラベルだけです。
Service は Deployment を知りません。ラベルの付いた Pod を、直接見つけているだけです。
だから、こういうことが起きます。
- Deployment を消しても、同じラベルの Pod が別の場所にあれば Service はそちらに繋がる
- Deployment を2つ作って両方に
app: webを付けると、1つの Service が両方へ振り分ける - ラベルを1文字間違えると、Deployment は無事なのに Service だけが誰にも届かなくなる
実際に選ばれた Pod は、Endpoints で見えます。
NAME ENDPOINTS AGE
web 10.244.0.15:80,10.244.0.16:80 2m
選ばれた2つの Pod のIPと、targetPort の80番が並んでいます。 ここに出ているIPが、実際の転送先です。
新しめのクラスタでは、同じ内容が EndpointSlice としても持たれています。
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
web-lh4tx IPv4 80 10.244.0.15,10.244.0.16 2m
Endpoints は EndpointSlice へ寄せられていく古い形式です。 Kubernetes v1.33 以降は、kubectl get endpoints を打つたびに Warning: v1 Endpoints is deprecated in v1.33+; use discovery.k8s.io/v1 EndpointSlice という警告が出ますが、結果は表示されます。ただし1行で見られるので調査には今も便利で、当面は両方出ます。
⑥ ラベルを間違えて、Endpoints を空にする(一番多い事故)
これは、わざと起こします。 実際に一番多く踏むからです。
apiVersion: v1
kind: Service
metadata:
name: web-broken
namespace: svclab
spec:
type: ClusterIP
selector:
app: wev
ports:
- port: 8080
targetPort: 80
app: web を app: wev にしただけです。
service/web-broken created
成功します。 Kubernetes は「そんなラベルの Pod は無いですよ」とは言いません。 Service は「条件」を書くものなので、条件に合う Pod が0個でも、条件としては正しいからです。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
web-broken ClusterIP 10.98.243.7 <none> 8080/TCP 12s
ClusterIP も普通に振られています。見た目は完全に正常です。
NAME ENDPOINTS AGE
web-broken <none> 20s
<none>。ここだけが違います。 繋いでみます。
wget: can't connect to remote host (10.98.243.7): Connection refused
名前は引けています。IPも返っています。それでも繋がりません。 転送先が0件だからです。
「名前は引けるのに Connection refused」なら、まず
kubectl get endpointsを見てください。 ここが<none>なら、原因はネットワークではなくラベルの綴りです。
選ばれる側のラベルは、こう確認します。
NAME READY STATUS AGE LABELS
web-9f7d6c5b4-r8vlt 1/1 Running 9m app=web,pod-template-hash=9f7d6c5b4
web-9f7d6c5b4-t4qc9 1/1 Running 8m app=web,pod-template-hash=9f7d6c5b4
app=web です。wev ではありません。 壊した Service は消しておきます。
[スクリーンショット: 03_endpoints_none.png] kubectl -n svclab get endpoints で、正常な Service と <none> の Service が並んで見える画面を撮ってください。
⑦ 名前で繋がる — クラスタ内DNS
ここまで ClusterIP を手で打っていましたが、本来は名前で呼びます。
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
web だけで繋がりました。 正式な名前はもっと長いものです。
Server: 10.96.0.10
Address: 10.96.0.10:53
Name: web.svclab.svc.cluster.local
Address: 10.104.22.181
この4段の名前が Service の正式名です。
| 部分 | 意味 |
|---|---|
web | Service の名前 |
svclab | 名前空間 |
svc | 種類(Service であること) |
cluster.local | クラスタのDNSの根っこ |
なぜ短い名前で引けるのか
Pod の中を見れば書いてあります。
search svclab.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.96.0.10
options ndots:5
search の行が答えです。 短い名前を引くと、この3つを順番に後ろへ足して試します。 web → web.svclab.svc.cluster.local で当たるので、そこで止まります。
options ndots:5 は「ドットが5個未満の名前は、まず search を足して試す」という意味です。だから web も web.svclab も、search 経由で解決されます。
別の名前空間からだと、短い名前では引けません。 これも確かめます。
** server can't find web.default.svc.cluster.local: NXDOMAIN
default 名前空間の client2 は、search の先頭が default.svc.cluster.local なので、そこを探しに行って外します。 名前空間を足せば届きます。
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
同じ名前空間なら
web、別の名前空間ならweb.<名前空間>。 迷ったら正式名を全部書けば必ず当たります。
Docker の埋め込みDNSとの違い
Dockerのネットワークの回で、ユーザー定義ネットワークに入れたコンテナは 127.0.0.11 の埋め込みDNSでコンテナ名を引けたのを見ました。発想は同じで、解決するものが違います。
| Docker | Kubernetes | |
|---|---|---|
| 問い合わせ先 | 127.0.0.11(各コンテナに埋め込み) | CoreDNS(クラスタ内で動く Pod) |
| 引ける名前 | コンテナ名 | Service 名(4段の正式名) |
| 返ってくるIP | そのコンテナ自身のIP | Service の ClusterIP(Pod のIPではない) |
| 名前の効く範囲 | そのネットワークの中 | クラスタ全体(名前空間で仕切られる) |
| 相手が入れ替わったら | 名前を引き直せば新しいIP | IPは変わらない。裏の Endpoints が入れ替わる |
一番の違いは最後の行です。 Docker はコンテナそのものに名前を付けていました。Kubernetes は Pod ではなく Service に名前を付けるので、Pod が全部入れ替わっても呼ぶ側は何も変わりません。 Pod が使い捨てである以上、この一段が要ります。
⑧ Service の種類は4つ
ここまで作ったのは ClusterIP です。 全部で4つあります。
| type | 何ができるか | 使いどころ |
|---|---|---|
| ClusterIP(既定) | クラスタの中からだけ繋がる | ほぼこれ。 アプリ同士の通信 |
| NodePort | ノードのIPと高い番号のポートで外から繋がる | 学習・検証。手っ取り早く外に出す |
| LoadBalancer | クラウドのロードバランサを自動で1台立てて繋ぐ | クラウド上の本番。minikube では保留のまま |
| ExternalName | 転送せず、外部のホスト名へのDNSの別名を返すだけ | クラスタ外のDBなどを、内部の名前で呼びたいとき |
LoadBalancer は Service ごとにロードバランサが1台なので、クラウドではサービスの数だけ課金されます。これを1つにまとめるのが Ingress ですが、別の回で扱います。 ここでは名前だけ置いておきます。
NodePort を1つ作って、外から繋ぐ
apiVersion: v1
kind: Service
metadata:
name: web-np
namespace: svclab
spec:
type: NodePort
selector:
app: web
ports:
- port: 8080
targetPort: 80
nodePort: 30080
nodePort に使える範囲は既定で 30000〜32767 です。 80 や 8080 は書けません(書くとエラーで弾かれます)。省略すればこの範囲から自動で割り当てられます。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
web-np NodePort 10.111.9.204 <none> 8080:30080/TCP 6s
8080:30080 の右が、ノード側に開いたポートです。 ノードのIPを調べて、VM のシェルから繋ぎます。
192.168.49.2
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
クラスタの外(VM本体のシェル)から繋がりました。 ここまでの入口は違いますが、行き先の Pod は同じです。
[スクリーンショット: 04_nodeport_curl.png] minikube ip の結果と、その IP:30080 への curl が成功している画面を撮ってください。
⑨ どうやって振り分けているのか(仕組みはここだけ)
ClusterIP は、どの Pod にも付いていないIPでした。では誰が転送しているのか。
各ノードで動く kube-proxy が、Service と Endpoints を監視して、カーネルのパケット書き換えルール(iptables または IPVS)を書いています。 Service という「箱」がパケットを受け取っているのではありません。
minikube ではクラスタのノードがコンテナやVMの中にあるので、VM本体で iptables を見ても出ません。 ノードの中に入ります。
-A KUBE-SERVICES -d 10.104.22.181/32 -p tcp --dport 8080 -j KUBE-SVC-QF4EXAMPLE
-A KUBE-SVC-QF4EXAMPLE -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-AAEXAMPLE
-A KUBE-SVC-QF4EXAMPLE -j KUBE-SEP-BBEXAMPLE
-A KUBE-SEP-AAEXAMPLE -p tcp -j DNAT --to-destination 10.244.0.15:80
-A KUBE-SEP-BBEXAMPLE -p tcp -j DNAT --to-destination 10.244.0.16:80
読み方は3段だけで足ります。
KUBE-SERVICES: 「宛先が ClusterIP の 8080番なら、この Service 用の鎖へ送れ」KUBE-SVC-...:--probability 0.5で、2つの Pod のどちらかを選ぶ(これが振り分けの実体)KUBE-SEP-...:DNATで宛先を Pod のIPに書き換える
DNAT は Docker の -p と同じ道具です。 Docker が「ホストのポート → コンテナ」を書き換えていたのと同じ仕組みを、Kubernetes は「ClusterIP → Pod」に使っています。新しい魔法ではありません。
何も出ない場合があります。 kube-proxy が iptables 以外のモードで動いているときです。
mode: "" なら iptables、ipvs なら IPVS、nftables なら nft 系です。IPVS のときはノードの中で sudo ipvsadm -Ln を使います(入っていなければ見られなくて構いません)。
見るのはここまでで十分です。 覚えるべきなのはルールの中身ではなく、「Service の実体は、各ノードのカーネルにあるルールだ」ということだけです。だから Service を消せば、全ノードのルールが消えます。
⑩ headless Service(clusterIP: None)
ClusterIP を「持たない」Service も作れます。
apiVersion: v1
kind: Service
metadata:
name: web-hl
namespace: svclab
spec:
clusterIP: None
selector:
app: web
ports:
- port: 80
これを引くと、ClusterIP ではなく Pod のIPがそのまま全部返ります。 振り分けも DNAT も行われません。
Name: web-hl.svclab.svc.cluster.local
Address: 10.244.0.15
Name: web-hl.svclab.svc.cluster.local
Address: 10.244.0.16
「1つの入口にまとめる」という Service の目的と逆に見えますが、個々の Pod を名指しで区別したいときに要ります。データベースのように「1台目が親、2台目が複製」と役割が違う場合で、これは StatefulSet と組み合わせて使います。その回で詳しく扱うので、ここでは「そういう種類がある」だけで構いません。
⑪ 繋がらないときの切り分け
この順に上から見ます。飛ばすと必ず遠回りします。
| 順 | 見るもの | コマンド | 悪いときの見え方 |
|---|---|---|---|
| 1 | Pod は動いているか | kubectl -n svclab get pod | Running 以外、または READY 0/1 |
| 2 | Endpoints は空でないか | kubectl -n svclab get endpoints <svc> | <none> ← ここが最頻 |
| 3 | ラベルは合っているか | kubectl -n svclab get pod --show-labels と kubectl -n svclab describe svc <svc> の Selector | 綴りや大文字小文字が1文字違う |
| 4 | ポート番号は合っているか | kubectl -n svclab describe svc <svc> の TargetPort | targetPort がコンテナの待受と違う |
| 5 | 名前は引けるか | kubectl -n svclab exec client -- nslookup <svc> | NXDOMAIN(名前空間違い・綴り違い) |
2つの症状を、はっきり分けてください。
| 症状 | 疑う場所 |
|---|---|
名前が引けない(NXDOMAIN) | 名前空間か、Service 名の綴り。 Service がそもそも存在しない |
| 名前は引けるが繋がらない | Endpoints が空か、ポート番号違い。 DNSは無罪 |
アプリ側を疑う前に、Pod へ直接繋いで切り分けます。
これが通れば Pod は正常で、原因は Service の設定側です。通らなければ Pod 側です。ここで半分に割れます。
つまずいたところ
Pod のIPをアプリの設定に書いて、翌朝まったく同じ設定のまま壊れていた。 「何も変えていないのに壊れた」の正体がIPの再割り当てでした。Kubernetes では「何も変えていない」は成り立ちません。 Pod は勝手に作り直されるのが正常な状態です。
Service を作れば繋がるようになると思っていた。 実際には Service が無くても Pod 同士は繋がります。Service がやっているのは「固定」だけでした。ここを取り違えていたので、Service の設定を直しても症状が変わらない場面で迷いました。
selector に Deployment の名前を書こうとした。 selector に name: web と書いて Endpoints が空になり、30分止まりました。Service は Deployment を一切知りません。ラベルしか見ていません。
apply が成功したので設定は正しいと思い込んだ。 ラベルが誰にも一致しない Service も、正常に作成されます。 「作れた」は「届く」ではありませんでした。apply の直後に必ず get endpoints を見るのを型にしました。
port と targetPort を両方 80 にして、違いが分からないまま使っていた。 番号をずらして初めて、呼ぶ側の番号と Pod 側の番号が別物だと分かりました。
別の名前空間から短い名前で引いて NXDOMAIN になり、DNSが壊れたと思った。 /etc/resolv.conf の search を見て、自分の名前空間しか補完されないと分かって解決しました。DNSの不調を疑う前に、Pod の中の resolv.conf を1回読む。
NodePort に 8080 を書いてエラーになった。 30000〜32767 の範囲外は弾かれます。 範囲を知らずに「YAMLの書式を間違えた」と思って探し回りました。
iptables -t nat -S を VM 本体で打って、何も出ずに悩んだ。 minikube のノードはVMの中のさらに中です。minikube ssh で入る必要がありました。
後片づけ
名前空間ごと消すと、中の Deployment・Pod・Service が全部消えます。
namespace "svclab" deleted
default に作ったクライアントは別に消します。
残っていないことを確認します。
何も出なければ片づいています。
クラスタごと止めるなら、本線と同じく次で止まります(消さずに止めるだけです)。
まとめ — 理解できたこと
- Pod のIPは使い捨て。控えて設定に書いた時点で、次の作り直しで嘘になる
- Pod 同士は Service が無くても直接繋がる。 Service は繋げる道具ではなく、宛先を固定する道具
selectorは Deployment ではなく、ラベルの付いた Pod を直接選んでいるportは呼ぶ側の番号、targetPortは Pod 側の番号。 別物なので、ずらして書くと分かる- ラベルが1文字違っても Service の作成は成功する。 違いが出るのは
Endpointsが<none>の1点だけ kubectl get endpointsが、Service が実際に選んだ Pod の唯一の答え合わせ- 短い名前で引けるのは
/etc/resolv.confのsearchのおかげ。 別の名前空間なら<svc>.<名前空間> - Kubernetes の名前は Pod ではなく Service に付く。 だから Pod が全部入れ替わっても呼ぶ側は無変更
- 種類は4つ。既定は ClusterIP、外へ出すのが NodePort と LoadBalancer、別名だけが ExternalName
- NodePort に使えるのは 30000〜32767。 それ以外は弾かれる
- 振り分けの実体は kube-proxy が書いた iptables の
DNAT。 Docker の-pと同じ道具 clusterIP: None(headless)は Pod のIPをそのまま返す。 個々を名指ししたいとき用
参考リンク
- roadmap.sh — Kubernetes
- Kubernetes 公式 — Service
- Kubernetes 公式 — DNS for Services and Pods
- Kubernetes 公式 — EndpointSlices
- Kubernetes 公式 — Labels and Selectors
- Kubernetes 公式 — Debug Services
- Kubernetes 公式 — kube-proxy
- minikube 公式 — Accessing apps
次に読む
この記事は 【深掘り】Kubernetes の 4 / 15 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- ClusterIP / NodePort と Endpoints
- クラスタ内DNS と kube-proxy
この記事は、上の項目を実際に手を動かして確かめる回です。

コメント