1台落としてもPodは移る — kubeadmで組む3台クラスタ

kubeadmでクラスタ構築。三台のサーバーとコンテナの箱、一台から別の一台への再配置を表す矢印。

※本記事はアフィリエイト広告(PR)を含みます。

Kubernetes の入門記事の多くは、ここで終わります。 minikube が動いた、Pod が復活した、めでたし、と。

前回: Kubernetesは「状態を宣言する」 — minikube入門 作業場所は VMware と、その中の Ubuntu Server です。 今回はVMを3台使います。 始める前に、いまのVMのスナップショットを必ず取ってください。 今回はVMを複製し、ホスト名もIPも書き換えます。

前回、minikube で Pod を手で消して、勝手に復活するところを見ました。そして最後にこう書きました。

minikube は1台です。落ちたら、全部落ちます。

でも、Kubernetes が本当にやりたかったことは、そこから先にあります。

1台のサーバーが壊れても、サービスが止まらない。

これはマシンが2台以上ないと、絶対に確かめられません。 復旧してくれる誰かが、壊れるその1台の中にいるからです。

この回でやるのは、それだけです。 VMを3台立てて、本物のクラスタを組んで、そのうち1台の電源を、本当に切ります。 そして Pod が別のマシンに作り直されるのを見ます。

長い記事です。 ただ、山場は最後の1節だけで、そこまでは全部その準備です。


対象レベル: 中級 / 区分: 必修

目次

必要なメモリとディスク(先に確認してください)

今回は「VMを3台同時に起動する」回です。 ここまでの回と違い、足りないと物理的に始められません。

役割ホスト名メモリCPUディスク
コントロールプレーンcp14 GB2コア(必須)40 GB
ワーカー1w12 GB2コア40 GB
ワーカー2w22 GB2コア40 GB
合計8 GB6コア相当120 GB

そして、これはVMに渡す分だけの話です。 Windows本体(ホスト)はこれとは別に必要です。

項目必要量根拠
ホストの物理メモリ16 GB 以上VMに8GB渡して、Windowsとブラウザに8GB残す計算
Cドライブの空き120 GB 以上40GB × 3台。実際に使うのは1台10GB前後ですが、上限で見積もります
CPU論理コア4以上(できれば8)3台同時に動きます

cp1 のCPUは2コア必須です。 kubeadm はコントロールプレーンのCPUが1コアだと、初期化のときに明確にエラーで止めます。 ここは「遅い」ではなく「動かない」です。

PCのスペックを測る回の表で「第6段階後半 = 6〜12GB」と書いたのが、この回です。上の8GBは、節約寄りの割り当てです。ホストが32GBあるなら、3台とも4GBにして構いません。

いま測ってください。Windows の PowerShell で:

PowerShell
PS> Get-CimInstance Win32_ComputerSystem |
PS>   Select-Object @{n='RAM_GB';e={[math]::Round($_.TotalPhysicalMemory/1GB,1)}}, NumberOfLogicalProcessors
PS> Get-CimInstance Win32_LogicalDisk -Filter "DeviceID='C:'" |
PS>   Select-Object @{n='FreeGB';e={[math]::Round($_.FreeSpace/1GB,1)}}

足りない人は、ここで止まって構いません

メモリ8GBのPCで、VM3台は無理です。 起動の途中で止まるか、ホストごと固まります。VMware は「4GB割り当てたVM」を起動するとき、その4GBを本当に確保しようとするからです。

足りないと分かった場合、この記事は「読むだけ」にしてください。

  • なぜ1台では駄目なのか、クラスタが何をしているのかは、実機がなくても読めます
  • 手を動かすのは、メモリを増設してからで構いません。 スペックの回に書いたとおり、ノートPCでもメモリは増設できることがあります
  • この先の回(Helm、GitOps など)に進むために、この回が必須というわけではありません

「動かせなかった」ことは失敗ではありません。 見積もりを先に取って、足りないと判断できたなら、それは正しく測れたということです。


VMを3台同時に動かすメモリとディスクを普段使いのPCで確保できない場合は、検証用の小型マシンを1台別に置く手があります。GMKtecのようなミニPCは、メモリ・SSD・OS を自分で用意するベアボーンキットが29,900円、16GB メモリと256GB SSD を載せた構成が49,599円です(G11 PLUS・2026-11 時点の公式ストア表示・税込)。ベアボーンの価格には OS が含まれず、搭載済みモデルも初期設定言語が英語なので、届いてからの設定を見込んでおいてください。

この記事でわかること

  • minikube と本物のクラスタの違いは「台数」ではなく「置き場所が複数あるか」だということ
  • VMをクローンすると machine-id が重複し、ネットワークが壊れること。ホスト名とIPだけ直しても足りない
  • CNI(ネットワークアドオン)を入れるまで、Node は永久に NotReady のままだということ。これは故障ではなく未完成
  • ufw の DEFAULT_FORWARD_POLICY が、ポートを開けても Pod 間通信を落とすこと
  • ノードが落ちてから Pod が移るまでに、既定で約5分かかること。「すぐ移らない=壊れている」ではない

この記事でやること

  1. 1台目(cp1)に、3台共通の下ごしらえをする(swap停止・カーネルモジュール・containerd・kubeadm)
  2. その状態を VMware でクローンして、w1 と w2 を作る(machine-id・ホスト名・IPを必ず変える)
  3. ufw に必要なポートを開ける(コントロールプレーンとワーカーで違う)
  4. kubeadm init でクラスタを作り、CNI を入れて、kubeadm join で2台足す
  5. Deployment を replicas 3 で配り、w1 の電源を切って、Pod が移るのを見る
  6. 後片づけする(kubeadm reset / VMを止める / スナップショットに戻す)

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
kubeadm本物の Kubernetes クラスタを組み立てるための公式ツール。minikube と違い、複数のマシンをまたげる
コントロールプレーンクラスタの頭脳側のノード。「どの Pod をどこに置くか」を決めている。旧称マスター
ワーカーノード実際に Pod が動くノード。頭脳の指示を受けて動く
etcdクラスタの状態を全部保存しているデータベース。コントロールプレーンの中で動く
kubelet各ノードに常駐して、そのノードの Pod の面倒を見るプログラム。3台全部に入る
CRI(コンテナランタイム)kubelet が実際にコンテナを起動させる相手。Docker ではなく containerd を直接使う
CNI(ネットワークアドオン)Pod どうしをノードをまたいで繋ぐ部品。Kubernetes 本体には入っておらず、別途入れる
FlannelCNI の実装の1つ。設定項目が少なく、学習用に向いている
machine-idLinux が持つこの1台を表すID。クローンすると重複し、事故になる
taint(テイント)ノードに付ける「ここには Pod を置くな」という札
フルクローン元のVMから完全に独立したコピーを作る複製方法。元を消しても動く

なぜ1台では駄目なのか

前回の構成を、もう一度絵にします。

Windows(ホスト)
  └─ Ubuntu VM 1台            ← ここが落ちたら
       └─ Docker
            └─ minikube のコンテナ
                 └─ Pod × 3   ← 全部落ちる

Pod を3つに増やしても、置き場所は1つしかありません。

そして、もっと本質的な問題があります。

「Pod を作り直す係」自身が、その1台の中にいます。

Deployment が「3個保て」と言えるのは、Deployment の情報を持っている etcd が生きているからです。VMが落ちれば、etcd ごと落ちます。「気づいて直す人」が一緒に死ぬので、誰も直せません。

今回作るのは、こうです。

Windows(ホスト)
  ├─ cp1 (192.168.226.50)  コントロールプレーン ── etcd / スケジューラ
  ├─ w1  (192.168.226.51)  ワーカー ── Pod
  └─ w2  (192.168.226.52)  ワーカー ── Pod

w1 が落ちても、cp1 は生きています。 だから cp1 が「w1 が返事をしない」ことに気づいて、w2 に Pod を作り直せます。

ここが「複数台」の意味です。 台数を増やすことが目的ではありません。 「気づいて直す人」と「壊れる場所」を分けることが目的です。

なお、今回の構成でも cp1 が落ちたら復旧はできません。 頭脳が1つだからです。本番ではコントロールプレーンも3台にします(HA構成)。今回はそこまではやりません。 ただ、「まだ弱い場所がどこか」は分かった状態で進んでください。

全体像 — 3台の名前とIPを、先に決める

この記事で一番大事なルールです。

これ以降、すべてのコマンドに「どのVMで打つか」を書きます。 cp1 と書いてあるコマンドを w1 で打つと、確実に壊れます。

ホスト名役割IPアドレスどこから作るか
cp1コントロールプレーン192.168.226.50いま使っているVM(ホスト名だけ変える)
w1ワーカー1192.168.226.51cp1 のクローン
w2ワーカー2192.168.226.52cp1 のクローン

IPは 192.168.226.x 系で書いていますが、これは筆者の環境の値です。 自分の環境の値に読み替えてください(Ubuntu Server 初期設定の回で .50 を固定しました。その隣の2つを使う、という決め方です)。

.51 と .52 が空いているかは、先に確かめてください。 VMware の NAT は既定でおおむね .128〜.254 をDHCPで配ります。.50 台は配布範囲の外なので安全ですが、過去に立てた別のVMが使っていないかは見ておきます。

Windows の PowerShell から、いま使われていないことを確認できます。

PowerShell
PS> ping -n 1 192.168.226.51
PS> ping -n 1 192.168.226.52

「要求がタイムアウトしました」なら、誰も使っていません。 応答が返ってきたら、別のIPを選んでください。

手順の全体像 — なぜ「先に下ごしらえ、あとでクローン」なのか

やり方は2つあります。

やり方手間
❌ 3台作ってから、3台とも同じ設定をする同じ作業を3回。打ち間違いも3回分
✅ 1台に共通の設定をしてから、クローンする1回で済む。 クローンした時点で下ごしらえ済み

この記事は下のやり方をとります。 ただし、境界を間違えると全部やり直しになります。

【クローンする前にやること】             【クローンした後にやること】
 ・swap を止める                          ・machine-id を作り直す  ← 必須
 ・カーネルモジュールと sysctl            ・ホスト名を変える
 ・containerd の設定                      ・IPアドレスを変える
 ・kubeadm / kubelet / kubectl を入れる   ・SSHのホスト鍵を作り直す
 ・ufw のポートを開ける                   ・kubeadm init / join

kubeadm init は、絶対にクローンの前にやらないでください。 初期化が済んだVMを複製すると、同じ証明書・同じ etcd・同じノード名を持ったマシンが3台できます。直すより作り直すほうが早い状態になります。

境界は「パッケージを入れるまでがクローン前、クラスタを組むのはクローン後」です。


① cp1:1台目に共通の下ごしらえをする

ここから、すべて cp1(=いま使っているVM)の中で打ちます。 Windows の PowerShell から SSH で入ってください。

PowerShell
PS> ssh yourname@192.168.226.50

前回の minikube を片づける

minikube が動いたままだと、メモリとポートを取り合います。

cp1 の中で:

bash
$ minikube delete
$ docker ps

何も表示されなければ、片づいています。 docker compose で何か動いているなら、それも止めてください。

minikube delete を「もったいない」と思う必要はありません。 これから作るのは、minikube より本物のクラスタです。

ホスト名を cp1 に変える

初期設定の回で web01 にしました。 これから3台になるので、役割が分かる名前に変えます。

cp1 で:

bash
$ sudo hostnamectl set-hostname cp1
$ sudo nano /etc/hosts

127.0.1.1 の行を cp1 に直します。

127.0.0.1 localhost
127.0.1.1 cp1

ついでに、この下に3台ぶんを書いておきます。 IPで呼ぶより、名前で呼べたほうが後が楽だからです。

192.168.226.50 cp1
192.168.226.51 w1
192.168.226.52 w2

これはクローン前に書きます。 3台とも同じ内容でいいので、1回書けば3台に配られます。

反映を確認します。いったんSSHを切って、繋ぎ直します。

bash
$ exit
PowerShell
PS> ssh yourname@192.168.226.50

プロンプトが yourname@cp1:~$ になっていれば成功です。

swap を止める

Kubernetes の kubelet は、既定で swap が有効なノードでは起動を拒否します。

なぜ止めるのか。 Kubernetes は「このノードにあと何GB空いている」を前提に Pod を配置します。swap があると「メモリが足りないのに、遅くなりながら動き続ける」状態が起きて、空き容量の計算が信用できなくなります。 だから最初から無いことにします。

cp1 で、まず有無を見ます。

bash
$ swapon --show
$ free -h

何も表示されなければ、swap はありません。 Ubuntu Server の既定のインストールでは、swap が作られていないことがよくあります。 その場合、この節は読むだけで構いません。

表示された場合は、止めます。

bash
$ sudo swapoff -a
$ swapon --show

これは今この瞬間だけの停止です。 再起動すると戻るので、設定ファイル側も直します。

bash
$ sudo cp /etc/fstab /etc/fstab.bak
$ sudo nano /etc/fstab

swap という語が入っている行の先頭に # を付けて、コメントアウトします。

# /swap.img none swap sw 0 0

/etc/fstab は、書き間違えると起動しなくなるファイルです。 # を付けるだけにしてください。行を消さないこと。バックアップを先に取ったのは、そのためです(初期設定の回でも同じことをしました)。

カーネルモジュールと sysctl

Kubernetes の通信は、Linux のブリッジと転送機能に乗っています。 ここが有効でないと、「Pod は起動しているのに繋がらない」という一番デバッグしづらい形で失敗します。

cp1 で:

bash
$ cat <<'EOF' | sudo tee /etc/modules-load.d/k8s.conf
  overlay
  br_netfilter
  EOF
$ sudo modprobe overlay
$ sudo modprobe br_netfilter
部分意味
overlayコンテナのファイルシステムの重ね合わせに使う。Docker でも使われている
br_netfilterLinux のブリッジを通る通信を、iptables に見せるためのもの
modules-load.d に書く再起動しても自動で読み込ませるため
modprobeいますぐ読み込む(再起動を待たない)

次に、カーネルの動作設定です。

bash
$ cat <<'EOF' | sudo tee /etc/sysctl.d/k8s.conf
  net.bridge.bridge-nf-call-iptables  = 1
  net.bridge.bridge-nf-call-ip6tables = 1
  net.ipv4.ip_forward                 = 1
  EOF
$ sudo sysctl --system
設定意味
bridge-nf-call-iptablesブリッジを通る通信にも、ファイアウォールの判断を効かせる
ip_forwardこのマシンを通り抜ける通信を許可する。ルーターと同じ役割をさせる

効いているか確認します。

bash
$ lsmod | grep br_netfilter
$ sysctl net.ipv4.ip_forward
net.ipv4.ip_forward = 1

= 1 になっていれば成功です。= 0 のままなら、sudo sysctl --system をもう一度打ってください。

sysctl --system は「設定ファイルを全部読み直す」という意味です。個別に sysctl -w で書くと、再起動で消えます。

containerd を、Kubernetes から使えるようにする

ここが、Docker を先に入れていた人が必ず引っかかる場所です。

Docker の回で、containerd.io というパッケージを一緒に入れました。 つまりcontainerd はもう入っています。

bash
$ containerd --version

バージョンが返るはずです。 ではそのまま使えるかというと、使えません。

Docker のリポジトリから入れた containerd.io は、CRI という機能が無効にされた状態で入ります。 Docker が使うぶんには要らない機能だからです。しかし kubelet は、まさにその CRI 経由で containerd に話しかけます。

確かめられます。

bash
$ sudo cat /etc/containerd/config.toml
disabled_plugins = ["cri"]

この1行が犯人です。 これを残したまま先に進むと、kubeadm init が「コンテナランタイムが応答しない」という分かりにくいエラーで止まります。

設定ファイルを、既定値から作り直します。

bash
$ sudo cp /etc/containerd/config.toml /etc/containerd/config.toml.bak
$ containerd config default | sudo tee /etc/containerd/config.toml > /dev/null

containerd config default は「既定の設定を全部書き出す」コマンドです。CRI が有効な、まともな設定が出てきます。

さらに1か所直します。

bash
$ sudo nano /etc/containerd/config.toml

SystemdCgroup を探して、true にします。 nano なら Ctrl + W で検索できます。

            SystemdCgroup = true

なぜこれが要るのか。 cgroup は「このプロセスにメモリをここまで、CPUをここまで」と制限する Linux の仕組みです。その制限を誰が管理するかに流儀が2つあり、Ubuntu は systemd が管理する流儀です(systemd の回)。 kubelet と containerd で流儀が食い違うと、「動くけれど、負荷がかかると不安定」という最悪の壊れ方をします。両方 systemd に揃えます。

反映して、確認します。

bash
$ sudo systemctl restart containerd
$ sudo systemctl enable containerd
$ sudo systemctl status containerd --no-pager

active (running) なら成功です。 enable を付けるのは、再起動後も自動で立ち上がるようにするためでした(systemd の回の「start と enable は別物」)。

CRI 側からも確認できます。

bash
$ sudo ctr version

エラーなくバージョンが返れば、containerd 本体は生きています。

kubeadm / kubelet / kubectl を入れる

この3つは、Ubuntu の標準リポジトリには入っていません。 Kubernetes 公式のリポジトリを足します。

バージョン番号は、読む時期によって変わります。 Kubernetes のリポジトリは v1.33 のようにマイナーバージョンごとに分かれていて、URLに版番号が入ります。下のコマンドの v1.33 を、そのまま信じないでください。 kubeadm のインストール手順(公式)を開いて、いまの安定版の番号に読み替えてから打ってください。 この記事を書いた時点では v1.33 系でした。

cp1 で:

bash
$ sudo apt update
$ sudo apt install -y apt-transport-https ca-certificates curl gpg
$ sudo mkdir -p -m 755 /etc/apt/keyrings
bash
$ curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.33/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
$ echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.33/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

やっていることは Docker の回と同じです。

手順意味
鍵を keyrings に置く「この配布元を信用する」という署名鍵を登録する
sources.list.d に足すapt に「ここも見に行け」と教える(apt の回)
bash
$ sudo apt update
$ sudo apt install -y kubelet kubeadm kubectl
$ sudo apt-mark hold kubelet kubeadm kubectl
コマンド意味
kubelet各ノードで Pod の面倒を見る常駐プログラム
kubeadmクラスタを組み立てるツール
kubectlクラスタに命令するコマンド(前回も入れました)
apt-mark holdapt upgrade で勝手に更新されないように固定する

apt-mark hold は、飾りではありません。 Kubernetes はバージョンを揃えたまま、決まった順番で上げる必要があります。sudo apt upgrade のついでに kubelet だけ上がると、クラスタが動かなくなります。 自動更新を設定した回を思い出してください。「全部自動で最新に」がいつでも正しいわけではない、という実例です。

確認します。

bash
$ kubeadm version
$ kubelet --version
$ kubectl version --client

3つともバージョンが返れば成功です。数字はこの記事と違って構いません。

この時点で sudo systemctl status kubelet を見ると、activating (auto-restart) で失敗を繰り返しています。これは正常です。 kubelet は「クラスタに参加していないと起動できない」ためです。kubeadm init か kubeadm join をするまで、この状態が続きます。ここで直そうとしないでください。

ufw のポートを開ける(3台共通ぶん)

初期設定の回で ufw を有効にしました。 つまりいまは、SSH(22番)以外の着信が全部落ちています。

Kubernetes は、ノード間で大量に通信します。 ここを開けないと、kubeadm join が「接続できません」で失敗します。

必要なポートは、役割によって違います。

ポートプロトコル誰が使うか必要なノード
6443TCPkube-apiserver(クラスタの入口)cp1 のみ
2379-2380TCPetcd(状態のデータベース)cp1 のみ
10259TCPkube-schedulercp1 のみ
10257TCPkube-controller-managercp1 のみ
10250TCPkubelet API(kubectl logs などが通る)3台すべて
10256TCPkube-proxy の死活確認ワーカー
30000-32767TCPNodePort(外からサービスに入る口)ワーカー(実際は3台入れてよい)
8472UDPFlannel の VXLAN(Pod 間通信の実体)3台すべて

8472 だけ UDP です。 ここを TCP で開けて「なぜか Pod 同士が繋がらない」というのが、この構成で一番多い詰まり方です。

いまは cp1 にいるので、3台共通ぶんとコントロールプレーンぶんを、まとめて入れます。

cp1 で:

bash
$ sudo ufw allow from 192.168.226.0/24 to any port 6443 proto tcp
$ sudo ufw allow from 192.168.226.0/24 to any port 2379:2380 proto tcp
$ sudo ufw allow from 192.168.226.0/24 to any port 10250 proto tcp
$ sudo ufw allow from 192.168.226.0/24 to any port 10257 proto tcp
$ sudo ufw allow from 192.168.226.0/24 to any port 10259 proto tcp
$ sudo ufw allow from 192.168.226.0/24 to any port 10256 proto tcp
$ sudo ufw allow from 192.168.226.0/24 to any port 30000:32767 proto tcp
$ sudo ufw allow from 192.168.226.0/24 to any port 8472 proto udp
部分意味
from 192.168.226.0/24同じネットワークの中からだけ許可する。インターネット全体に開けない
port 2379:2380範囲指定(: で繋ぐ)
proto udpUDP を指定。省略すると TCP と UDP の両方になります

from を付ける理由。 sudo ufw allow 6443/tcp と書くと、どこからでも入れるようになります。学習用のVMなので実害は薄いですが、「必要な範囲だけ開ける」は、開ける側の作法です。ufw の回で「既定は全部落とす」にしたのと同じ考え方です。

ここが最大の罠:ufw の転送ポリシー

ポートを開けただけでは、まだ足りません。

ufw は、既定で「このマシンを通り抜ける通信」を全部落とします。

Pod の通信は、まさに「通り抜ける通信」です。 ノードに届いて、そこから Pod へ渡されます。ufw から見ると、宛先が自分ではない通信なので、FORWARD として落とされます。

症状はこうなります。

  • Node は Ready になる
  • Pod も Running になる
  • でも、別のノードの Pod に繋がらない
  • CoreDNS が延々と CrashLoopBackOff になる

「全部正常に見えるのに動かない」ので、原因にたどり着くのに時間がかかります。

cp1 で:

bash
$ sudo cp /etc/default/ufw /etc/default/ufw.bak
$ sudo nano /etc/default/ufw

DEFAULT_FORWARD_POLICY の行を探して、DROP を ACCEPT に変えます。

DEFAULT_FORWARD_POLICY="ACCEPT"
bash
$ sudo ufw reload
$ sudo ufw status verbose
Status: active
Default: deny (incoming), allow (outgoing), allow (routed)

allow (routed) になっていれば成功です。 ここが deny (routed) のままなら、まだ落とされます。

これは「セキュリティを下げた」ことになります。 事実として、そうです。 ただし、Kubernetes のノードは「通信を転送する装置」でもあるので、転送を全部落とすと役割を果たせません。閉じたままにしたいなら、Pod のネットワーク範囲だけ通す細かい規則を書くことになります。学習用VMでは、そこまではやりません。 大事なのは「何を緩めたか自分で言えること」です。「よく分からないけど言われたとおりにした」で済ませないでください。

再起動して、確認する

bash
$ sudo reboot

1分ほど待ってから、繋ぎ直します。

PowerShell
PS> ssh yourname@192.168.226.50

cp1 で、下ごしらえが全部残っているか確認します。

bash
$ hostnamectl | grep "Static hostname"
$ swapon --show
$ sysctl net.ipv4.ip_forward
$ systemctl is-active containerd
$ kubeadm version -o short
$ sudo ufw status verbose | head -n 3

swapon --show が無反応、ip_forward = 1、containerd が active、allow (routed)。 ここまで揃っていれば、クローンして構いません。

クローンの前に、VMを「シャットダウン」する

bash
$ sudo shutdown -h now

一時停止(サスペンド)ではなく、完全に電源を切ってください。 動いたまま複製すると、メモリの中身ごとコピーされ、同じIPで同じプロセスが2つ動くという混乱した状態になります。

[スクリーンショット: 01_クローン前の確認.png] cp1 で上の確認コマンドを一通り実行し、swap 無し・ip_forward = 1・containerd が active・allow (routed) が読み取れる画面を撮ってください。


② VMware でクローンして、w1 と w2 を作る

ここから、Windows 側の VMware Workstation で作業します。

フルクローンで複製する

  1. VMware Workstation で、cp1 のVM(電源オフ状態)を右クリック
  2. [管理] → [クローン]
  3. クローン元 … 「仮想マシンの現在の状態」
  4. クローンの種類 … 「フル クローンを作成」 を選ぶ
  5. 名前を w1、保存先を Cドライブの分かる場所にする

もう一度同じ手順で w2 を作ります。

種類中身今回どうするか
リンククローン元のVMのディスクを参照して、差分だけ持つ。軽い❌ 元を消すと動かない。 ノードには向かない
フルクローン完全に独立したコピー。その都度10〜30GB増える✅ これを使う

VMを29台溜めた回で「クローンはその都度ディスクが増える」と書いたのが、これです。 w1 と w2 で、実測10GB前後 × 2 が増えます。 上限40GBを2つ足すぶんの空きは、先ほど確認済みのはずです。

VMは内蔵ディスク(Cドライブ)に置いてください。 外付けSSDに置くのは危険だと29台の回で書きました。3台に増えると、その危険も3倍です。

メモリの割り当てを、ワーカーだけ減らす

w1 と w2 の設定を開いて、メモリを 2GB に変えます。

  • VMware で w1 を右クリック → [設定] → [メモリ] → 2048 MB
  • CPUは2コアのままにします(減らさないでください)

w2 も同じです。

なぜワーカーだけ減らせるのか。 cp1 は etcd と API サーバーを抱えているので、メモリを食います。 ワーカーは Pod を置くだけなので、学習用の nginx を数個動かすくらいなら 2GB で足ります。 ホストが32GB以上あるなら、3台とも4GBにして構いません。 減らすのはあくまで節約です。

クローンした2台を、同時に起動しないでください

w1 と w2 は、いま cp1 と全く同じIP(192.168.226.50)とホスト名(cp1)を持っています。

3台同時に起動すると、同じIPが3つになって、ネットワークがめちゃくちゃになります。

正しい順番は、これです。

1. w1 だけ起動 → 名前とIDとIPを直す → シャットダウン
2. w2 だけ起動 → 名前とIDとIPを直す → シャットダウン
3. 3台まとめて起動

cp1 は、この間ずっと止めておいて構いません。


③ クローンした2台の「重複」を、必ず消す

ここがこの記事で一番の落とし穴です。 ホスト名とIPだけ直して先に進むと、あとで原因不明の不具合として返ってきます。

クローンしたVMには、重複してはいけないものが3つあります。

重複するものそのままだと何が起きるか
machine-idDHCPが同じIPを2台に配る。 systemd のログの識別も混ざる
ホスト名Kubernetes のノード名が重複して、2台目が join できない
SSHのホスト鍵別のマシンなのに同じ鍵。接続元から見て、なりすましと区別できない

w1 を起動して、直す

VMware で w1 だけ電源を入れます。

この作業は SSH ではなく、VMware のコンソール画面(VMwareのウィンドウの中)から行ってください。 IPを書き換えると、SSHは必ず切れます。 netplan の回と同じ理由です。

そもそも、いま w1 は cp1 と同じIPを持っています。 SSHで 192.168.226.50 に繋いだら、どちらに繋がったか分かりません。

VMware のコンソールでログインしてください。 プロンプトは yourname@cp1:~$ と出ます(まだ cp1 を名乗っています)。

(1) machine-id を作り直す

w1 のコンソールで:

bash
$ cat /etc/machine-id

cp1 と同じ値が出ます。当然です。コピーなので。

bash
$ sudo truncate -s 0 /etc/machine-id
$ sudo rm -f /var/lib/dbus/machine-id
$ sudo ln -s /etc/machine-id /var/lib/dbus/machine-id
コマンド意味
truncate -s 0中身を空にする(ファイルは残す)。空のとき、起動時に新しいIDが作られます
rm + ln -sdbus 側のコピーを消して、本体へのリンクにする。2か所に別々の値が残るのを防ぐ

なぜ rm /etc/machine-id ではなく truncate なのか。 ファイルごと消すと、起動時に作り直されないことがあります。 「ファイルはあるが空」が、systemd から見た「まだ決まっていない」の正しい表し方です。

この変更は、再起動して初めて効きます。 あとでまとめて再起動します。

(2) ホスト名を w1 にする

bash
$ sudo hostnamectl set-hostname w1
$ sudo nano /etc/hosts

127.0.1.1 の行だけ w1 に直します。 下に書いた3台ぶんの行は、そのままで構いません。

127.0.0.1 localhost
127.0.1.1 w1

192.168.226.50 cp1
192.168.226.51 w1
192.168.226.52 w2

(3) IPアドレスを 192.168.226.51 にする

bash
$ sudo nano /etc/netplan/50-cloud-init.yaml

addresses: の1行だけ直します。

network:
  version: 2
  ethernets:
    ens33:
      dhcp4: false
      addresses:
        - 192.168.226.51/24
      routes:
        - to: default
          via: 192.168.226.2
      nameservers:
        addresses:
          - 192.168.226.2
          - 8.8.8.8

YAMLはタブ禁止・スペース2つでした(netplan の回)。nano で Tab キーを押さないでください。

bash
$ sudo netplan apply
$ ip -4 a show ens33

inet 192.168.226.51/24 になっていれば成功です。

今回は netplan try ではなく apply を使っています。 try は「失敗したら2分で元に戻る」仕組みですが、いまはコンソールから操作しているので、接続が切れて詰むことがありません。 元に戻ってほしくないので apply です。 SSH越しに同じことをするなら、必ず try を使ってください。

(4) SSHのホスト鍵を作り直す

bash
$ sudo rm -f /etc/ssh/ssh_host_*
$ sudo dpkg-reconfigure openssh-server
$ sudo systemctl restart ssh

dpkg-reconfigure が、無い鍵を作り直します。

なぜ必要か。 SSHのホスト鍵は「このサーバーは本物です」を示すものです。クローンすると3台が同じ鍵を持ちます。接続する側から見ると、3台の区別がつきません。 これは「なりすましを検知できない」ということです。学習用でも、鍵の意味を壊したまま使う癖はつけないほうがいいので、直します。

(5) 再起動して、全部反映させる

bash
$ sudo reboot

起動したら、コンソールで確認します。

bash
$ hostnamectl | grep "Static hostname"
$ cat /etc/machine-id
$ ip -4 a show ens33 | grep inet

w1 / cp1 とは違う値の machine-id / 192.168.226.51 の3点が揃っていれば完了です。

ここで初めて、Windows から SSH で入れます。

PowerShell
PS> ssh yourname@192.168.226.51

WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! と出たら、以前そのIPを別のVMが使っていたということです。Windows 側で ssh-keygen -R 192.168.226.51 を打ってから繋ぎ直します。

確認できたら、w1 をいったんシャットダウンします。

bash
$ sudo shutdown -h now

w2 も同じことをする

w2 を起動して、上の (1)〜(5) を同じ順番でやります。違うのは2か所だけです。

手順w1w2
ホスト名w1w2
IPアドレス192.168.226.51192.168.226.52

残り(machine-id・SSHホスト鍵)は、まったく同じ手順です。

終わったら w2 もシャットダウンします。

3台まとめて起動して、お互いが見えることを確認する

VMware で cp1 → w1 → w2 の順に電源を入れます。

Windows の PowerShell から、3つのウィンドウでそれぞれSSHします。

PowerShell
PS> ssh yourname@192.168.226.50
PowerShell
PS> ssh yourname@192.168.226.51
PowerShell
PS> ssh yourname@192.168.226.52

ここから先、3つのターミナルを開いたまま作業します。 プロンプトの yourname@cp1 / @w1 / @w2 を毎回見てください。 打ち間違いの9割は「違うウィンドウに打った」です。

cp1 から、2台に届くか確認します。

bash
$ ping -c 2 w1
$ ping -c 2 w2

/etc/hosts に書いたので、IPではなく名前で届きます。 ここで届かないなら、IPの設定かVMのネットワーク設定を見直してください。 クラスタを組んでも動きません。

[スクリーンショット: 02_3台のホスト名とIP.png] 3つのSSHウィンドウを並べて、それぞれ hostnamectl | grep Static と ip -4 a show ens33 | grep inet を実行し、cp1/w1/w2 と .50/.51/.52 が別々になっているところを撮ってください。


④ kubeadm init でクラスタを作る

ここから、cp1 だけで打ちます。

cp1 で:

bash
$ sudo kubeadm init \
    --apiserver-advertise-address=192.168.226.50 \
    --pod-network-cidr=10.244.0.0/16
オプション意味
--apiserver-advertise-address他のノードに「私はこのIPだ」と伝える。書かないと別のNICを選ぶことがある
--pod-network-cidrPod に配るIPの範囲。この後入れる Flannel が 10.244.0.0/16 を前提にしている

10.244.0.0/16 は、VMのIPとは全く別の世界のアドレスです。 192.168.226.x はVMに付くIP、10.244.x.x はPod に付くIP。混ぜないでください。 前回 minikube で 192.168.49.2 に繋がらなくて詰まった話と同じ構図で、層が1つ増えるとまた踏みます。

数分かかります。 出力の最後に、必ず控えておくべきものが出ます。

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.226.50:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:1234....(長い文字列)

最後の kubeadm join ... の行を、メモ帳などにコピーしておいてください。 あとで w1 と w2 で使います。 この記事に書いてある abcdef... や sha256:1234... は例です。あなたの値は違います。 そのまま打っても通りません。 消してしまっても大丈夫です。 あとで作り直す方法を書きます。

kubectl を、自分のユーザーで使えるようにする

出力の指示どおりに打ちます。cp1 で:

bash
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config
部分意味
admin.confクラスタへの接続情報と、管理者の証明書が入ったファイル
$HOME/.kube/configkubectl が既定で読む場所
chown $(id -u):$(id -g)root が作ったファイルの持ち主を、自分に変える(権限の回)

admin.conf は、クラスタの全権を持つ鍵そのものです。 .env と同じ扱いで、人に見せない・Gitに入れないでください。

動くか見ます。

bash
$ kubectl get nodes
NAME   STATUS     ROLES           AGE   VERSION
cp1    NotReady   control-plane   1m    v1.33.x

NotReady は故障ではありません

ここで多くの人が「失敗した」と思って kubeadm reset してしまいます。違います。

理由を、クラスタ自身が言っています。

bash
$ kubectl describe node cp1 | grep -A 3 "Ready"
  Ready   False   ... KubeletNotReady   container runtime network not ready:
  NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error:
  cni plugin not initialized

cni plugin not initialized — CNI がまだ入っていない、と書いてあります。

Kubernetes 本体には、Pod どうしを繋ぐネットワークが含まれていません。

部分Kubernetes 本体に含まれるか
Pod を配置する / 数を保つ✅ 含まれる
Pod にIPを配り、ノードをまたいで繋ぐ❌ 含まれない。別途 CNI を入れる

「なぜ本体に入れないのか」というと、環境によって最適な繋ぎ方が違うからです。クラウドか、自宅のVMか、データセンターかで、答えが変わります。 だから差し替えられる部品にしてあります。

minikube では、これが自動で入っていました。 だから意識せずに済んでいたのです。手で組むと、この層が見えます。

CoreDNS も止まっているはずです。

bash
$ kubectl get pods -n kube-system
NAME                          READY   STATUS    RESTARTS   AGE
coredns-xxxxxxxxx-aaaaa       0/1     Pending   0          2m
coredns-xxxxxxxxx-bbbbb       0/1     Pending   0          2m
etcd-cp1                      1/1     Running   0          2m
kube-apiserver-cp1            1/1     Running   0          2m
...

Pending は「置き場所が決まらない」状態です。 ネットワークが無いので、DNS を置けません。これも CNI を入れれば直ります。

CNI(Flannel)を入れる

cp1 で:

bash
$ kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

前回と同じ kubectl apply です。 Flannel 自体が、Kubernetes の上で動く Pod として配られます。

CNI にはいくつも選択肢があります。

特徴
Flannel設定が少ない。 学習用に向く。今回はこれ
Calicoネットワークポリシー(Pod間の通信制限)が書ける。実務でよく使う
CiliumeBPF を使う新しめの実装

「どれが正解」ではありません。 今回は余計な設定を挟まないために Flannel を選びました。

しばらく待ってから、見ます。

bash
$ kubectl get pods -n kube-system --watch

kube-flannel-ds-xxxxx が Running になり、続いて CoreDNS が Pending → Running に変わります。 変わったら Ctrl + C で止めます。

bash
$ kubectl get nodes
NAME   STATUS   ROLES           AGE   VERSION
cp1    Ready    control-plane   5m    v1.33.x

Ready になりました。

さっきの NotReady から Ready に変わった原因は、CNI を入れたことだけです。 「エラーが出た → とりあえずやり直す」ではなく、「エラーメッセージを読む → 足りないものを足す」。 describe が理由を書いてくれていました。

[スクリーンショット: 03_CNIでReadyになる.png] kubectl get nodes が NotReady の画面と、Flannel 適用後に Ready になった画面を並べて撮ってください。この記事で一番「なるほど」となる場所です。


⑤ kubeadm join でワーカーを2台足す

ここは w1 と w2 で打ちます。cp1 ではありません。

まず、w1 と w2 にも ufw のポートが要ります。 ただしさっき cp1 で入れた設定は、クローンに引き継がれています。 確認だけします。

w1 で:

bash
$ sudo ufw status verbose | head -n 3
$ sudo ufw status numbered | grep -E "10250|8472|30000"

allow (routed) と、ポートの行が見えれば、そのまま使えます。

クローンの利点が、ここで出ます。 ufw の設定も containerd の設定も、1台目でやったものがそのまま入っています。

では、kubeadm init の最後に出た行を打ちます。

w1 で(sudo を付けます):

bash
$ sudo kubeadm join 192.168.226.50:6443 --token abcdef.0123456789abcdef \
      --discovery-token-ca-cert-hash sha256:1234....

上の abcdef... と sha256:1234... は例です。 自分の環境で出た値をそのまま貼ってください。

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

w2 でも、まったく同じコマンドを打ちます。

トークンを無くした / 24時間経った場合

kubeadm init が出したトークンは、既定で24時間で失効します。 無くしたときも同じ方法で作り直せます。

cp1 で:

bash
$ kubeadm token create --print-join-command

そのまま貼れる kubeadm join ... の1行が出てきます。

3台揃ったことを確認する

cp1 で:

bash
$ kubectl get nodes -o wide
NAME   STATUS   ROLES           AGE   VERSION   INTERNAL-IP
cp1    Ready    control-plane   12m   v1.33.x   192.168.226.50
w1     Ready    <none>          2m    v1.33.x   192.168.226.51
w2     Ready    <none>          1m    v1.33.x   192.168.226.52

3台が Ready。これが本物のクラスタです。

見る場所意味
ROLES が <none>ワーカーには役割の札が付いていない。異常ではありません
INTERNAL-IPさっき固定したIPが、そのまま使われています
-o wide列を増やして表示する指定。kubectl の多くのコマンドで使えます

w1 が NotReady のまま数分経つなら、ufw を疑ってください。 cp1 で kubectl describe node w1 を見て、理由を読みます。Flannel の Pod が w1 で立ち上がれていないなら、UDP 8472 か転送ポリシーです。

ワーカーで kubectl get nodes は打てません。 kubectl: The connection to the server localhost:8080 was refused と出ます。接続情報(admin.conf)が cp1 にしかないためです。これは正常な状態です。 kubectl は cp1 からだけ打つ、と決めておけば混乱しません。

[スクリーンショット: 04_3台がReady.png] cp1 で kubectl get nodes -o wide を実行し、3台とも Ready で、INTERNAL-IP が3つとも違う画面を撮ってください。


⑥ Pod を3つ配って、置き場所が分かれることを見る

cp1 で、マニフェストを書きます。

bash
$ mkdir -p ~/k8s
$ nano ~/k8s/web.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: nginx
          image: nginx:1.27
          ports:
            - containerPort: 80

前回書いたものと、ほぼ同じです。 replicas: 3 だけ意識してください。

bash
$ kubectl apply -f ~/k8s/web.yaml
$ kubectl get pods -o wide
NAME                   READY   STATUS    RESTARTS   AGE   IP           NODE
web-5d9f7c8b4-2xk9p    1/1     Running   0          30s   10.244.1.4   w1
web-5d9f7c8b4-7mq3t    1/1     Running   0          30s   10.244.2.3   w2
web-5d9f7c8b4-b8n5r    1/1     Running   0          30s   10.244.1.5   w1

NODE の列を見てください。 w1 と w2 に分かれています。

前回との違いが、この1列に全部出ています。 minikube では、3つ増やしても全部同じ1台の中でした。いまは、置き場所が2つあります。

そして、cp1 には1つも置かれていません。

bash
$ kubectl describe node cp1 | grep -i taint
Taints:  node-role.kubernetes.io/control-plane:NoSchedule

taint(テイント)は「ここには Pod を置くな」という札です。kubeadm が自動で付けます。

なぜコントロールプレーンに Pod を置かないのか。 cp1 は etcd と API サーバーを抱えた「頭脳」です。ここにアプリの Pod を詰め込んで、メモリ不足で頭脳ごと落ちたら、クラスタ全体が止まります。 壊れる場所と、直す人を分ける。 記事の最初に書いたのと同じ話が、既定の設定として最初から入っています。

Pod 間の通信を、ノードをまたいで確かめる

「置き場所が分かれた」だけでは、繋がっているとは言えません。

cp1 で:

bash
$ kubectl get pods -o wide

w1 にある Pod の名前と、w2 にある Pod のIPを控えます。

bash
$ kubectl exec -it web-5d9f7c8b4-2xk9p -- curl -s -o /dev/null -w "%{http_code}\n" 10.244.2.3
200
部分意味
kubectl exec -it <Pod名> --その Pod の中でコマンドを実行する(docker exec と同じ発想)
-w "%{http_code}"HTTPのステータスコードだけ表示する

200 が返れば、w1 の Pod から w2 の Pod へ、ノードをまたいで届いています。 これが CNI(Flannel)がやっている仕事です。物理的には別のVMなのに、Pod からは同じネットワークに見えています。

ここで固まる・応答が返らない場合は、ufw です。 UDP 8472 と DEFAULT_FORWARD_POLICY を、3台とも見直してください。

[スクリーンショット: 05_Podが2台に分かれる.png] kubectl get pods -o wide の出力で、NODE 列に w1 と w2 が混ざっているところを撮ってください。


⑦ ワーカーの電源を切って、Pod が移るのを見る

ここがこの記事の目的地です。

やることは1つだけです。

w1 の電源を、VMware から切ります。

「シャットダウン」ではなく「パワーオフ」です。 サーバーの電源ケーブルを引き抜くのと同じ扱いにします。丁寧に終了させたら、故障の再現になりません。

準備:見ながら落とす

cp1 のターミナルで、監視を始めます。

bash
$ kubectl get pods -o wide --watch

このまま流しっぱなしにします。

もう1つ cp1 のターミナルを開いて(Windows から ssh yourname@192.168.226.50 をもう一度)、ノードのほうも見ます。

bash
$ kubectl get nodes --watch

落とす

VMware Workstation で w1 を右クリック → [パワー] → [パワーオフ] を選びます。

「ゲストのシャットダウン」ではありません。 「パワーオフ」です。確認ダイアログが出たら [はい] を選びます。

すぐには移りません。約5分かかります

ここが、この実験で一番誤解される場所です。

時系列は、おおむねこうなります(既定値の場合)。

経過時間起きること
0秒w1 の電源が切れる
〜40秒まだ Ready のまま。cp1 はまだ気づいていない
約40秒〜1分w1 が NotReady になる。返事が無いことに気づいた
約1分〜6分NotReady のまま、Pod はまだ動いていることになっている
約6分(NotReady から5分後)w1 の Pod が Terminating になり、w2 に新しい Pod が作られる

「動かないじゃないか」と思って作業をやめるのは、たいていこの5分の間です。

なぜ5分も待つのか。これは怠慢ではなく、意図された設計です。

ネットワークが数十秒詰まっただけで、全部の Pod を別のノードに引っ越したらどうなるでしょうか。 サービスは、故障よりも「過剰反応」で落ちます。 「本当に死んだのか、一時的に返事がないだけか」を見極めるための猶予が、この5分です。 設定で短くもできますが、短くするほど「誤検知で引っ越す」危険が上がります。 トレードオフです。

流しっぱなしにしたターミナルを見ていてください。

kubectl get nodes --watch 側:

w1     Ready      <none>   20m   v1.33.x
w1     NotReady   <none>   21m   v1.33.x

kubectl get pods -o wide --watch 側(5分ほど後):

web-5d9f7c8b4-2xk9p   1/1   Terminating   0   22m   10.244.1.4   w1
web-5d9f7c8b4-b8n5r   1/1   Terminating   0   22m   10.244.1.5   w1
web-5d9f7c8b4-k4v2m   0/1   Pending       0    0s   <none>       <none>
web-5d9f7c8b4-k4v2m   0/1   ContainerCreating 0  1s   <none>      w2
web-5d9f7c8b4-k4v2m   1/1   Running       0    5s   10.244.2.5   w2

落ち着いたら、Ctrl + C で止めて、いまの状態を見ます。

bash
$ kubectl get nodes
$ kubectl get pods -o wide
NAME   STATUS     ROLES           AGE   VERSION
cp1    Ready      control-plane   30m   v1.33.x
w1     NotReady   <none>          25m   v1.33.x
w2     Ready      <none>          24m   v1.33.x

NAME                  READY   STATUS    RESTARTS   AGE   IP           NODE
web-5d9f7c8b4-7mq3t   1/1     Running   0          10m   10.244.2.3   w2
web-5d9f7c8b4-k4v2m   1/1     Running   0          3m    10.244.2.5   w2
web-5d9f7c8b4-p9j6w   1/1     Running   0          3m    10.244.2.6   w2

これが、minikube では絶対に見られなかったものです

起きたことを、言葉にします。

  1. サーバーが1台、予告なく落ちた
  2. クラスタが自分で気づいた(NotReady)
  3. 「3個保て」という宣言と、現実(1個)が食い違った
  4. クラスタが、生きている別のマシンに Pod を作り直した
  5. あなたは、何も打っていない

前回、「復旧の主体があなたからクラスタに移る」と書きました。 前回はそれが「1台の中」で起きていました。今回は「マシンをまたいで」起きました。 この差が、minikube と本物のクラスタの差の全部です。

ただし、正直に書いておきます。

w1 に置いてあった Pod は、落ちた瞬間から数分間、動いていませんでした。 「無停止」ではありません。 サービスを止めないためには、Service を前に置いて、生きている Pod にだけ振り分ける必要があります(前回やった Service の役割です)。 今回見たのは「壊れた分が自動で作り直される」ところまでです。「一切止まらない」ではないことは、区別してください。

[スクリーンショット: 06_ノードを落としてPodが移る.png] w1 が NotReady になっている kubectl get nodes と、Pod が全部 w2 に載っている kubectl get pods -o wide を並べて撮ってください。この記事の主役です。

元に戻す

VMware で w1 の電源を入れます。

1〜2分待って、cp1 で:

bash
$ kubectl get nodes

w1 が Ready に戻ります。 何も操作していません。起動しただけで、クラスタに復帰します。

bash
$ kubectl get pods -o wide

Pod は w2 に載ったままです。 w1 が戻っても、勝手に引っ越し直しはしません。

「3個ある」という宣言は満たされているので、クラスタとしては直す理由がありません。 偏りを直したいなら、こちらから頼みます。

bash
$ kubectl rollout restart deployment web
$ kubectl get pods -o wide

Pod が作り直され、また2台に分かれます。


つまずいたところ

kubeadm init が containerd で止まった

[ERROR CRI]: container runtime is not running

Docker と一緒に入っていた containerd を、そのまま使えると思い込んでいました。 実際は disabled_plugins = ["cri"] でCRI が無効でした。

containerd config default で作り直して解決しました。 記事では先に潰してありますが、「入っている ≠ 使える」は覚えておく価値があります。

クローンした2台が、同じIPで喧嘩した

w1 を直す前に w2 も起動してしまいました。 192.168.226.50 を名乗るマシンが3台になり、SSHが繋がったり繋がらなかったりする不安定な状態になりました。

どのVMに繋がっているのか分からないまま設定を書き換えて、cp1 のホスト名を w2 にしてしまいました。 気づくまで20分かかりました。

教訓は1つです。

クローンしたVMは、1台ずつ起動して、1台ずつ直す。

machine-id を消したら起動しなくなると思って飛ばした

「システムのIDを消す」と聞くと怖いので、最初は飛ばしました。 ホスト名とIPだけ直して、動いたので問題ないと思いました。

問題は後から出ました。 DHCPを使っている別の検証で、2台に同じIPが配られました。 DHCPサーバーは MACアドレスではなく、machine-id から作られた識別子でクライアントを見分けていたためです。

「動いているから大丈夫」が通用しない類の設定です。

w1 を落としたのに何も起きず、失敗したと思った

2分待って何も起きないので、kubeadm reset からやり直そうとしました。

正解は「あと3分待つ」でした。 既定で NotReady から5分後に Pod が退去します。

待てないなら、ノードごと消せば即座に移ります。

bash
$ kubectl delete node w1

ただし、これは「故障の再現」ではなくなります。 クラスタから明示的に外しているので、現実に起きるのは待つほうです。練習で急ぎたいときだけにしてください。 消したノードを戻すには、w1 でもう一度 kubeadm join が必要です。

kubectl をワーカーで打って繋がらなかった

The connection to the server localhost:8080 was refused

w1 で kubectl get pods と打ちました。 kubectl コマンド自体はクローンで入っているので、「あるのに動かない」という一番紛らわしい形になります。

接続情報が cp1 にしかないだけです。kubectl は cp1 から打つと決めました。

kubeadm join が「接続できません」で失敗した

ufw で 6443 を開ける前に join しました。

error execution phase preflight: couldn't validate the identity of the API Server

メッセージが「認証」の話に見えるので、トークンを疑って時間を溶かしました。 実際は、そもそも通信が届いていません。

切り分けは、こうします。

w1 で:

bash
$ nc -zv 192.168.226.50 6443

succeeded と出なければ、トークンの問題ではありません。 「繋がらない」を4段階で切り分ける回の「そもそも届いているか」を先に見る、という話がそのまま当てはまります。


後片づけ

VM3台は、放っておくと確実に効いてきます。 メモリ8GB、ディスク30GB前後です。

① しばらく使わないだけなら、VMを止める

3台とも、中から丁寧に落とします。

w1 / w2 / cp1 それぞれで:

bash
$ sudo shutdown -h now

クラスタはそのまま残ります。 次に起動したとき、cp1 → w1 → w2 の順に立ち上げれば、そのまま使えます。 cp1 を先に起動してください。 頭脳が居ないと、ワーカーは参加先がありません。

メモリは全部返ってきます。ディスクはそのままです。

② クラスタだけ解体して、VMは残す

w1 と w2 で(ワーカーから先に):

bash
$ sudo kubeadm reset -f
$ sudo rm -rf /etc/cni/net.d

次に cp1 で:

bash
$ kubectl delete node w1
$ kubectl delete node w2
$ sudo kubeadm reset -f
$ sudo rm -rf /etc/cni/net.d $HOME/.kube
コマンド意味
kubeadm reset -fkubeadm が作ったものを消す。-f は確認を省く
rm -rf /etc/cni/net.dCNI の設定が残るので、手で消す(reset では消えません)
rm -rf $HOME/.kube接続情報を消す

kubeadm reset は、iptables の規則を全部は消しません。 出力にもそう書かれます。同じVMで組み直すつもりなら、再起動しておくのが確実です。

③ ディスクごと返す(w1 と w2 を消す)

VMware で w1 を右クリック → [管理] → [ディスクから削除]。w2 も同じです。

[ライブラリから削除] ではなく [ディスクから削除] です。 前者は一覧から消えるだけで、ファイルは残ったままです。VMを29台溜めた回の「消していない」は、これが原因でした。

cp1 は、いま使っているVMそのものです。消さないでください。

④ スナップショットに戻す(一番きれいな戻し方)

記事の最初に取ったスナップショットがあるなら、これが確実です。

  • cp1 を、記事の冒頭で取ったスナップショットに戻す(ホスト名も web01 に戻ります)
  • w1 と w2 は、ディスクから削除する

ufw の設定も、containerd の設定も、まとめて元通りになります。

戻したあと、sudo ufw status verbose で deny (routed) に戻っていることを確認してください。 緩めたものを戻したか確認する、までが後片づけです。

使用量を確認する

Windows の PowerShell で:

PowerShell
PS> Get-CimInstance Win32_LogicalDisk -Filter "DeviceID='C:'" |
PS>   Select-Object @{n='FreeGB';e={[math]::Round($_.FreeSpace/1GB,1)}}

始める前に測った数字と比べてください。 測って始めて、測って終わるのはスペックの回からずっと同じです。


まとめ

  • minikube と本物のクラスタの差は「台数」ではなく、「壊れる場所」と「直す人」が分かれているかどうか
  • cp1 が落ちたら、今回の構成でも復旧できない。 本番はコントロールプレーンも複数にする(HA構成)
  • VMは「共通の下ごしらえを済ませてからクローン」。 ただし kubeadm init は絶対にクローン前にやらない
  • クローンで重複するものは3つ。 machine-id / ホスト名 / SSHホスト鍵。IPだけ直しても足りない
  • machine-id は truncate -s 0 で空にする。 消すのではなく空にするのが正しい直し方
  • クローンしたVMは、1台ずつ起動して1台ずつ直す。 同時に起動すると同じIPで衝突する
  • Docker と一緒に入る containerd は、CRI が無効。 containerd config default で作り直し、SystemdCgroup = true にする
  • kubelet は、クラスタに参加するまで失敗を繰り返す。 それが正常
  • apt-mark hold で kubelet を固定する。 「全部自動で最新」が正しくない場面がある
  • CNI を入れるまで Node は NotReady。 これは故障ではなく未完成。kubectl describe node が理由を書いている
  • Kubernetes 本体に、Pod 間ネットワークは含まれていない。 環境ごとに差し替える部品だから
  • ufw は、ポートを開けるだけでは足りない。 DEFAULT_FORWARD_POLICY="ACCEPT" にしないと Pod 間通信が落ちる
  • Flannel の VXLAN は UDP 8472。 TCP で開けても通らない
  • コントロールプレーンには taint が付いていて、Pod が置かれない。 これも「壊れる場所と直す人を分ける」の一形態
  • ノードが落ちてから Pod が移るまで、既定で約5分。 過剰反応で引っ越さないための、意図された猶予
  • 落ちたノードの Pod は、生きているノードに作り直される。 ただしその数分間、その Pod は動いていない。「無停止」ではない
  • ノードが復帰しても、Pod は勝手に戻らない。 宣言(3個)は満たされているから。偏りは kubectl rollout restart で直す

参考リンク


次に読む

この記事は 【第6段階】インフラとコンテナ の 7 / 25 本目です。

記事
← 前の記事Kubernetesは「状態を宣言する」 — minikube入門
→ 次の記事壊れても直り、止めずに更新 — Kubernetesの到達作品

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps/Kubernetes›Container Orchestration
  • Kubernetes(kubeadm で複数ノード)
  • CNI(ネットワークアドオン)
  • ノード障害時の再スケジュール

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次