StatefulSetでDBを載せる — 3つに増やしたら壊れた

DBをそのまま3つに増やすと壊れます。StatefulSetが何を保証しているのかを確かめます。

前回: PV・PVC・StorageClass — Podを作り直すとデータが消える

これは深掘りです。本線の順路ではありません。 本線の Kubernetesは「状態を宣言する」 — minikube入門 と 1台落としてもPodは移る — kubeadmで組む3台クラスタ を読んで、アプリは Kubernetes に載せられるようになった人が、「データベースも同じように載せていいのか」で止まったときに読む記事です。飛ばしても本線は進みます。

この記事のコマンドは、すべて Ubuntu Server(VM)の中で打ちます。 Windows の PowerShell ではありません。 プロンプトが ユーザー名@ホスト名:~$ の形になっていれば、Linux の中にいます。 minikube が起動していて、kubectl get nodes が Ready を返す状態から始めます。返らない場合は本線の minikube入門 に戻ってください。 メモリに余裕が必要です。 この記事の後半で MySQL を動かします。minikube に 2GB 以上割り当ててある VMでないと、途中で落ちます(対処は「つまずいたところ」に書きました)。

対象レベル: 中級〜上級 / 区分: 発展

目次

レプリカ数を3にしたら、データベースが壊れた

アプリの Pod を3つに増やすのは、replicas: 3 と書くだけでした。同じことをデータベースにもやりました。

kubectl scale deployment mydb --replicas=3

3つ立ち上がりました。 ここまでは成功したように見えます。ところが、しばらく使っているうちに、こうなりました。

  • 書き込んだはずのデータが、次に読むと無い(あったり、無かったりする)
  • ログに InnoDB: Unable to lock ./ibdata1 のような、保存先を他の誰かが掴んでいるという趣旨のエラーが出る
  • Pod を1つ消して作り直したら、そのPodの中身が空になっていた

3つに増やしたのに、3つとも同じ1つの保存先を見に行っていたのが原因でした。データベースは「自分だけがこのファイルを触る」前提で書かれているので、3つのプロセスが同じファイルを同時に開いた時点で壊れます。

そして、保存先を分ければ解決するかというと、そうでもありません。分けたら分けたで、3つがバラバラのデータを持つようになります。書き込んだ Pod にたまたま当たれば見えて、別の Pod に当たれば見えない、という状態です。

アプリと同じ増やし方では、データベースは増やせません。

この記事は「なぜ増やせないのか」を分解して、Kubernetes 側が用意した答え(StatefulSet)がどこまで解いてくれるのかを確かめる回です。そして最後に、「では、データベースを Kubernetes に載せるべきなのか」に自分なりの答えを出します。

この記事でわかること

  • Deployment の Pod は、どれも区別が無いこと。名前の後ろがランダムなのは飾りではなく、「どれでも同じだから、どれを消してもいい」という設計の表明であること
  • volumeClaimTemplates は「PVCのひな形」であること。volumes: に PVC を1つ書くのとは意味が違い、Pod ごとに別の PVC が作られること
  • StatefulSet の Pod を消しても、同じ名前・同じ PVC で戻ってくること。逆に言えばPodの名前が「住所」として使えるようになること
  • headless Service(clusterIP: None)は負荷分散をしないこと。代わりに demo-0.demo のような、Podを名指しするDNS名が生えること。これがレプリケーションで「書き込み役はどれか」を固定するのに効くこと
  • StatefulSet はレプリケーションを設定してくれないこと。フェイルオーバーもしてくれないこと。やってくれるのは「名前と保存先を固定すること」だけであること
  • StatefulSet を消しても PVC は残ること。これは事故防止の仕様で、放っておくとディスクが減り続けること

この記事でやること

  1. Deployment でデータベースを増やすと何が起きるかを、4つの観点に分けて表で整理する
  2. StatefulSet を1本書いて kubectl apply し、Pod の名前が demo-0 demo-1 demo-2 に固定されること、PVC が3つ別々に作られることを確認する
  3. demo-1 をわざと消して、同じ名前・同じ PVC・同じ中身で戻ってくるところを見る
  4. headless Service を足して、一時的な Pod から demo-0.demo を名指しで引けることを確認する
  5. podManagementPolicy を Parallel に変えて、起動の順番が実際に変わるのを見る
  6. MySQL を StatefulSet で1つだけ動かし、データを入れて、Pod を消して、残っていることを確かめる
  7. PVC まで含めて全部片づける

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
ステートフル消えては困るデータを自分の中に持っている状態のこと。データベースが代表例
ステートレス消えても困るデータを持っていない状態。落ちたら作り直せばいい。Webアプリの多くはこちら
StatefulSetステートフルなものを動かすための道具。Podに固定の名前と、固定の保存先を与える
序数(じょすう)demo-0 の 0 の部分。0から始まる連番で、StatefulSet が Pod に振る
volumeClaimTemplatesPVCのひな形。StatefulSet が Pod を1つ作るたびに、この形の PVC を1つ作る
PVC保存領域の申込書。「1GiB ください」と書いて出すと、実体の保存領域が割り当てられる
headless ServiceclusterIP: None と書いた Service。代表アドレスを持たず、代わりにPodを名指しできるDNS名を作る
podManagementPolicyPod を1つずつ順番に起動するか、まとめて同時に起動するかの設定
フェイルオーバー動いている側が落ちたときに、控えの側を昇格させて仕事を引き継がせること
Operator「この製品はこう運用する」という手順書をプログラムにしたもの。Kubernetes の中で常駐して面倒を見る

Deployment では、何がまずいのか

先に整理します。「なんとなくダメ」ではなく、まずい点は4つあります。

観点Deployment だとどうなるかそれの何が困るのか
Podの区別名前が mydb-7d9f8c6b4-x2k9p のようにランダム。作り直すたびに変わる「1番目のDB」を名指しできない。誰が親で誰が控えかを決められない
保存先volumes: に PVC を1つ書くと3つのPodが同じ保存先を共有。書かなければ各自バラバラで、消えたら終わり共有すればファイルを奪い合って壊れる。分ければデータが揃わない。どちらも破綻する
起動順保証されない。3つ同時に立ち上がる「まず親を立ててから、控えを繋ぐ」ができない。初期化が3重に走る
停止順保証されない。順不同で落ちる親から先に落ちると、控えが中途半端な状態で取り残される

注目してほしいのは、これが Deployment の欠陥ではないことです。 Deployment は「Podはどれも同じで、いつ消してもいい」という前提で作られています。だから名前をランダムにするし、順番も気にしません。その前提が、データベースにだけ当てはまらないというだけの話です。

だから Kubernetes は、別の道具を用意しました。それが StatefulSet です。

StatefulSet を作って、名前とPVCを見る

いきなり MySQL を動かすと、うまくいかなかったときに「StatefulSet の問題か、MySQL の問題か」が分かりません。 先に、中身が無いに等しい小さなもので、StatefulSet の性質だけを確かめます。

練習用のフォルダを作ります。

bash
$ mkdir -p ~/k8slab/statefulset
$ cd ~/k8slab/statefulset
$ pwd

確認: pwd が /home/ユーザー名/k8slab/statefulset と返れば準備完了です。

マニフェストを書く

bash
$ nano demo.yaml

このファイルの全文です。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo
spec:
  serviceName: demo
  replicas: 3
  selector:
    matchLabels:
      app: demo
  template:
    metadata:
      labels:
        app: demo
    spec:
      terminationGracePeriodSeconds: 5
      containers:
        - name: app
          image: busybox:1.36
          command:
            - sh
            - -c
            - "echo start $(hostname) >> /data/log.txt; sleep 3600"
          volumeMounts:
            - name: data
              mountPath: /data
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 100Mi

Deployment と違うのは、この2箇所だけです。

書いた行何をしているか
serviceName: demo後で作る headless Service の名前を指定している。DNS名の後半になる
volumeClaimTemplates:PVCのひな形。volumes: ではないことに注意。Podが1つ増えるたびに、この形の PVC が1つ作られる

volumes: と volumeClaimTemplates: は、名前が似ているだけでまったく別物です。

  • volumes: に PVC を書く → 全部の Pod がその1つの PVC を共有する(=冒頭で壊れたやつ)
  • volumeClaimTemplates: → Pod ごとに1つずつ PVC が作られる

適用して、名前を見る

bash
$ kubectl apply -f demo.yaml
$ kubectl get pod -w

-w は、変化があるたびに行が増えていく表示です。3つ揃ったら Ctrl + C で抜けます。

NAME     READY   STATUS    RESTARTS   AGE
demo-0   1/1     Running   0          8s
demo-1   1/1     Running   0          5s
demo-2   1/1     Running   0          2s

demo-0 demo-1 demo-2。ランダムな文字列がありません。 そして -w で見ていると、0 が立ち上がりきってから 1、その次に 2 と、1つずつ順番に立ち上がったはずです。同時ではありません。

[スクリーンショット: 01_statefulset_pod名.png] kubectl get pod の結果を撮ってください。demo-0 から demo-2 まで、連番の名前が並んでいるところが写っていれば大丈夫です。

PVC が3つできていることを確かめる

ここが StatefulSet の核心です。

bash
$ kubectl get pvc
NAME          STATUS   VOLUME       CAPACITY   ACCESS MODES   AGE
data-demo-0   Bound    pvc-3f1a...  100Mi      RWO            40s
data-demo-1   Bound    pvc-9c72...  100Mi      RWO            37s
data-demo-2   Bound    pvc-1b08...  100Mi      RWO            34s

data-demo-0 data-demo-1 data-demo-2 の3つ、別々にできています。

名前の付き方は <volumeClaimTemplates の名前>-<StatefulSet名>-<序数> です。この命名規則が、あとで「Podが戻ってきたときに同じ保存先を掴む」仕掛けそのものになります。Kubernetes は名前で探して繋ぎ直しているだけです。

[スクリーンショット: 02_pvc一覧.png] kubectl get pvc の結果を撮ってください。PVC が Pod と同じ数だけ、連番で並んでいるところが要点です。

中身が本当に別物か、書き込んで確かめる

各 Pod は起動時に /data/log.txt に自分のホスト名を書いています。中を見ます。

bash
$ kubectl exec demo-0 -- cat /data/log.txt
$ kubectl exec demo-1 -- cat /data/log.txt

demo-0 には start demo-0 だけ、demo-1 には start demo-1 だけが入っているはずです。混ざっていません。 保存先が本当に分かれている証拠です。

さらに、demo-1 にだけ目印を足します。

bash
$ kubectl exec demo-1 -- sh -c "echo hello-from-1 >> /data/log.txt"
$ kubectl exec demo-1 -- cat /data/log.txt

Pod を消して、戻ってくるところを見る

ここが「Deployment と決定的に違う」ところです。

bash
$ kubectl delete pod demo-1
$ kubectl get pod

しばらくすると、また demo-1 という名前で立ち上がります。ランダムな別名にはなりません。

そして中身を見ます。

bash
$ kubectl exec demo-1 -- cat /data/log.txt
start demo-1
hello-from-1
start demo-1

さっき書いた hello-from-1 が残っています。 3行目は、作り直された Pod が起動時にもう一度書いた分です。

つまり、こういうことが起きています。

demo-1 を消す
   ↓
StatefulSet が「1番が足りない」と気づく
   ↓
同じ名前 demo-1 で作り直す
   ↓
名前が同じなので、data-demo-1 という PVC を探して繋ぎ直す
   ↓
中身が残ったまま復活する

Deployment だと、この「探して繋ぎ直す」が成立しません。 名前が毎回変わるので、どのPVCが誰のものだったかを決める手がかりが無いからです。

headless Service で、Podを名指しする

名前が固定されました。次は「その名前でネットワーク越しに繋げるか」です。

普通の Service は、アクセスすると裏側の Pod のどれかに振り分けます。 これはアプリには嬉しいのですが、データベースには困ります。「書き込みは必ず0番へ」と決めたいのに、どれに当たるか分からないからです。

そこで headless Service を使います。

bash
$ nano demo-svc.yaml

このファイルの全文です。

apiVersion: v1
kind: Service
metadata:
  name: demo
spec:
  clusterIP: None
  selector:
    app: demo
  ports:
    - port: 80
      name: dummy

clusterIP: None の1行だけが特別です。 これを書くと、Service は自分の代表アドレスを持ちません。 代わりに、配下の Pod 1つずつに DNS名が生えます。

bash
$ kubectl apply -f demo-svc.yaml
$ kubectl get svc demo

CLUSTER-IP の列が None になっていれば正解です。ここに IP が入っていたら、clusterIP: None が効いていません。

実際に名前を引いてみる

クラスタの中からでないと引けません。 使い捨ての Pod を1つ立てて、そこから確認します。

bash
$ kubectl run dnstest --rm -it --image=busybox:1.36 --restart=Never -- sh

プロンプトが / # に変わります。ここからはコンテナの中です。

bash
$ nslookup demo-0.demo

demo-0 の IP が返ってきます。 同じように demo-1.demo demo-2.demo も引けます。

一方、Service 名そのものを引くと、こうなります。

bash
$ nslookup demo

3つ全部の IP が返ります。 代表アドレスが1つ返るのではなく、Podの一覧が返るのが headless の挙動です。

抜けます。

bash
$ exit

--rm を付けたので、dnstest は抜けた時点で自動的に消えます。

正式な名前は、もっと長い

demo-0.demo は省略形です。正式にはこうなっています。

demo-0.demo.default.svc.cluster.local
 ↑      ↑     ↑       ↑
 Pod名  Service名  名前空間  クラスタ内のドメイン

同じ名前空間の中からなら短い形で届きますが、別の名前空間から呼ぶときは長い形が要ります。 設定ファイルに書くときは長い形で書くほうが安全です。

これがレプリケーションの何に効くのか

本線の 書いた直後に読むと無い — レプリケーションとCAP で、MySQL を2台立ててレプリケーションを組みました。あのときの設定で、控え側にこう書いたはずです。

「書き込み役のホスト名はこれです」

あそこが、Kubernetes では成立しなくなります。 Deployment で立てた Pod は名前が毎回変わるので、設定ファイルに書いたホスト名が、次の再起動で嘘になるからです。

StatefulSet + headless Service で、そこが解けます。

レプリケーションで必要なこと解決するもの
書き込み役を名指しできるheadless Service の mysql-0.mysql
その名前が再起動後も変わらないStatefulSet の固定された序数
各台が自分のデータを持つvolumeClaimTemplates
親から順に立ち上がるOrderedReady(次の節)

レプリケーションの回では、この4つを Docker Compose の側で人力で用意していました。 Kubernetes ではそれが道具として用意されている、という関係です。

ただし、用意されるのはここまでです。 実際に CHANGE REPLICATION SOURCE TO ... を打つのは自分です。これは後半でもう一度出てきます。

起動と停止の順序を決める

さっき -w で見たとおり、StatefulSet は既定で1つずつ順番に起動します。この既定値の名前が OrderedReady です。

設定起動停止
OrderedReady(既定)0 → 1 → 2。前のPodが Ready になるまで次を作らない2 → 1 → 0。番号の大きいほうから落とす
Parallel全部いっぺんに作る全部いっぺんに落とす

OrderedReady が既定なのには理由があります。 データベースのレプリケーションは、「親が動いていること」が控えを立てる前提です。順不同で立ち上げると、控えが親を探しに行ったときにまだ居ない、という事故が起きます。

逆に、順番が要らないのに OrderedReady のままだと遅くなります。 10台あれば、10台目が立ち上がるまで9回待つことになります。

実際に変えて見る

bash
$ nano demo.yaml

replicas: 3 の下に、1行足します。

spec:
  serviceName: demo
  replicas: 3
  podManagementPolicy: Parallel

一度消してから作り直します。podManagementPolicy は、後から変更できない項目だからです。

bash
$ kubectl delete statefulset demo
$ kubectl apply -f demo.yaml
$ kubectl get pod -w

今度は3つが同時に Pending になり、同時に立ち上がります。 さっきのような「0が Running になってから1が現れる」順番は消えます。

注意: kubectl delete statefulset で Pod は消えますが、PVC は消えません。 だから作り直した demo-0 は、さっきの続きの log.txt を持って戻ってきます。 これは後片づけの節でもう一度扱います。

確認できたら、この小さいほうは片づけます。

bash
$ kubectl delete -f demo.yaml
$ kubectl delete -f demo-svc.yaml
$ kubectl delete pvc data-demo-0 data-demo-1 data-demo-2
$ kubectl get pvc

No resources found と返れば、きれいに消えています。

MySQL を1つ、StatefulSet で動かす

ここからメモリを使います。 先に空きを確認してください。

bash
$ free -h

available の列が 1.5GB 未満なら、この節は飛ばしてください。 MySQL が起動途中で強制終了され、CrashLoopBackOff を延々繰り返すことになります(対処は「つまずいたところ」に書きました)。

今回は1台だけ動かします。 レプリケーションは組みません。理由は後で書きます。

bash
$ cd ~/k8slab/statefulset
$ nano mysql.yaml

このファイルの全文です。 Service と StatefulSet を --- で1ファイルにまとめています。

apiVersion: v1
kind: Service
metadata:
  name: mysql
spec:
  clusterIP: None
  selector:
    app: mysql
  ports:
    - port: 3306
      name: mysql
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql
spec:
  serviceName: mysql
  replicas: 1
  selector:
    matchLabels:
      app: mysql
  template:
    metadata:
      labels:
        app: mysql
    spec:
      terminationGracePeriodSeconds: 30
      containers:
        - name: mysql
          image: mysql:8.4
          env:
            - name: MYSQL_ROOT_PASSWORD
              value: "labpassword"
            - name: MYSQL_DATABASE
              value: "k8slab"
          ports:
            - containerPort: 3306
              name: mysql
          resources:
            requests:
              memory: "512Mi"
              cpu: "200m"
            limits:
              memory: "1Gi"
          volumeMounts:
            - name: data
              mountPath: /var/lib/mysql
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 2Gi

パスワードをマニフェストに直接書いています。これは練習用だからです。 本番でこの書き方をすると、マニフェストを見られた時点でパスワードが漏れます。 実際には Secret に入れて参照します。この記事では扱いません。

mountPath の /var/lib/mysql は、MySQL がデータの実体を置く場所です。ここを PVC にしていることが、この記事の全部です。

bash
$ kubectl apply -f mysql.yaml
$ kubectl get pod -w

イメージのダウンロードに数分かかります。 Running かつ 1/1 になるまで待ちます。途中の ContainerCreating は正常です。

うまく立ち上がらないときは、まず理由を見ます。

bash
$ kubectl describe pod mysql-0 | tail -20
$ kubectl logs mysql-0 --tail=30

データを入れる

bash
$ kubectl exec -it mysql-0 -- mysql -uroot -plabpassword k8slab

mysql> というプロンプトに変わります。ここからは SQL です。

CREATE TABLE memo (id INT AUTO_INCREMENT PRIMARY KEY, body VARCHAR(100));
INSERT INTO memo (body) VALUES ('Podを消しても残るか');
SELECT * FROM memo;

1行返ってくることを確認したら、抜けます。

exit

Pod を消して、残っているか見る

ここが本番です。

bash
$ kubectl delete pod mysql-0
$ kubectl get pod -w

同じ mysql-0 という名前で立ち上がってきます。 1/1 Running になったら、もう一度入ります。

bash
$ kubectl exec -it mysql-0 -- mysql -uroot -plabpassword k8slab
SELECT * FROM memo;

さっき入れた行が、そのまま返ります。

+----+-----------------------------+
| id | body                        |
+----+-----------------------------+
|  1 | Podを消しても残るか          |
+----+-----------------------------+
exit

[スクリーンショット: 03_mysql_データ残存.png] Pod を消したあとの SELECT * FROM memo; の結果を撮ってください。行が残っていることが分かれば大丈夫です。

確かめたのは、この一点です。

コンテナは消えた。でもデータは消えなかった。

本線の プロセスを止めても消えない場所 — MySQLとSQLの基本 でやったことが、Kubernetes の上でも同じように成立している、という確認です。

StatefulSet でも解けないこと

ここまでで、こう思いたくなります。

「じゃあ replicas: 3 にすれば、レプリケーションされた MySQL が3台できるのでは?」

なりません。 できるのは 「独立した MySQL が3台」 です。お互いのことを何も知らない3台が並んでいるだけです。

Kubernetes がやってくれないことを、正直に並べます。

やりたいことKubernetes は誰がやるか
Podに固定の名前を付けるやってくれるStatefulSet
Podごとに保存先を用意するやってくれるvolumeClaimTemplates
順番に起動するやってくれるOrderedReady
1番目を親、2番目以降を控えにするやってくれない自分
CHANGE REPLICATION SOURCE TO を打つやってくれない自分
親が落ちたとき、控えを親に昇格させるやってくれない自分
昇格したあと、アプリの接続先を切り替えるやってくれない自分

下の4つが全部残ります。 そして、下の4つのほうが難しいのです。

特にフェイルオーバーは厄介です。「親が落ちた」と判断するのは誰か。ネットワークが一瞬切れただけなのに落ちたと判断して控えを昇格させると、親が2つになります。 両方に書き込みが入って、後から手で直せない状態になります。

Kubernetes の再起動機能は、ここでは味方になりません。 Pod が落ちれば Kubernetes は作り直しますが、作り直された Pod がレプリケーションのどの役だったかは誰も覚えていないからです。

だから Operator がある

この「製品ごとの運用知識」を、プログラムにして Kubernetes の中に常駐させたものが Operator です。名前と役割だけ挙げます。

名前何のOperatorか
MySQL Operator for KubernetesOracle が出している MySQL 用。レプリケーションの構成と昇格を面倒見る
CloudNativePGPostgreSQL 用。バックアップと切り替えまで含む
VitessMySQL を大量に並べて分割するための基盤。Operator として動く

この記事では入れません。 Operator を入れると、「Kubernetes の話」と「その製品の運用の話」が同時に来て、どちらで詰まったか分からなくなるからです。まず素の StatefulSet で「どこまでが Kubernetes の仕事か」を切り分けるのが、この記事の目的でした。

結論:データベースを Kubernetes に載せるべきか

ここまでやったうえでの、正直な判断を書きます。

個人の学習と、開発用の使い捨て環境なら、載せていい。 本番で、消えたら困るデータを預けるなら、マネージドを使うほうが楽。

理由は「難しいから」ではありません。 難しさの中身がこうだからです。

項目Kubernetes に自分で載せるマネージド(RDS など)
バックアップ自分で仕組みを作る。取れているかの確認も自分チェックを入れる
復元の練習自分でやる(やらないと本番で初めて試すことになる)画面から時刻を指定
バージョン上げ自分で手順を組む。失敗したときの戻しも自分ボタン
フェイルオーバー自分か、Operator に任せる。任せた先の挙動も学ぶ必要がある自動
落ちたときに起きること自分で全部解く問い合わせ先がある

上4つは「やればできる」ものです。問題は一番下です。 本番のデータベースが壊れたとき、復旧の手順を自分しか知らないという状態は、個人開発では特にきついです。

本線の EKSでも消えない仕事がある — 自作クラスタとの違い で、「マネージドにしても消えない仕事がある」と書きました。データベースは、その逆の例です。マネージドにすると、本当に消える仕事がある。

ただし、この記事の作業が無駄だったわけではありません。

  • マネージドを選ぶときも、中で何が起きているかは知っている必要がある(マルチAZの切り替え中に何が起きるか、など)
  • 開発環境のデータベースは、むしろ Kubernetes に載せたほうが楽(本番と同じマニフェストで、壊しても困らない)
  • 「載せない」という判断を、理由を言って説明できるようになるのが今日の成果

知らないから避けるのと、知ったうえで選ばないのは、別のことです。

つまずいたところ

mysql-0 が Pending のまま動かない

bash
$ kubectl describe pod mysql-0 | tail -20

末尾の Events を読みます。pod has unbound immediate PersistentVolumeClaims と出ていたら、PVC 側の問題です。

bash
$ kubectl get pvc
$ kubectl describe pvc data-mysql-0 | tail -10

Pending のままなら、保存領域を割り当てる仕組みが動いていません。 minikube なら、これで有効になっているはずです。

bash
$ minikube addons list | grep storage

storage-provisioner が enabled でなければ、有効にします。

bash
$ minikube addons enable storage-provisioner

CrashLoopBackOff を繰り返す

私の場合、これはメモリでした。

bash
$ kubectl describe pod mysql-0 | grep -i -A2 "Last State"

Reason: OOMKilled と出ていれば、メモリ不足で殺されています。 マニフェストの limits.memory を 1Gi から上げるか、VM 側のメモリを増やして minikube を立て直します。

bash
$ minikube delete
$ minikube start --memory=3072 --cpus=2

minikube delete はクラスタごと消えます。 中に残しておきたいものが無いか確認してから打ってください。

メモリ以外の原因なら、ログに理由が書いてあります。

bash
$ kubectl logs mysql-0 --previous --tail=30

--previous は「1つ前の、落ちたコンテナのログ」です。今動いているコンテナのログを見ても、落ちた理由は入っていません。 ここで15分ほど無駄にしました。

demo-0.demo が引けない

nslookup が server can't find を返す場合、原因はだいたい3つです。

  1. Service を作っていない、または名前が違う。StatefulSet の serviceName: と、Service の metadata.name: は同じ文字列でなければいけません
  2. clusterIP: None を書き忘れている。kubectl get svc で CLUSTER-IP の列を見ます
  3. クラスタの外から引こうとしている。VM のシェルから直接 nslookup しても引けません。中に Pod を立てて、そこから引きます

私は 1 でした。StatefulSet 側を serviceName: demo-svc、Service 側を name: demo とバラバラに書いていて、Pod ごとの DNS名が生えていませんでした。エラーは出ません。黙って引けないだけなので、気づくのに時間がかかりました。

StatefulSet を消したのに、ディスクが減らない

これは仕様です。 kubectl delete statefulset は PVC を消しません。

事故防止のためです。 消えたら困るデータのために作った仕組みが、StatefulSet を1回消しただけでデータまで消すなら、意味がありません。だからPVC は明示的に消すまで残ります。

同じ理由で、replicas を3から1に減らしても、2番と3番の PVC は残ります。 また3に戻せば、中身が入ったまま戻ってきます。便利な反面、忘れると容量を食い続けます。

bash
$ kubectl get pvc

片づけたつもりのものが並んでいたら、消し忘れです。

後片づけ

PVC まで消さないと終わりません。 順番に消します。

bash
$ kubectl delete -f mysql.yaml
$ kubectl get pvc

StatefulSet と Service は消えていますが、data-mysql-0 が残っています。

bash
$ kubectl delete pvc data-mysql-0
$ kubectl get pvc

No resources found in default namespace. と返れば完了です。

練習用の小さいほうも残っていないか、あわせて確認します。

bash
$ kubectl get statefulset
$ kubectl get svc
$ kubectl get pod

svc に kubernetes だけが残っているのは正常です。あれはクラスタ自身のものなので消しません。

ファイルも要らなければ消します。

bash
$ rm -rf ~/k8slab/statefulset

minikube ごと止めておく場合はこれです。

bash
$ minikube stop

stop は中身を残したまま止めるだけです。delete と違って、次に minikube start すれば元に戻ります。

まとめ — 理解できたこと

  • Deployment の Pod に名前が無い(ランダムである)のは、手抜きではなく設計だった。「どれも同じ」という前提を表明していて、データベースだけがその前提から外れる
  • volumeClaimTemplates と volumes は別物。前者はひな形で、Pod ごとに PVC を作る。後者は1つの PVC を全員で共有する。冒頭で壊れたのは後者を使ったから
  • StatefulSet が固定するのは、名前と保存先と順序の3つ。Pod を消しても demo-1 は data-demo-1 を掴んで戻ってくる。名前で探して繋ぎ直しているだけの、素朴な仕組み
  • headless Service(clusterIP: None)は、負荷分散をやめる代わりに Pod を名指しできるDNS名をくれる。 これで、レプリケーションで必要な「書き込み役はこのホスト」が再起動をまたいで嘘にならなくなる
  • OrderedReady が既定なのは、控えを立てる前に親が動いている必要があるから。 順番が要らないなら Parallel にすれば速くなる
  • それでも、レプリケーションの設定とフェイルオーバーは自分の仕事として残る。 Kubernetes は器を用意するだけで、製品ごとの運用知識は持っていない。だから Operator という層がある
  • 結論として、本番のデータベースはマネージドを使うほうが楽。ただしそれは「知らないから避ける」のとは違う。中で何が起きるか分かったうえで、手放す仕事を選んでいる

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 8 / 15 本目です。

記事
← 前の記事PV・PVC・StorageClass — Podを作り直すとデータが消える
→ 次の記事requestsとlimits — Pendingのまま動かない

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Stateful Applications
  • StatefulSet と headless Service
  • Kubernetes が解いてくれないこと

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次