HPAでオートスケール — TARGETSがunknownのまま

ここまでで、台数を変える方法は分かっていました。replicas を書き換えて apply する。急ぐときは kubectl scale で今すぐ変える。どちらも「人が決めて、人が打つ」やり方です。

前回: 無停止アップデートとProbe — 更新中に502が出る

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこで「必要な数だけ動かす」と一言で書いたところを、その「必要な数」を誰がどう決めているのかまで下げて見る回です。

この記事のコマンドは、すべて VM の中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。 前提: 本線の minikube入門 を終えて、kubectl get node が返ること。 深掘りの Deployment の回・Service の回・リソース制限の回 を先に読んでいる前提で書きます。 この回の前に、VM のスナップショットを取ってください。 わざと CPU を振り切らせるので、VM が数分間もたつきます。

人が寝ている間にアクセスが増えたらどうするのか。 それを機械にやらせるのが HPA(HorizontalPodAutoscaler) です。読み方どおり「横方向に自動で伸縮するもの」で、Pod の数を勝手に増やしたり減らしたりします。

説明を読んで、その場で作りました。

bash
$ kubectl autoscale deployment web --cpu-percent=50 --min=1 --max=10
$ kubectl get hpa
NAME   REFERENCE        TARGETS        MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   <unknown>/50%   1         10        1          30s

<unknown> のまま、5分待っても変わりませんでした。 エラーも出ません。kubectl get hpa は毎回きれいに表示され、ただ現在値の欄だけが <unknown> です。

しばらく「HPA が壊れている」と思って HPA 側を疑っていましたが、違いました。

HPA は、自分では何も測っていません。 「いま CPU をどれだけ使っているか」を誰かに聞きに行き、その答えを見て数を決めるだけです。

<unknown> は「答えてくれる人がいない」という意味でした。そして答えてくれる人がいない理由は2つあり、私は両方踏みました。

  1. 測る係(metrics-server)がクラスタに居ない
  2. 測れても、割合を出すための分母(resources.requests)が Pod に書いていない

この記事は、この2つを順番に潰して、Pod が実際に増えるところまでを見る回です。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • HPA は自分で測らない。 <unknown> は故障ではなく、測る係が居ないか、割合の分母が無いという表示
  • resources.requests を書いていない Pod は、CPU 使用率でスケールできない。 「50%」の50%が何に対しての50%なのかが決まらないため
  • 増えるのは速く、減るのは遅い。 意図的にそうなっている。減らす側だけ待ち時間(stabilizationWindowSeconds)が長い
  • メモリでスケールさせると、たいてい減らなくなる。 メモリは使われたら自分からは返ってこないため
  • Cluster Autoscaler は自前のクラスタでは動かない。 「ノードを1台買ってくる」相手が居ないため
  • オートスケールが効かない場面がある。 起動の遅いアプリ、データベース、急なスパイク。まず1台を大きくするほうが正しいことがある

この記事でやること

  1. kubectl top pod を打って、まず失敗させる
  2. metrics-server を入れて、kubectl top node と kubectl top pod が出るようにする
  3. resources.requests をわざと外した Deployment で <unknown> を再現し、付けて直す
  4. HPA を YAML で作り、使い捨て Pod から負荷をかけて、Pod が増えるのを -w で見る
  5. 負荷を止めて、なかなか減らないのを見る
  6. 作ったものを片づける(metrics-server を残すかどうかもここで決める)

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
オートスケール負荷に応じて自動で数や大きさを変えること。人が kubectl scale を打つ代わりをする
水平スケール数を増やす方向。Pod を1個から5個にする。Kubernetes が得意なのはこちら
垂直スケール1つを大きくする方向。CPU 2コアを8コアにする。Pod では作り直しが要る
HPAHorizontalPodAutoscaler。Pod の数を自動で変えるリソース
VPAVerticalPodAutoscaler。Pod 1つに割り当てる大きさ(requests)を自動で変えるもの。別途インストールが要る
Cluster Autoscalerノード(サーバーそのもの)の台数を自動で変えるもの。クラウド側に台数を注文する
metrics-serverクラスタ内のCPU・メモリの現在値を集めて配る係。標準では入っていない
Metrics APImetrics-server が答える窓口。kubectl top も HPA もここに聞きに行く
resources.requestsこの Pod に最低限これだけ用意してほしいという申告。HPA の割合の分母になる
millicore(m)CPU の単位。1000m = 1コア。200m は 0.2 コア
スタビライゼーションウィンドウこの時間ぶんは決定を保留するという待ち時間。主に減らす側に効く
PodDisruptionBudget(PDB)同時にこれ以上は止めないという下限の約束。メンテナンス作業に対して効く

測る係を入れる

まず、失敗させる

入れる前に、無いことを自分の目で見ます。 「入れたら動いた」だけだと、次に別のクラスタで同じことが起きたときに気づけません。

bash
$ kubectl top node
error: Metrics API not available
bash
$ kubectl top pod
error: Metrics API not available

kubectl top すら出ません。 ここが決定的でした。kubectl top は HPA とは無関係のコマンドですが、同じ窓口(Metrics API)に聞きに行っています。

kubectl top が出ないクラスタでは、HPA も必ず <unknown> になります。 逆に言えば、HPA を疑う前に kubectl top pod を打てば、原因が HPA 側か測定側かが一発で分かります。

もう少しはっきり見るなら、API の一覧に居るかを見ます。

bash
$ kubectl get apiservices | grep metrics

何も返りません。metrics.k8s.io という窓口自体が登録されていない状態です。

入れる

minikube を使っているなら、これが一番早いです。アドオンとして用意されています。

bash
$ minikube addons enable metrics-server
The 'metrics-server' addon is enabled

kubeadm で自分で組んだクラスタ(深掘りの前提ではこちら側の人もいます)なら、公式の配布ファイルを当てます。

bash
$ kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

どちらの場合も、しばらく待ってから状態を見ます。

bash
$ kubectl -n kube-system get deployment metrics-server
NAME             READY   UP-TO-DATE   AVAILABLE   AGE
metrics-server   0/1     1            0           90s

READY が 0/1 のままでした。ここで2つ目の落とし穴に入ります。

自前クラスタでは --kubelet-insecure-tls が要ることがある

ログを見ます。

bash
$ kubectl -n kube-system logs deployment/metrics-server
E1126 09:14:22.881034  1 scraper.go:149] "Failed to scrape node" err="Get \"https://192.168.10.21:10250/metrics/resource\": tls: failed to verify certificate: x509: cannot validate certificate for 192.168.10.21 because it doesn't contain any IP SANs" node="node01"

証明書が検証できない、と言っています。 何が起きているのかを、順番に。

  • metrics-server は、各ノードの kubelet(ノード上で Pod の面倒を見ている常駐プログラム)に HTTPS で聞きに行きます
  • kubelet は自分で作った証明書を出します。この証明書には、IP アドレス向けの記載(IP SAN)が入っていないことがあります
  • metrics-server は正しく検証しようとして、相手を確認できないので接続を拒否します

metrics-server が悪いのでも、kubelet が壊れているのでもありません。 「自己署名の証明書を、正規の手続きで検証しようとして落ちている」だけです。マネージドの Kubernetes(EKS など)や minikube では、この部分が最初から整えられているので起きません。

学習用のクラスタでは、検証をやめるという逃げ道があります。

bash
$ kubectl -n kube-system patch deployment metrics-server --type=json -p='[{"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}]'
deployment.apps/metrics-server patched

これは「kubelet の証明書を検証しない」という指定です。 意味を薄めずに書くと、metrics-server が偽の kubelet に繋がされても気づけなくなります。

本番でこれを付けたままにしません。 本番でやるのは、kubelet の証明書をクラスタの CA に正しく署名させることです。具体的には kubelet 側に serverTLSBootstrap: true を設定し、出てきた署名要求(CSR)をクラスタ側で承認するという手順になります。 手順自体はこの記事の範囲を超えるので踏み込みませんが、「学習用は --kubelet-insecure-tls、本番は証明書を直す」という切り分けだけは、いま覚えておく価値があります。フラグを1つ足して直った、で終わらせると、そのまま本番に持って行ってしまいます。

出るようになった

bash
$ kubectl -n kube-system get deployment metrics-server
NAME             READY   UP-TO-DATE   AVAILABLE   AGE
metrics-server   1/1     1            1           4m10s
bash
$ kubectl top node
NAME       CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
minikube   214m         5%     1180Mi          31%
bash
$ kubectl top pod -A
NAMESPACE     NAME                               CPU(cores)   MEMORY(bytes)
kube-system   coredns-668d6bf9bc-2xr7t           3m           16Mi
kube-system   etcd-minikube                      31m          58Mi
kube-system   kube-apiserver-minikube            61m          281Mi
kube-system   metrics-server-7fbb699795-l9v4z    5m           21Mi

数字が出ました。 ここで1つ、性格を知っておくと後で困りません。

metrics-server の値は、だいたい15秒ごとに更新される「いまの値」だけです。 履歴を持ちません。 「1時間前の CPU」は聞いても答えられません。それは Prometheus のような保存する側の仕事です(本線の Prometheusは取りに行く — 監視とログの入口 でやっています)。 metrics-server は「いま何%か」を即答するためだけの、軽い係です。だから標準で入っていなくても困らず、HPA を使う瞬間に初めて必要になります。

HPA を作って、負荷をかけて増やす

題材を用意する

nginx で静的ファイルを返しても、CPU はほとんど動きません。 負荷をかけても数字が上がらず、「HPA が動かない」と勘違いします。わざと CPU を使うアプリを使います。

Kubernetes 公式が HPA の練習用に配っているイメージ(アクセスされるたびに平方根の計算を回すだけの PHP)があるので、これを使います。

bash
$ mkdir -p ~/k8s-hpa
$ cd ~/k8s-hpa
$ nano web-norequests.yaml

まず、わざと resources を書かないほうから作ります。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 1
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: php-apache
          image: registry.k8s.io/hpa-example
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: web
spec:
  selector:
    app: web
  ports:
    - port: 80
      targetPort: 80

Service も一緒に入れています(負荷をかける側が名前で呼べるようにするためです。仕組みは Service の回 でやりました)。

bash
$ kubectl apply -f web-norequests.yaml
$ kubectl get pod
NAME                   READY   STATUS    RESTARTS   AGE
web-77d4f9c6b8-hq2vn   1/1     Running   0          25s

kubectl top pod は、もう答えます。

bash
$ kubectl top pod
NAME                   CPU(cores)   MEMORY(bytes)
web-77d4f9c6b8-hq2vn   1m           12Mi

測れています。 それでも HPA は <unknown> になります。ここが2つ目の落とし穴です。

requests が無いと、割合が出せない

HPA を作ります。

bash
$ kubectl autoscale deployment web --cpu-percent=50 --min=1 --max=10
$ kubectl get hpa
NAME   REFERENCE        TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   <unknown>/50%   1         10        1          45s

測る係は居るのに、まだ <unknown> です。 理由を聞きます。

bash
$ kubectl describe hpa web
Conditions:
  Type           Status  Reason                        Message
  ----           ------  ------                        -------
  AbleToScale    True    SucceededGetScale             the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric       the HPA was unable to compute the replica count: failed to get cpu utilization: missing request for cpu in container php-apache of Pod web-77d4f9c6b8-hq2vn

missing request for cpu。 「CPU の request が無い」と、はっきり書いてあります。

なぜ必要なのか。--cpu-percent=50 の「50%」が、何に対する50%なのかを考えると分かります。

  • ノードの CPU に対して50% ではありません。同じノードに他の Pod が同居していれば、その意味は毎回変わってしまいます
  • Pod に約束された量に対して50% です。その「約束された量」が resources.requests.cpu です

HPA が見ているのは「使用率 = いま使っている CPU ÷ requests」です。 requests を書かないということは、分母を書かないということで、割り算そのものが成立しません。だから計算を諦めて <unknown> を出します。

これは HPA の都合ではなく、リソース制限の回 で見た requests が、そのまま別の用途で効いているということでした。requests は「スケジューラが置き場所を決めるための申告」だと理解していましたが、HPA にとっては「割合の基準線」でもあります。1つの数字が2箇所で効きます。

requests を付けて直す

bash
$ nano web.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 1
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: php-apache
          image: registry.k8s.io/hpa-example
          ports:
            - containerPort: 80
          resources:
            requests:
              cpu: 200m
              memory: 64Mi
            limits:
              cpu: 500m
              memory: 128Mi
---
apiVersion: v1
kind: Service
metadata:
  name: web
spec:
  selector:
    app: web
  ports:
    - port: 80
      targetPort: 80

cpu: 200m は 0.2 コアです。 つまり HPA にとっての「100%」は 0.2 コアであって、ノードの1コアではありません。目標50%は「0.1 コアを超えたら増やす」という意味になります。

bash
$ kubectl apply -f web.yaml

30秒ほど待って、HPA を見ます。

bash
$ kubectl get hpa
NAME   REFERENCE        TARGETS     MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   0%/50%      1         10        1          3m20s

<unknown> が 0% になりました。 ここで初めて、HPA は仕事ができる状態になっています。

HPA を YAML で書き直す

kubectl autoscale はその場では便利ですが、Deployment の回 で見た kubectl scale と同じで、ファイルに残りません。 ファイルにします。

bash
$ kubectl delete hpa web
$ nano hpa.yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: web
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: web
  minReplicas: 1
  maxReplicas: 10
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 50

上から順に、何を言っているかです。

行意味
apiVersion: autoscaling/v2v2 を使います。v1 は CPU 1種類しか扱えず、behavior も書けません。ネットの古い記事は v1 が多い
scaleTargetRef誰の数を変えるか。kind と name で Deployment を名指しする。HPA 自身は Pod を1つも持たない
minReplicas: 1ここより下には減らさない下限
maxReplicas: 10ここより上には増やさない上限。これが財布の蓋で、暴走したときの最後の砦
metrics何を見て決めるか。リストなので複数書ける
type: ResourceCPU やメモリのような、Kubernetes が標準で知っている指標という意味
target.type: Utilization割合で見る(requests に対する%)。AverageValue にすると割合ではなく実数(100m など)で見る
averageUtilization: 50全 Pod の平均が50%になるように数を調整する。1つでも超えたら、ではない。平均
bash
$ kubectl apply -f hpa.yaml
$ kubectl get hpa
NAME   REFERENCE        TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   0%/50%    1         10        1          15s

負荷をかける

別のターミナルをもう1つ開きます。(VS Code から VM に繋いでいるなら、ターミナルを2枚にするのが楽です。方法は本線の nanoで書き続けるのは無理 — VS CodeからVMを直接編集する にあります)

2枚目で、使い捨ての Pod を1つ立てて、その中から延々とアクセスさせます。

bash
$ kubectl run load --rm -it --image=busybox:1.36 --restart=Never -- /bin/sh -c "while true; do wget -q -O- http://web; done"

このコマンドの意味です。

部分意味
kubectl run loadload という名前の Pod を1つ、その場で作る
--rm終わったら Pod ごと消える。片づけを忘れずに済む
-it端末を繋ぐ。Ctrl + C で止められるようにするため
--restart=NeverDeployment を作らず、素の Pod にする。落ちても復活させない
--image=busybox:1.36小さな Linux 一式。wget が入っている
while true; do ... done止めるまで繰り返すシェルのループ
wget -q -O- http://webService 名 web に対して取りに行く。-O- はファイルに保存せず画面に出す指定

http://web で届くのは、クラスタ内の DNS が Service 名を引けるからです(Service の回 でやりました)。IP を書かないので、Pod が増えても勝手に振り分けられます。

画面には OK! が滝のように流れます。そのまま放置します。

増えるのを見る

1枚目のターミナルに戻って、監視します。

bash
$ kubectl get hpa -w

-w は watch。変化があるたびに1行追加されるので、そのまま眺めます。

NAME   REFERENCE        TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   0%/50%     1         10        1          2m
web    Deployment/web   183%/50%   1         10        1          2m45s
web    Deployment/web   183%/50%   1         10        4          3m
web    Deployment/web   96%/50%    1         10        4          3m45s
web    Deployment/web   96%/50%    1         10        8          4m
web    Deployment/web   52%/50%    1         10        8          4m45s
web    Deployment/web   48%/50%    1         10        8          5m30s

増えました。 Ctrl + C で -w を抜けて、Pod も見ます。

bash
$ kubectl get pod
NAME                   READY   STATUS    RESTARTS   AGE
load                   1/1     Running   0          3m20s
web-5c9b7d8f64-2kt8p   1/1     Running   0          2m10s
web-5c9b7d8f64-6nqvz   1/1     Running   0          70s
web-5c9b7d8f64-hq2vn   1/1     Running   0          8m
web-5c9b7d8f64-jw9rd   1/1     Running   0          2m10s
(以下略・8個)

ここで見えたことが2つあります。

  1. 1回では目標に届かない。 183% から一気に10個にはせず、4 → 8 と2回に分けています
  2. TARGETS の値が下がっていくのは、割り算の分母(Pod の数)が増えるからです。使われている CPU の総量はほとんど変わりません。1台あたりの負担が減っただけです

減らすのは、驚くほど遅い

2枚目のターミナルで Ctrl + C を押して、負荷を止めます。--rm を付けたので Pod も消えます。

pod "load" deleted

すぐに1枚目で見ます。

bash
$ kubectl get hpa
NAME   REFERENCE        TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   0%/50%    1         10        8          9m

0% なのに、8個のままです。 1分待っても、3分待っても8個でした。壊れたかと思いました。

5分ほど経つと、まとめて減りました。

NAME   REFERENCE        TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   0%/50%    1         10        1          14m

これは仕様です。 理由を書きます。

HPA は、増やす判断はすぐに、減らす判断は「5分ぶん様子を見てから」下します。 減らす側だけに stabilizationWindowSeconds(既定 300秒) という待ち時間があり、過去5分間で最も多かったときの数を基準に判断します。

なぜ非対称なのか。

  • 足りないまま放置すると、いま来ている客が待たされます。 遅れは即座に損になるので、増やすのは急ぎます
  • 多すぎても、少し余分に金を払うだけです。急ぐ理由がありません
  • そして負荷は波打ちます。 一瞬下がったところで減らし、次の瞬間また増やす、を繰り返すと、Pod が生まれては死ぬだけで仕事が進みません。これをフラッピングと言います

待ち時間は「無駄」ではなく、フラッピングを止めるためのブレーキでした。変えたいときは behavior で書きます。

spec:
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 60
      policies:
        - type: Percent
          value: 50
          periodSeconds: 60
    scaleUp:
      stabilizationWindowSeconds: 0
      policies:
        - type: Percent
          value: 100
          periodSeconds: 15
行意味
scaleDown.stabilizationWindowSeconds: 60減らす前に1分だけ様子を見る(既定の300秒より短気にする)
scaleDown.policies1分あたり、いまの数の50%までしか減らさない。8個なら次は4個
scaleUp.stabilizationWindowSeconds: 0増やすほうは待たない
scaleUp.policies15秒あたり、いまの数の100%まで増やしてよい(=倍まで)

短くするのは、いつでもできます。 ただし短くした結果を自分で見てから決めるべきところで、既定の300秒は「まず困らない値」として選ばれています。理由が言えないうちは触りません。

判断の式

kubectl get hpa -w の数字が「なんとなく増えた」ではなく計算の結果だと分かると、挙動が読めるようになります。式はこれだけです。

望むレプリカ数 = ceil( 現在のレプリカ数 × 現在の値 ÷ 目標の値 )

ceil は切り上げです。3.2 なら 4 になります。足りないよりは多いほうがましという判断です。

実際に当てはめると、こうなります。

現在の数現在の平均目標計算望む数実際
1183%50%1 × 183 ÷ 50 = 3.6644個に増える
496%50%4 × 96 ÷ 50 = 7.6888個に増える
852%50%8 × 52 ÷ 50 = 8.3298個のまま
80%50%8 × 0 ÷ 50 = 001個で止まる(minReplicas)
1900%50%1 × 900 ÷ 50 = 181810個で止まる(maxReplicas)

3行目に注釈が要ります。 計算上は9個ですが、実機では8個のままでした。誤差10%以内なら何もしないという決まりがあるためです。

52 ÷ 50 = 1.04。1から4%しかずれていないので、HPA は「目標どおり」と見なして動きません。 これが無いと、49%と51%を行き来するだけで永久に Pod を作り直し続けます。

そして下2行が、minReplicas と maxReplicas の本当の役割です。 式の答えをそのまま採用せず、必ずこの2つで挟み込みます。

  • maxReplicas は、財布の蓋です。 バグで CPU を食い続けるコードを出したとき、上限が無ければ、そのままクラウドの請求書になります(本線の クラウド料金は止め忘れで膨らむ — 先に上限を作る と同じ話です)
  • minReplicas: 1 は、朝いちばんが遅い原因にもなります。夜中に1個まで減っていると、朝の最初の客は増えるのを待たされます

CPU 以外で測る

metrics はリストなので、複数書けます。 書いた指標のうち最も多くの Pod を必要とするものが採用されます。足し算ではなく、いちばん厳しいものが勝つ方式です。

メモリで測る(勧めない)

  metrics:
    - type: Resource
      resource:
        name: memory
        target:
          type: Utilization
          averageUtilization: 70

書けますし、動きます。 ただ、私はこれで一度困りました。

メモリで増えた Pod は、たいてい減りません。

理由は Kubernetes ではなく、アプリの側にあります。

  • 多くのプログラムは、一度確保したメモリを OS に返しません。 内部で使い回すほうが速いからです
  • Java や Node.js のような実行環境は、特にこれが顕著です。ヒープは膨らんだまま維持されます
  • つまり「暇になったからメモリ使用量が下がる」ということが起きません

結果、一度増えた Pod がずっと残り、料金だけ増えます。 そしてもっと悪いのは、メモリ不足は Pod を増やしても解決しないことが多いという点です。1リクエストで 2GB 使うアプリなら、Pod を10個にしても1リクエストの必要量は 2GB のままです。それは requests と limits を見直す話であって、数の話ではありません。

メモリは「増やす合図」としては使えても、「減らす合図」としては使えない、と考えるのが安全でした。

カスタムメトリクスと外部メトリクス

そもそも CPU は、多くのアプリにとって代理の指標にすぎません。 本当に知りたいのは、たいてい別のものです。

種類何を見るか例
ResourceCPU・メモリ標準。metrics-server だけで動く
Custom(カスタム)クラスタ内のアプリが出している値秒間リクエスト数、キューの待ち件数、同時接続数
External(外部)クラスタの外にある値クラウドのキューの滞留数、CDN の状況

「キューに1000件溜まったら増やす」のほうが、CPU よりずっと素直です(キューの話は本線の 待たせるAPIをやめる — メッセージキューとRabbitMQ にあります)。

ただし、Custom と External は metrics-server では答えられません。 別途、アダプタ(Prometheus に貯めた値を Metrics API の形で答え直す部品など)を入れる必要があります。この記事では入れません。

いま覚えておくべきは1点だけです。

HPA が答えを聞きに行く窓口は3種類あり、CPU だけが最初から用意されている。 他を使いたければ、答える人を自分で用意する。

VPA は「大きさ」を変える

HPA が数を変えるのに対して、VPA(VerticalPodAutoscaler)は1つあたりの大きさを変えます。 正確には、resources.requests の数値を、実際の使用量を見て書き換えます。

何が嬉しいのか。 requests は人が推測で書いています。

  • 大きく書きすぎると、ノードの空きを予約だけして使わず、他の Pod が置けなくなります
  • 小さく書きすぎると、混んだノードに詰め込まれて遅くなり、メモリなら OOMKilled で落ちます

この推測を、実測に置き換えるのが VPA です。「この Pod は実際は 80m しか使っていないので、requests を 100m にしましょう」と提案し、モードによっては自動で適用します。

適用のときに何が起きるかが重要です。

長いあいだ、requests は動いている Pod に対して後から変えられませんでした。 VPA が値を変えるということは、Pod を作り直すということでした。

(Kubernetes 1.35 で、稼働中の Pod の requests を作り直さずに変える仕組みが安定版になり、VPA にも InPlaceOrRecreate があります。ただし版しだいなので、基本は作り直しだと考えておくのが安全です)

そして、いちばん引っかかりやすいのがこれです。

同じ Deployment に、CPU を見る HPA と VPA を同時に付けてはいけません。

衝突するからです。 順に追うと、こうなります。

  1. 負荷が上がり、CPU 使用率が 90% になる
  2. HPA は「Pod を増やそう」とする(分母は据え置きで数を増やす)
  3. VPA は「requests が小さすぎる、大きくしよう」とする(分母を増やす)
  4. VPA が分母を大きくすると、使用率の計算結果が下がります
  5. HPA は「余っている」と判断して、今度は減らします
  6. 減らすと1台あたりの負荷が上がり、また 1 に戻ります

互いの入力を、互いが書き換えている状態です。メモリで測る HPA となら共存できますが、CPU では衝突します。

この記事では VPA を入れません。 標準では同梱されておらず、autoscaler リポジトリから別に導入する必要があるうえ、まず HPA を正しく動かせるほうが先だからです。「requests を人が推測で書いている」という弱点があり、それを機械化する道具があることだけ知っていれば十分です。

Cluster Autoscaler は「ノード」を増やす

ここまでは全部、既にあるノードの中で Pod をやりくりする話でした。 ノードが満杯になったら、どうなるか。

やってみると分かります。 maxReplicas を大きくして負荷をかけ続けると、こうなります。

bash
$ kubectl get pod
NAME                   READY   STATUS    RESTARTS   AGE
web-5c9b7d8f64-2kt8p   1/1     Running   0          4m
web-5c9b7d8f64-x7v2q   0/1     Pending   0          40s
web-5c9b7d8f64-zz4mn   0/1     Pending   0          40s
bash
$ kubectl describe pod web-5c9b7d8f64-x7v2q
Events:
  Type     Reason            Age   From               Message
  ----     ------            ----  ----               -------
  Warning  FailedScheduling  45s   default-scheduler  0/1 nodes are available: 1 Insufficient cpu.

Pending のまま止まります。 HPA は「10個であれ」と言い、Deployment もそのつもりで作りましたが、置く場所がありません。

HPA は Pod を作らせるだけで、Pod を置く場所は作れません。

ここで登場するのが Cluster Autoscaler です。仕事は1つです。

  • Pending の Pod を見つけたら、ノードを1台増やすようクラウドに注文する
  • どのノードもがら空きになったら、その Pod を他所へ移して、ノードを解約する

そして、自前で組んだクラスタでは動きません。 理由は単純です。

「ノードを1台増やして」と頼む相手が居ないからです。 VMware の中に3台の VM を並べただけのクラスタでは、4台目を自動で買ってくることができません。

Cluster Autoscaler は、AWS・GCP・Azure などの「台数を注文する窓口」に繋いで初めて意味を持ちます。 自前のクラスタでできるのは、満杯になったら Pending になる、という事実を見るところまでです。それを見ておくだけでも価値があります。 マネージドの Kubernetes でノードが自動で増えるのは、この Pending を誰かが見張っているからだと分かるからです。

同じ役割の新しい実装として Karpenter という名前も出てきます。「必要な Pod の内容を見て、それに合う大きさのノードを選んで立てる」という方向のものですが、これもクラウドが前提です。名前だけ知っておけば十分です。

3段の関係を、ここで整理しておきます。

何を変えるか誰がやるか自前クラスタで動くか
Pod の数HPA動く(metrics-server が要る)
Pod 1つの大きさ(requests)VPA動く(別途導入が要る)
ノードの台数Cluster Autoscaler / Karpenter動かない(クラウドが要る)

オートスケールが効かない場面

ここがこの記事でいちばん書いておきたかったところです。 HPA は万能ではなく、効かない場面のほうが、初心者が最初に当たる場面です。

1. 起動が遅いアプリ

Pod が増え始めてから、実際に客をさばけるようになるまでの時間を考えます。

  1. HPA が判断する(最大15秒の待ち。metrics-server の更新も待つ)
  2. Pod がスケジュールされる(数秒)
  3. イメージを取ってくる(キャッシュが無ければ数十秒)
  4. アプリが起動する(Java や Rails なら 30〜60秒が普通)
  5. Readiness の確認が通る(さらに数秒)

合計で1〜2分かかることも珍しくありません。その間、負荷は増えっぱなしです。

急ぎの増員は、間に合いません。 オートスケールは「じわじわ増える負荷」に効く道具であって、「いま火が出ている」を消す道具ではありません。

2. データベース

PostgreSQL の Pod を HPA で3個に増やしても、性能は上がりません。 それどころか壊れます。同じデータに3人が同時に書き込むからです。これは深掘りの StatefulSet の回 でやったとおりで、数を増やして速くなるのは「どの Pod に行っても同じ答えが返る」ものだけです。

数を増やしていいものと、そうでないものの見分け方は1つです。

その Pod は、自分の中に「自分だけが持っている状態」を持っていないか。

持っていなければ増やせます。持っていれば、増やす前にその状態を外に出す必要があります。

3. 急激なスパイク

テレビで紹介された、セールが始まった、という数秒で10倍になる負荷には、HPA は追いつけません。取れる手は、増やすことではなく、あらかじめ用意しておくことです。イベントの時刻が分かっているなら、前もって minReplicas を上げておくのが正解です。

そして、まず「1台を大きくする」を考える

私がいちばん反省したのはここです。

HPA を設定したくなったとき、その前に問うべきことがあります。

「そもそも、1台をもう少し大きくすれば済む話ではないか。」

  • CPU が足りないなら、limits を上げるだけで済むことがあります
  • VM を1台、2コアから4コアにするほうが、確実で、速く、安く済むことがあります
  • replicas: 3 と固定で書いておくだけで足りることも、非常に多いです

HPA を入れると、システムに「勝手に数が変わる」という要素が増えます。 障害のときに「さっきは4個だったのに、いまは1個」という状況が起き、再現できないバグの温床になります。

これは深掘りの初回 1台で足りるなら入れない — Kubernetes深掘り で書いたことと同じ構図でした。動く仕組みを増やすほど、分からないことが増えます。 自動化は、手でやる作業が本当に回らなくなってから入れます。

PodDisruptionBudget — 減らしすぎない下限

HPA とは別の方向から、Pod の数を守るものが1つあります。 HPA が「負荷に応じて増やす」なら、PodDisruptionBudget(PDB)は「作業のために止めるとき、これ以下にはしない」という約束です。

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: web
spec:
  minAvailable: 2
  selector:
    matchLabels:
      app: web

minAvailable: 2 は「常に2個は動いていること」という意味です。誰に対しての約束かが重要で、これはノードのメンテナンス(kubectl drain)やクラスタの更新のような、計画された停止に対して効きます。ノードが物理的に壊れた場合は守れません(相手が事故なので、約束のしようがありません)。

これが無いと何が起きるか。 ノードを1台ずつ更新していく作業で、運悪く全部の Pod が同じノードに乗っていると、その瞬間サービスが止まります。 PDB があれば、作業側が「いま止めると2個を割る」と分かるので、待ちます。

HPA と組み合わせるときは、噛み合わせに注意します。 minReplicas: 1 の HPA と minAvailable: 2 の PDB を同時に置くと、夜中に1個まで減ったあと、ノードの更新作業が永久に進まなくなります(1個を止めると2個を割るので、待ち続けます)。割合で書くほうが安全です。

spec:
  maxUnavailable: 1

maxUnavailable: 1 は「同時に1個までなら止めてよい」。 これなら Pod が何個であっても破綻しません。

つまずいたところ

1. HPA を疑って、1時間溶かした

<unknown> を見て、HPA の YAML を何度も書き直しました。 apiVersion を v1 にしたり v2 に戻したり、目標値を変えたり。全部無関係でした。

kubectl describe hpa を最初に打っていれば、Conditions の FailedGetResourceMetric が1行で答えを教えてくれました。

get で分からなかったら describe。 これは HPA に限らず全部のリソースで同じでした。get は結果しか出しませんが、describe は「なぜそうなったか」を出します。

2. --kubelet-insecure-tls を「おまじない」で通しかけた

検索して出てきたコマンドを貼ったら動いたので、そこで止めそうになりました。 止めなかったのは、フラグの名前に insecure と書いてあったからです。

insecure と書いてある設定を、意味を調べずに入れてはいけません。 調べた結果が「学習用なら問題ないが、本番では証明書を直す」だったので、この記事にもそう書きました。 動いたことより、なぜ動かなかったかのほうが情報量が多い、という当たり前のことを、また確認しました。

3. nginx で負荷をかけて「HPA が壊れている」と思った

最初は手元の nginx の Deployment で試しました。wget を回しても CPU が 2% から動きません。 静的ファイルを返すだけの処理は、そもそも CPU をほとんど使わないからです。

負荷試験は「かけたつもり」がいちばん危険でした。まず kubectl top pod で数字が動いているかを確認してから、HPA を見るべきでした。

4. minReplicas: 1 で朝の1発目が遅い

夜間に1個まで減るのは正しい動作ですが、朝の最初のアクセスが目に見えて遅くなりました。 1個で受けきれず、増え始めてから安定するまで1分ほどかかります。

「常に最低これだけ」は、コストではなく品質の設定でした。minReplicas を2にするだけで消えた問題で、これは節約ではなく判断ミスだったと思っています。

5. -w を見て「増えない」と焦った

負荷をかけた直後、30秒ほど TARGETS が 0% のままでした。 metrics-server の値の更新が15秒間隔、HPA の判断も15秒間隔なので、反映まで最大30秒ほど遅れます。

リアルタイムではありません。 これを知らないと、待てば動くものを、待たずに壊しに行きます。

後片づけ

まず、負荷をかける Pod が残っていないかを確認します。

bash
$ kubectl get pod load
Error from server (NotFound): pods "load" not found

NotFound なら消えています(--rm を付けたためです)。もし残っていたら、これで消します。

bash
$ kubectl delete pod load --force

ファイルから作ったものは、ファイルで消します。

bash
$ cd ~/k8s-hpa
$ kubectl delete -f hpa.yaml
$ kubectl delete -f web.yaml
horizontalpodautoscaler.autoscaling "web" deleted
deployment.apps "web" deleted
service "web" deleted

順番に意味があります。 HPA を先に消します。 Deployment を先に消しても実害はありませんが、HPA が残っていると、宛先の居ないまま FailedGetScale を出し続けます。 面倒を見る側から片づけるのが筋です。

残っていないか確認します。

bash
$ kubectl get deploy,svc,hpa,pod
NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   6d

service/kubernetes だけが残っていれば片づいています(これはクラスタ自身のもので、消しません)。

metrics-server は残すか、消すか

残すことをおすすめします。 理由は3つです。

  1. 消費が小さい。 実測で CPU 5m、メモリ 21Mi 程度でした。学習用の VM でも負担になりません
  2. kubectl top が使えるのは、単純に便利です。 「どの Pod が重いのか」を知りたい場面は、HPA と関係なく毎回来ます
  3. 次に HPA を試すとき、また同じところで詰まります

消したいときは、入れ方によって消し方が違います。

minikube のアドオンとして入れたなら、こうです。

bash
$ minikube addons disable metrics-server

配布ファイルから入れたなら、同じファイルで消します。

bash
$ kubectl delete -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

--kubelet-insecure-tls のパッチも、この削除で一緒に消えます(Deployment ごと消えるためです)。設定だけを戻したいわけではないので、これで十分です。

minikube ごと止めるなら、こうです。

bash
$ minikube stop

消さずに止めるだけなので、次回 minikube start で続きから使えます。

まとめ

理解できたこと。

  • HPA は何も測っていない。 聞きに行くだけ。<unknown> は故障ではなく「答える人が居ない」という表示
  • 答える人は2種類必要だった。 metrics-server(測る係) と、resources.requests(割合の分母)。片方だけでは足りない
  • requests は、スケジューラのための申告であると同時に、HPA にとっての「100%の基準線」。1つの数字が2箇所で効く
  • --kubelet-insecure-tls は「検証をやめる」設定。 学習用の逃げ道であって、本番は kubelet の証明書を正しく署名させる
  • 判断は 現在数 × 現在の値 ÷ 目標値 の切り上げ。ただし誤差10%以内は動かないし、min と max で必ず挟まれる
  • 増えるのは速く、減るのは遅い。 減らす側の300秒はフラッピングを止めるブレーキで、無駄な待ちではない
  • メモリでスケールさせると、たいてい減らない。 アプリがメモリを OS に返さないため。メモリ不足は数ではなく requests の問題であることが多い
  • VPA は requests を実測で書き換える道具。 CPU の HPA と同時に使うと、互いの入力を互いが書き換えて振動する
  • Cluster Autoscaler は自前クラスタでは動かない。 ノードを注文する相手が居ないため。自前で見られるのは Pending で止まるところまで
  • オートスケールが効かない場面がある。 起動の遅いアプリ・データベース・急なスパイク。まず「1台を大きくする」「固定で足りないか」を先に考える
  • PDB は「減らしすぎない下限」。 ただし守れるのは計画された停止に対してだけ。minAvailable より maxUnavailable: 1 のほうが噛み合わせで事故りにくい

この回でいちばん効いたのは、<unknown> の原因が HPA の外に2つあったことでした。 表示しているものと、原因のある場所が違う。その場合、いくらそのリソースの YAML を書き直しても直りません。 describe で「なぜ」を聞く癖は、ここで付きました。

そして、いちばん書き足したかったのは最後の節です。 自動で増えるのは気持ちがいいのですが、気持ちよさは判断材料ではありません。 固定の3個で足りるなら、そのほうがいいものが作れます。

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 12 / 15 本目です。

記事
← 前の記事無停止アップデートとProbe — 更新中に502が出る
→ 次の記事RBACとPodのセキュリティ — 全員がcluster-adminだった

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Autoscaling
  • HPA と metrics-server
  • VPA / Cluster Autoscaler / PDB

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次