ここまでで、台数を変える方法は分かっていました。replicas を書き換えて apply する。急ぐときは kubectl scale で今すぐ変える。どちらも「人が決めて、人が打つ」やり方です。
これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこで「必要な数だけ動かす」と一言で書いたところを、その「必要な数」を誰がどう決めているのかまで下げて見る回です。
この記事のコマンドは、すべて VM の中(Ubuntu Server)で打ちます。 Windows の PowerShell では打ちません。 前提: 本線の minikube入門 を終えて、
kubectl get nodeが返ること。 深掘りの Deployment の回・Service の回・リソース制限の回 を先に読んでいる前提で書きます。 この回の前に、VM のスナップショットを取ってください。 わざと CPU を振り切らせるので、VM が数分間もたつきます。
人が寝ている間にアクセスが増えたらどうするのか。 それを機械にやらせるのが HPA(HorizontalPodAutoscaler) です。読み方どおり「横方向に自動で伸縮するもの」で、Pod の数を勝手に増やしたり減らしたりします。
説明を読んで、その場で作りました。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web <unknown>/50% 1 10 1 30s
<unknown> のまま、5分待っても変わりませんでした。 エラーも出ません。kubectl get hpa は毎回きれいに表示され、ただ現在値の欄だけが <unknown> です。
しばらく「HPA が壊れている」と思って HPA 側を疑っていましたが、違いました。
HPA は、自分では何も測っていません。 「いま CPU をどれだけ使っているか」を誰かに聞きに行き、その答えを見て数を決めるだけです。
<unknown> は「答えてくれる人がいない」という意味でした。そして答えてくれる人がいない理由は2つあり、私は両方踏みました。
- 測る係(metrics-server)がクラスタに居ない
- 測れても、割合を出すための分母(
resources.requests)が Pod に書いていない
この記事は、この2つを順番に潰して、Pod が実際に増えるところまでを見る回です。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
- HPA は自分で測らない。
<unknown>は故障ではなく、測る係が居ないか、割合の分母が無いという表示 resources.requestsを書いていない Pod は、CPU 使用率でスケールできない。 「50%」の50%が何に対しての50%なのかが決まらないため- 増えるのは速く、減るのは遅い。 意図的にそうなっている。減らす側だけ待ち時間(
stabilizationWindowSeconds)が長い - メモリでスケールさせると、たいてい減らなくなる。 メモリは使われたら自分からは返ってこないため
- Cluster Autoscaler は自前のクラスタでは動かない。 「ノードを1台買ってくる」相手が居ないため
- オートスケールが効かない場面がある。 起動の遅いアプリ、データベース、急なスパイク。まず1台を大きくするほうが正しいことがある
この記事でやること
kubectl top podを打って、まず失敗させる- metrics-server を入れて、
kubectl top nodeとkubectl top podが出るようにする resources.requestsをわざと外した Deployment で<unknown>を再現し、付けて直す- HPA を YAML で作り、使い捨て Pod から負荷をかけて、Pod が増えるのを
-wで見る - 負荷を止めて、なかなか減らないのを見る
- 作ったものを片づける(metrics-server を残すかどうかもここで決める)
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| オートスケール | 負荷に応じて自動で数や大きさを変えること。人が kubectl scale を打つ代わりをする |
| 水平スケール | 数を増やす方向。Pod を1個から5個にする。Kubernetes が得意なのはこちら |
| 垂直スケール | 1つを大きくする方向。CPU 2コアを8コアにする。Pod では作り直しが要る |
| HPA | HorizontalPodAutoscaler。Pod の数を自動で変えるリソース |
| VPA | VerticalPodAutoscaler。Pod 1つに割り当てる大きさ(requests)を自動で変えるもの。別途インストールが要る |
| Cluster Autoscaler | ノード(サーバーそのもの)の台数を自動で変えるもの。クラウド側に台数を注文する |
| metrics-server | クラスタ内のCPU・メモリの現在値を集めて配る係。標準では入っていない |
| Metrics API | metrics-server が答える窓口。kubectl top も HPA もここに聞きに行く |
resources.requests | この Pod に最低限これだけ用意してほしいという申告。HPA の割合の分母になる |
millicore(m) | CPU の単位。1000m = 1コア。200m は 0.2 コア |
| スタビライゼーションウィンドウ | この時間ぶんは決定を保留するという待ち時間。主に減らす側に効く |
| PodDisruptionBudget(PDB) | 同時にこれ以上は止めないという下限の約束。メンテナンス作業に対して効く |
測る係を入れる
まず、失敗させる
入れる前に、無いことを自分の目で見ます。 「入れたら動いた」だけだと、次に別のクラスタで同じことが起きたときに気づけません。
error: Metrics API not available
error: Metrics API not available
kubectl top すら出ません。 ここが決定的でした。kubectl top は HPA とは無関係のコマンドですが、同じ窓口(Metrics API)に聞きに行っています。
kubectl topが出ないクラスタでは、HPA も必ず<unknown>になります。 逆に言えば、HPA を疑う前にkubectl top podを打てば、原因が HPA 側か測定側かが一発で分かります。
もう少しはっきり見るなら、API の一覧に居るかを見ます。
何も返りません。metrics.k8s.io という窓口自体が登録されていない状態です。
入れる
minikube を使っているなら、これが一番早いです。アドオンとして用意されています。
The 'metrics-server' addon is enabled
kubeadm で自分で組んだクラスタ(深掘りの前提ではこちら側の人もいます)なら、公式の配布ファイルを当てます。
どちらの場合も、しばらく待ってから状態を見ます。
NAME READY UP-TO-DATE AVAILABLE AGE
metrics-server 0/1 1 0 90s
READY が 0/1 のままでした。ここで2つ目の落とし穴に入ります。
自前クラスタでは --kubelet-insecure-tls が要ることがある
ログを見ます。
E1126 09:14:22.881034 1 scraper.go:149] "Failed to scrape node" err="Get \"https://192.168.10.21:10250/metrics/resource\": tls: failed to verify certificate: x509: cannot validate certificate for 192.168.10.21 because it doesn't contain any IP SANs" node="node01"
証明書が検証できない、と言っています。 何が起きているのかを、順番に。
- metrics-server は、各ノードの kubelet(ノード上で Pod の面倒を見ている常駐プログラム)に HTTPS で聞きに行きます
- kubelet は自分で作った証明書を出します。この証明書には、IP アドレス向けの記載(IP SAN)が入っていないことがあります
- metrics-server は正しく検証しようとして、相手を確認できないので接続を拒否します
metrics-server が悪いのでも、kubelet が壊れているのでもありません。 「自己署名の証明書を、正規の手続きで検証しようとして落ちている」だけです。マネージドの Kubernetes(EKS など)や minikube では、この部分が最初から整えられているので起きません。
学習用のクラスタでは、検証をやめるという逃げ道があります。
deployment.apps/metrics-server patched
これは「kubelet の証明書を検証しない」という指定です。 意味を薄めずに書くと、metrics-server が偽の kubelet に繋がされても気づけなくなります。
本番でこれを付けたままにしません。 本番でやるのは、kubelet の証明書をクラスタの CA に正しく署名させることです。具体的には kubelet 側に
serverTLSBootstrap: trueを設定し、出てきた署名要求(CSR)をクラスタ側で承認するという手順になります。 手順自体はこの記事の範囲を超えるので踏み込みませんが、「学習用は--kubelet-insecure-tls、本番は証明書を直す」という切り分けだけは、いま覚えておく価値があります。フラグを1つ足して直った、で終わらせると、そのまま本番に持って行ってしまいます。
出るようになった
NAME READY UP-TO-DATE AVAILABLE AGE
metrics-server 1/1 1 1 4m10s
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
minikube 214m 5% 1180Mi 31%
NAMESPACE NAME CPU(cores) MEMORY(bytes)
kube-system coredns-668d6bf9bc-2xr7t 3m 16Mi
kube-system etcd-minikube 31m 58Mi
kube-system kube-apiserver-minikube 61m 281Mi
kube-system metrics-server-7fbb699795-l9v4z 5m 21Mi
数字が出ました。 ここで1つ、性格を知っておくと後で困りません。
metrics-server の値は、だいたい15秒ごとに更新される「いまの値」だけです。 履歴を持ちません。 「1時間前の CPU」は聞いても答えられません。それは Prometheus のような保存する側の仕事です(本線の Prometheusは取りに行く — 監視とログの入口 でやっています)。 metrics-server は「いま何%か」を即答するためだけの、軽い係です。だから標準で入っていなくても困らず、HPA を使う瞬間に初めて必要になります。
HPA を作って、負荷をかけて増やす
題材を用意する
nginx で静的ファイルを返しても、CPU はほとんど動きません。 負荷をかけても数字が上がらず、「HPA が動かない」と勘違いします。わざと CPU を使うアプリを使います。
Kubernetes 公式が HPA の練習用に配っているイメージ(アクセスされるたびに平方根の計算を回すだけの PHP)があるので、これを使います。
まず、わざと resources を書かないほうから作ります。
apiVersion: apps/v1
kind: Deployment
metadata:
name: web
spec:
replicas: 1
selector:
matchLabels:
app: web
template:
metadata:
labels:
app: web
spec:
containers:
- name: php-apache
image: registry.k8s.io/hpa-example
ports:
- containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
name: web
spec:
selector:
app: web
ports:
- port: 80
targetPort: 80
Service も一緒に入れています(負荷をかける側が名前で呼べるようにするためです。仕組みは Service の回 でやりました)。
NAME READY STATUS RESTARTS AGE
web-77d4f9c6b8-hq2vn 1/1 Running 0 25s
kubectl top pod は、もう答えます。
NAME CPU(cores) MEMORY(bytes)
web-77d4f9c6b8-hq2vn 1m 12Mi
測れています。 それでも HPA は <unknown> になります。ここが2つ目の落とし穴です。
requests が無いと、割合が出せない
HPA を作ります。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web <unknown>/50% 1 10 1 45s
測る係は居るのに、まだ <unknown> です。 理由を聞きます。
Conditions:
Type Status Reason Message
---- ------ ------ -------
AbleToScale True SucceededGetScale the HPA controller was able to get the target's current scale
ScalingActive False FailedGetResourceMetric the HPA was unable to compute the replica count: failed to get cpu utilization: missing request for cpu in container php-apache of Pod web-77d4f9c6b8-hq2vn
missing request for cpu。 「CPU の request が無い」と、はっきり書いてあります。
なぜ必要なのか。--cpu-percent=50 の「50%」が、何に対する50%なのかを考えると分かります。
- ノードの CPU に対して50% ではありません。同じノードに他の Pod が同居していれば、その意味は毎回変わってしまいます
- Pod に約束された量に対して50% です。その「約束された量」が
resources.requests.cpuです
HPA が見ているのは「使用率 = いま使っている CPU ÷ requests」です。
requestsを書かないということは、分母を書かないということで、割り算そのものが成立しません。だから計算を諦めて<unknown>を出します。
これは HPA の都合ではなく、リソース制限の回 で見た requests が、そのまま別の用途で効いているということでした。requests は「スケジューラが置き場所を決めるための申告」だと理解していましたが、HPA にとっては「割合の基準線」でもあります。1つの数字が2箇所で効きます。
requests を付けて直す
apiVersion: apps/v1
kind: Deployment
metadata:
name: web
spec:
replicas: 1
selector:
matchLabels:
app: web
template:
metadata:
labels:
app: web
spec:
containers:
- name: php-apache
image: registry.k8s.io/hpa-example
ports:
- containerPort: 80
resources:
requests:
cpu: 200m
memory: 64Mi
limits:
cpu: 500m
memory: 128Mi
---
apiVersion: v1
kind: Service
metadata:
name: web
spec:
selector:
app: web
ports:
- port: 80
targetPort: 80
cpu: 200m は 0.2 コアです。 つまり HPA にとっての「100%」は 0.2 コアであって、ノードの1コアではありません。目標50%は「0.1 コアを超えたら増やす」という意味になります。
30秒ほど待って、HPA を見ます。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web 0%/50% 1 10 1 3m20s
<unknown> が 0% になりました。 ここで初めて、HPA は仕事ができる状態になっています。
HPA を YAML で書き直す
kubectl autoscale はその場では便利ですが、Deployment の回 で見た kubectl scale と同じで、ファイルに残りません。 ファイルにします。
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: web
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: web
minReplicas: 1
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50
上から順に、何を言っているかです。
| 行 | 意味 |
|---|---|
apiVersion: autoscaling/v2 | v2 を使います。v1 は CPU 1種類しか扱えず、behavior も書けません。ネットの古い記事は v1 が多い |
scaleTargetRef | 誰の数を変えるか。kind と name で Deployment を名指しする。HPA 自身は Pod を1つも持たない |
minReplicas: 1 | ここより下には減らさない下限 |
maxReplicas: 10 | ここより上には増やさない上限。これが財布の蓋で、暴走したときの最後の砦 |
metrics | 何を見て決めるか。リストなので複数書ける |
type: Resource | CPU やメモリのような、Kubernetes が標準で知っている指標という意味 |
target.type: Utilization | 割合で見る(requests に対する%)。AverageValue にすると割合ではなく実数(100m など)で見る |
averageUtilization: 50 | 全 Pod の平均が50%になるように数を調整する。1つでも超えたら、ではない。平均 |
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web 0%/50% 1 10 1 15s
負荷をかける
別のターミナルをもう1つ開きます。(VS Code から VM に繋いでいるなら、ターミナルを2枚にするのが楽です。方法は本線の nanoで書き続けるのは無理 — VS CodeからVMを直接編集する にあります)
2枚目で、使い捨ての Pod を1つ立てて、その中から延々とアクセスさせます。
このコマンドの意味です。
| 部分 | 意味 |
|---|---|
kubectl run load | load という名前の Pod を1つ、その場で作る |
--rm | 終わったら Pod ごと消える。片づけを忘れずに済む |
-it | 端末を繋ぐ。Ctrl + C で止められるようにするため |
--restart=Never | Deployment を作らず、素の Pod にする。落ちても復活させない |
--image=busybox:1.36 | 小さな Linux 一式。wget が入っている |
while true; do ... done | 止めるまで繰り返すシェルのループ |
wget -q -O- http://web | Service 名 web に対して取りに行く。-O- はファイルに保存せず画面に出す指定 |
http://web で届くのは、クラスタ内の DNS が Service 名を引けるからです(Service の回 でやりました)。IP を書かないので、Pod が増えても勝手に振り分けられます。
画面には OK! が滝のように流れます。そのまま放置します。
増えるのを見る
1枚目のターミナルに戻って、監視します。
-w は watch。変化があるたびに1行追加されるので、そのまま眺めます。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web 0%/50% 1 10 1 2m
web Deployment/web 183%/50% 1 10 1 2m45s
web Deployment/web 183%/50% 1 10 4 3m
web Deployment/web 96%/50% 1 10 4 3m45s
web Deployment/web 96%/50% 1 10 8 4m
web Deployment/web 52%/50% 1 10 8 4m45s
web Deployment/web 48%/50% 1 10 8 5m30s
増えました。 Ctrl + C で -w を抜けて、Pod も見ます。
NAME READY STATUS RESTARTS AGE
load 1/1 Running 0 3m20s
web-5c9b7d8f64-2kt8p 1/1 Running 0 2m10s
web-5c9b7d8f64-6nqvz 1/1 Running 0 70s
web-5c9b7d8f64-hq2vn 1/1 Running 0 8m
web-5c9b7d8f64-jw9rd 1/1 Running 0 2m10s
(以下略・8個)
ここで見えたことが2つあります。
- 1回では目標に届かない。
183%から一気に10個にはせず、4 → 8 と2回に分けています TARGETSの値が下がっていくのは、割り算の分母(Pod の数)が増えるからです。使われている CPU の総量はほとんど変わりません。1台あたりの負担が減っただけです
減らすのは、驚くほど遅い
2枚目のターミナルで Ctrl + C を押して、負荷を止めます。--rm を付けたので Pod も消えます。
pod "load" deleted
すぐに1枚目で見ます。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web 0%/50% 1 10 8 9m
0% なのに、8個のままです。 1分待っても、3分待っても8個でした。壊れたかと思いました。
5分ほど経つと、まとめて減りました。
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web 0%/50% 1 10 1 14m
これは仕様です。 理由を書きます。
HPA は、増やす判断はすぐに、減らす判断は「5分ぶん様子を見てから」下します。 減らす側だけに
stabilizationWindowSeconds(既定 300秒) という待ち時間があり、過去5分間で最も多かったときの数を基準に判断します。
なぜ非対称なのか。
- 足りないまま放置すると、いま来ている客が待たされます。 遅れは即座に損になるので、増やすのは急ぎます
- 多すぎても、少し余分に金を払うだけです。急ぐ理由がありません
- そして負荷は波打ちます。 一瞬下がったところで減らし、次の瞬間また増やす、を繰り返すと、Pod が生まれては死ぬだけで仕事が進みません。これをフラッピングと言います
待ち時間は「無駄」ではなく、フラッピングを止めるためのブレーキでした。変えたいときは behavior で書きます。
spec:
behavior:
scaleDown:
stabilizationWindowSeconds: 60
policies:
- type: Percent
value: 50
periodSeconds: 60
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Percent
value: 100
periodSeconds: 15
| 行 | 意味 |
|---|---|
scaleDown.stabilizationWindowSeconds: 60 | 減らす前に1分だけ様子を見る(既定の300秒より短気にする) |
scaleDown.policies | 1分あたり、いまの数の50%までしか減らさない。8個なら次は4個 |
scaleUp.stabilizationWindowSeconds: 0 | 増やすほうは待たない |
scaleUp.policies | 15秒あたり、いまの数の100%まで増やしてよい(=倍まで) |
短くするのは、いつでもできます。 ただし短くした結果を自分で見てから決めるべきところで、既定の300秒は「まず困らない値」として選ばれています。理由が言えないうちは触りません。
判断の式
kubectl get hpa -w の数字が「なんとなく増えた」ではなく計算の結果だと分かると、挙動が読めるようになります。式はこれだけです。
望むレプリカ数 = ceil( 現在のレプリカ数 × 現在の値 ÷ 目標の値 )
ceil は切り上げです。3.2 なら 4 になります。足りないよりは多いほうがましという判断です。
実際に当てはめると、こうなります。
| 現在の数 | 現在の平均 | 目標 | 計算 | 望む数 | 実際 |
|---|---|---|---|---|---|
| 1 | 183% | 50% | 1 × 183 ÷ 50 = 3.66 | 4 | 4個に増える |
| 4 | 96% | 50% | 4 × 96 ÷ 50 = 7.68 | 8 | 8個に増える |
| 8 | 52% | 50% | 8 × 52 ÷ 50 = 8.32 | 9 | 8個のまま |
| 8 | 0% | 50% | 8 × 0 ÷ 50 = 0 | 0 | 1個で止まる(minReplicas) |
| 1 | 900% | 50% | 1 × 900 ÷ 50 = 18 | 18 | 10個で止まる(maxReplicas) |
3行目に注釈が要ります。 計算上は9個ですが、実機では8個のままでした。誤差10%以内なら何もしないという決まりがあるためです。
52 ÷ 50 = 1.04。1から4%しかずれていないので、HPA は「目標どおり」と見なして動きません。 これが無いと、49%と51%を行き来するだけで永久に Pod を作り直し続けます。
そして下2行が、minReplicas と maxReplicas の本当の役割です。 式の答えをそのまま採用せず、必ずこの2つで挟み込みます。
maxReplicasは、財布の蓋です。 バグで CPU を食い続けるコードを出したとき、上限が無ければ、そのままクラウドの請求書になります(本線の クラウド料金は止め忘れで膨らむ — 先に上限を作る と同じ話です)minReplicas: 1は、朝いちばんが遅い原因にもなります。夜中に1個まで減っていると、朝の最初の客は増えるのを待たされます
CPU 以外で測る
metrics はリストなので、複数書けます。 書いた指標のうち最も多くの Pod を必要とするものが採用されます。足し算ではなく、いちばん厳しいものが勝つ方式です。
メモリで測る(勧めない)
metrics:
- type: Resource
resource:
name: memory
target:
type: Utilization
averageUtilization: 70
書けますし、動きます。 ただ、私はこれで一度困りました。
メモリで増えた Pod は、たいてい減りません。
理由は Kubernetes ではなく、アプリの側にあります。
- 多くのプログラムは、一度確保したメモリを OS に返しません。 内部で使い回すほうが速いからです
- Java や Node.js のような実行環境は、特にこれが顕著です。ヒープは膨らんだまま維持されます
- つまり「暇になったからメモリ使用量が下がる」ということが起きません
結果、一度増えた Pod がずっと残り、料金だけ増えます。 そしてもっと悪いのは、メモリ不足は Pod を増やしても解決しないことが多いという点です。1リクエストで 2GB 使うアプリなら、Pod を10個にしても1リクエストの必要量は 2GB のままです。それは requests と limits を見直す話であって、数の話ではありません。
メモリは「増やす合図」としては使えても、「減らす合図」としては使えない、と考えるのが安全でした。
カスタムメトリクスと外部メトリクス
そもそも CPU は、多くのアプリにとって代理の指標にすぎません。 本当に知りたいのは、たいてい別のものです。
| 種類 | 何を見るか | 例 |
|---|---|---|
| Resource | CPU・メモリ | 標準。metrics-server だけで動く |
| Custom(カスタム) | クラスタ内のアプリが出している値 | 秒間リクエスト数、キューの待ち件数、同時接続数 |
| External(外部) | クラスタの外にある値 | クラウドのキューの滞留数、CDN の状況 |
「キューに1000件溜まったら増やす」のほうが、CPU よりずっと素直です(キューの話は本線の 待たせるAPIをやめる — メッセージキューとRabbitMQ にあります)。
ただし、Custom と External は metrics-server では答えられません。 別途、アダプタ(Prometheus に貯めた値を Metrics API の形で答え直す部品など)を入れる必要があります。この記事では入れません。
いま覚えておくべきは1点だけです。
HPA が答えを聞きに行く窓口は3種類あり、CPU だけが最初から用意されている。 他を使いたければ、答える人を自分で用意する。
VPA は「大きさ」を変える
HPA が数を変えるのに対して、VPA(VerticalPodAutoscaler)は1つあたりの大きさを変えます。 正確には、resources.requests の数値を、実際の使用量を見て書き換えます。
何が嬉しいのか。 requests は人が推測で書いています。
- 大きく書きすぎると、ノードの空きを予約だけして使わず、他の Pod が置けなくなります
- 小さく書きすぎると、混んだノードに詰め込まれて遅くなり、メモリなら OOMKilled で落ちます
この推測を、実測に置き換えるのが VPA です。「この Pod は実際は 80m しか使っていないので、requests を 100m にしましょう」と提案し、モードによっては自動で適用します。
適用のときに何が起きるかが重要です。
長いあいだ、
requestsは動いている Pod に対して後から変えられませんでした。 VPA が値を変えるということは、Pod を作り直すということでした。
(Kubernetes 1.35 で、稼働中の Pod の requests を作り直さずに変える仕組みが安定版になり、VPA にも InPlaceOrRecreate があります。ただし版しだいなので、基本は作り直しだと考えておくのが安全です)
そして、いちばん引っかかりやすいのがこれです。
同じ Deployment に、CPU を見る HPA と VPA を同時に付けてはいけません。
衝突するからです。 順に追うと、こうなります。
- 負荷が上がり、CPU 使用率が 90% になる
- HPA は「Pod を増やそう」とする(分母は据え置きで数を増やす)
- VPA は「requests が小さすぎる、大きくしよう」とする(分母を増やす)
- VPA が分母を大きくすると、使用率の計算結果が下がります
- HPA は「余っている」と判断して、今度は減らします
- 減らすと1台あたりの負荷が上がり、また 1 に戻ります
互いの入力を、互いが書き換えている状態です。メモリで測る HPA となら共存できますが、CPU では衝突します。
この記事では VPA を入れません。 標準では同梱されておらず、autoscaler リポジトリから別に導入する必要があるうえ、まず HPA を正しく動かせるほうが先だからです。「requests を人が推測で書いている」という弱点があり、それを機械化する道具があることだけ知っていれば十分です。
Cluster Autoscaler は「ノード」を増やす
ここまでは全部、既にあるノードの中で Pod をやりくりする話でした。 ノードが満杯になったら、どうなるか。
やってみると分かります。 maxReplicas を大きくして負荷をかけ続けると、こうなります。
NAME READY STATUS RESTARTS AGE
web-5c9b7d8f64-2kt8p 1/1 Running 0 4m
web-5c9b7d8f64-x7v2q 0/1 Pending 0 40s
web-5c9b7d8f64-zz4mn 0/1 Pending 0 40s
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedScheduling 45s default-scheduler 0/1 nodes are available: 1 Insufficient cpu.
Pending のまま止まります。 HPA は「10個であれ」と言い、Deployment もそのつもりで作りましたが、置く場所がありません。
HPA は Pod を作らせるだけで、Pod を置く場所は作れません。
ここで登場するのが Cluster Autoscaler です。仕事は1つです。
Pendingの Pod を見つけたら、ノードを1台増やすようクラウドに注文する- どのノードもがら空きになったら、その Pod を他所へ移して、ノードを解約する
そして、自前で組んだクラスタでは動きません。 理由は単純です。
「ノードを1台増やして」と頼む相手が居ないからです。 VMware の中に3台の VM を並べただけのクラスタでは、4台目を自動で買ってくることができません。
Cluster Autoscaler は、AWS・GCP・Azure などの「台数を注文する窓口」に繋いで初めて意味を持ちます。 自前のクラスタでできるのは、満杯になったら Pending になる、という事実を見るところまでです。それを見ておくだけでも価値があります。 マネージドの Kubernetes でノードが自動で増えるのは、この Pending を誰かが見張っているからだと分かるからです。
同じ役割の新しい実装として Karpenter という名前も出てきます。「必要な Pod の内容を見て、それに合う大きさのノードを選んで立てる」という方向のものですが、これもクラウドが前提です。名前だけ知っておけば十分です。
3段の関係を、ここで整理しておきます。
| 何を変えるか | 誰がやるか | 自前クラスタで動くか |
|---|---|---|
| Pod の数 | HPA | 動く(metrics-server が要る) |
| Pod 1つの大きさ(requests) | VPA | 動く(別途導入が要る) |
| ノードの台数 | Cluster Autoscaler / Karpenter | 動かない(クラウドが要る) |
オートスケールが効かない場面
ここがこの記事でいちばん書いておきたかったところです。 HPA は万能ではなく、効かない場面のほうが、初心者が最初に当たる場面です。
1. 起動が遅いアプリ
Pod が増え始めてから、実際に客をさばけるようになるまでの時間を考えます。
- HPA が判断する(最大15秒の待ち。metrics-server の更新も待つ)
- Pod がスケジュールされる(数秒)
- イメージを取ってくる(キャッシュが無ければ数十秒)
- アプリが起動する(Java や Rails なら 30〜60秒が普通)
- Readiness の確認が通る(さらに数秒)
合計で1〜2分かかることも珍しくありません。その間、負荷は増えっぱなしです。
急ぎの増員は、間に合いません。 オートスケールは「じわじわ増える負荷」に効く道具であって、「いま火が出ている」を消す道具ではありません。
2. データベース
PostgreSQL の Pod を HPA で3個に増やしても、性能は上がりません。 それどころか壊れます。同じデータに3人が同時に書き込むからです。これは深掘りの StatefulSet の回 でやったとおりで、数を増やして速くなるのは「どの Pod に行っても同じ答えが返る」ものだけです。
数を増やしていいものと、そうでないものの見分け方は1つです。
その Pod は、自分の中に「自分だけが持っている状態」を持っていないか。
持っていなければ増やせます。持っていれば、増やす前にその状態を外に出す必要があります。
3. 急激なスパイク
テレビで紹介された、セールが始まった、という数秒で10倍になる負荷には、HPA は追いつけません。取れる手は、増やすことではなく、あらかじめ用意しておくことです。イベントの時刻が分かっているなら、前もって minReplicas を上げておくのが正解です。
そして、まず「1台を大きくする」を考える
私がいちばん反省したのはここです。
HPA を設定したくなったとき、その前に問うべきことがあります。
「そもそも、1台をもう少し大きくすれば済む話ではないか。」
- CPU が足りないなら、
limitsを上げるだけで済むことがあります - VM を1台、2コアから4コアにするほうが、確実で、速く、安く済むことがあります
replicas: 3と固定で書いておくだけで足りることも、非常に多いです
HPA を入れると、システムに「勝手に数が変わる」という要素が増えます。 障害のときに「さっきは4個だったのに、いまは1個」という状況が起き、再現できないバグの温床になります。
これは深掘りの初回 1台で足りるなら入れない — Kubernetes深掘り で書いたことと同じ構図でした。動く仕組みを増やすほど、分からないことが増えます。 自動化は、手でやる作業が本当に回らなくなってから入れます。
PodDisruptionBudget — 減らしすぎない下限
HPA とは別の方向から、Pod の数を守るものが1つあります。 HPA が「負荷に応じて増やす」なら、PodDisruptionBudget(PDB)は「作業のために止めるとき、これ以下にはしない」という約束です。
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
name: web
spec:
minAvailable: 2
selector:
matchLabels:
app: web
minAvailable: 2 は「常に2個は動いていること」という意味です。誰に対しての約束かが重要で、これはノードのメンテナンス(kubectl drain)やクラスタの更新のような、計画された停止に対して効きます。ノードが物理的に壊れた場合は守れません(相手が事故なので、約束のしようがありません)。
これが無いと何が起きるか。 ノードを1台ずつ更新していく作業で、運悪く全部の Pod が同じノードに乗っていると、その瞬間サービスが止まります。 PDB があれば、作業側が「いま止めると2個を割る」と分かるので、待ちます。
HPA と組み合わせるときは、噛み合わせに注意します。 minReplicas: 1 の HPA と minAvailable: 2 の PDB を同時に置くと、夜中に1個まで減ったあと、ノードの更新作業が永久に進まなくなります(1個を止めると2個を割るので、待ち続けます)。割合で書くほうが安全です。
spec:
maxUnavailable: 1
maxUnavailable: 1 は「同時に1個までなら止めてよい」。 これなら Pod が何個であっても破綻しません。
つまずいたところ
1. HPA を疑って、1時間溶かした
<unknown> を見て、HPA の YAML を何度も書き直しました。 apiVersion を v1 にしたり v2 に戻したり、目標値を変えたり。全部無関係でした。
kubectl describe hpa を最初に打っていれば、Conditions の FailedGetResourceMetric が1行で答えを教えてくれました。
getで分からなかったらdescribe。 これは HPA に限らず全部のリソースで同じでした。getは結果しか出しませんが、describeは「なぜそうなったか」を出します。
2. --kubelet-insecure-tls を「おまじない」で通しかけた
検索して出てきたコマンドを貼ったら動いたので、そこで止めそうになりました。 止めなかったのは、フラグの名前に insecure と書いてあったからです。
insecure と書いてある設定を、意味を調べずに入れてはいけません。 調べた結果が「学習用なら問題ないが、本番では証明書を直す」だったので、この記事にもそう書きました。 動いたことより、なぜ動かなかったかのほうが情報量が多い、という当たり前のことを、また確認しました。
3. nginx で負荷をかけて「HPA が壊れている」と思った
最初は手元の nginx の Deployment で試しました。wget を回しても CPU が 2% から動きません。 静的ファイルを返すだけの処理は、そもそも CPU をほとんど使わないからです。
負荷試験は「かけたつもり」がいちばん危険でした。まず kubectl top pod で数字が動いているかを確認してから、HPA を見るべきでした。
4. minReplicas: 1 で朝の1発目が遅い
夜間に1個まで減るのは正しい動作ですが、朝の最初のアクセスが目に見えて遅くなりました。 1個で受けきれず、増え始めてから安定するまで1分ほどかかります。
「常に最低これだけ」は、コストではなく品質の設定でした。minReplicas を2にするだけで消えた問題で、これは節約ではなく判断ミスだったと思っています。
5. -w を見て「増えない」と焦った
負荷をかけた直後、30秒ほど TARGETS が 0% のままでした。 metrics-server の値の更新が15秒間隔、HPA の判断も15秒間隔なので、反映まで最大30秒ほど遅れます。
リアルタイムではありません。 これを知らないと、待てば動くものを、待たずに壊しに行きます。
後片づけ
まず、負荷をかける Pod が残っていないかを確認します。
Error from server (NotFound): pods "load" not found
NotFound なら消えています(--rm を付けたためです)。もし残っていたら、これで消します。
ファイルから作ったものは、ファイルで消します。
horizontalpodautoscaler.autoscaling "web" deleted
deployment.apps "web" deleted
service "web" deleted
順番に意味があります。 HPA を先に消します。 Deployment を先に消しても実害はありませんが、HPA が残っていると、宛先の居ないまま FailedGetScale を出し続けます。 面倒を見る側から片づけるのが筋です。
残っていないか確認します。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 6d
service/kubernetes だけが残っていれば片づいています(これはクラスタ自身のもので、消しません)。
metrics-server は残すか、消すか
残すことをおすすめします。 理由は3つです。
- 消費が小さい。 実測で CPU 5m、メモリ 21Mi 程度でした。学習用の VM でも負担になりません
kubectl topが使えるのは、単純に便利です。 「どの Pod が重いのか」を知りたい場面は、HPA と関係なく毎回来ます- 次に HPA を試すとき、また同じところで詰まります
消したいときは、入れ方によって消し方が違います。
minikube のアドオンとして入れたなら、こうです。
配布ファイルから入れたなら、同じファイルで消します。
--kubelet-insecure-tls のパッチも、この削除で一緒に消えます(Deployment ごと消えるためです)。設定だけを戻したいわけではないので、これで十分です。
minikube ごと止めるなら、こうです。
消さずに止めるだけなので、次回 minikube start で続きから使えます。
まとめ
理解できたこと。
- HPA は何も測っていない。 聞きに行くだけ。
<unknown>は故障ではなく「答える人が居ない」という表示 - 答える人は2種類必要だった。 metrics-server(測る係) と、
resources.requests(割合の分母)。片方だけでは足りない requestsは、スケジューラのための申告であると同時に、HPA にとっての「100%の基準線」。1つの数字が2箇所で効く--kubelet-insecure-tlsは「検証をやめる」設定。 学習用の逃げ道であって、本番は kubelet の証明書を正しく署名させる- 判断は
現在数 × 現在の値 ÷ 目標値の切り上げ。ただし誤差10%以内は動かないし、minとmaxで必ず挟まれる - 増えるのは速く、減るのは遅い。 減らす側の300秒はフラッピングを止めるブレーキで、無駄な待ちではない
- メモリでスケールさせると、たいてい減らない。 アプリがメモリを OS に返さないため。メモリ不足は数ではなく
requestsの問題であることが多い - VPA は requests を実測で書き換える道具。 CPU の HPA と同時に使うと、互いの入力を互いが書き換えて振動する
- Cluster Autoscaler は自前クラスタでは動かない。 ノードを注文する相手が居ないため。自前で見られるのは
Pendingで止まるところまで - オートスケールが効かない場面がある。 起動の遅いアプリ・データベース・急なスパイク。まず「1台を大きくする」「固定で足りないか」を先に考える
- PDB は「減らしすぎない下限」。 ただし守れるのは計画された停止に対してだけ。
minAvailableよりmaxUnavailable: 1のほうが噛み合わせで事故りにくい
この回でいちばん効いたのは、<unknown> の原因が HPA の外に2つあったことでした。 表示しているものと、原因のある場所が違う。その場合、いくらそのリソースの YAML を書き直しても直りません。 describe で「なぜ」を聞く癖は、ここで付きました。
そして、いちばん書き足したかったのは最後の節です。 自動で増えるのは気持ちがいいのですが、気持ちよさは判断材料ではありません。 固定の3個で足りるなら、そのほうがいいものが作れます。
参考リンク
- roadmap.sh — Kubernetes
- Kubernetes 公式 — Horizontal Pod Autoscaling
- Kubernetes 公式 — HorizontalPodAutoscaler ウォークスルー
- Kubernetes 公式 — Resource Metrics Pipeline
- Kubernetes 公式 — Managing Resources for Containers
- Kubernetes 公式 — Disruptions
- Kubernetes 公式 — Specifying a Disruption Budget
- Kubernetes 公式 — Cluster Autoscaling
- GitHub — kubernetes-sigs/metrics-server
- GitHub — Vertical Pod Autoscaler
- GitHub — Cluster Autoscaler
- Karpenter 公式
次に読む
この記事は 【深掘り】Kubernetes の 12 / 15 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- HPA と metrics-server
- VPA / Cluster Autoscaler / PDB
この記事は、上の項目を実際に手を動かして確かめる回です。
コメント