深掘り– category –
**本線を一周した人向け。** roadmap.sh のコースを1つ選んで、その中を細かく潰していく記録。**順路ではありません。** 必要になったコースだけ読んでください。
-
Kubernetes 深掘り
自前運用かマネージドか — 放っておくと1年で止まる
14本かけてクラスタを動かしてきた。では、これを自分で運用するのか。自前運用で発生する仕事を6つ数え、それぞれ「やらないとどうなるか」を書きます。山場は2つ。etcd のスナップショットを実際に取って中身を確認し、復元手順を(危険性を明示したうえで)読みます。もう1つは kubeadm upgrade plan を打って、アップグレードで何が起きるかを見るだけ。そのうえでマネージドが肩代わりするもの・しないものを表にし、費用の3項目を整理し、1本目で決めた「要らない条件」を回収して、Cloud Run・ECS・VPS+Compose・PaaS と並べます。最後にこのサイトとしての結論を出します。 -
Kubernetes 深掘り
RBACとPodのセキュリティ — 全員がcluster-adminだった
練習用のクラスタを、私は全員(といっても自分1人ですが)cluster-admin で使っていました。何を打っても通るので、権限があるのかどうかすら分かりません。この回では、まず kubectl auth can-i --list と kubectl auth whoami で「いまの自分に何ができるか」を出し、ServiceAccount と Role / RoleBinding / ClusterRole / ClusterRoleBinding の関係を図と表で整理します。次に読み取り専用の ServiceAccount を自分で作り、その権限で Pod を作ろうとして拒否されるところまで確かめます。後半は Pod 側で、root で動いていることを確認してから securityContext で落とし、動かなくなったものを直します。Pod Security Admission と NetworkPolicy も1つずつ作って、違反する Pod が本当に弾かれるか、通信が本当に止まるかを目で見ます。名前はすべてダミーです。 -
Kubernetes 深掘り
requestsとlimits — Pendingのまま動かない
Pod が Pending のまま動かない。あるいは動いたのに勝手に落ちて OOMKilled と書いてある。この2つはまったく別の症状に見えて、どちらも requests と limits の話でした。requests は置き場所を決めるための申告でスケジューラが見るもの、limits は実際の上限で kubelet と cgroups が見るもの。役割が違います。わざと大きすぎる requests で Pending を出し、describe node で Allocatable を読み、limits.memory を絞って終了コード137で殺されるところ、limits.cpu を絞って殺されずに遅くなるところまで自分で起こします。QoS の3クラスと LimitRange・ResourceQuota、そして「最初は limits を付けない」という選択肢まで。 -
Kubernetes 深掘り
無停止アップデートとProbe — 更新中に502が出る
「Kubernetes なら無停止で入れ替わる」は自動ではなかった。curl を0.2秒ごとに叩き続けながら更新して、実際にエラーが出るのを見る。原因を3つに分け、readinessProbe で消す。livenessProbe を間違えて再起動を繰り返す状態もわざと作る。maxSurge と maxUnavailable を 0 と 1 で切り替えて置き換わり方を観察し、preStop と終了猶予で接続を切らずに終わる型を作る。最後に Service のラベルだけで Blue/Green とカナリアを実現し、切り戻しの速さ・資源・複雑さで比べる。 -
Kubernetes 深掘り
Podのスケジューリング — 全部同じノードに載った
3台のクラスタなのに、Deployment のレプリカ3つが全部 w1 に載っていました。スケジューラは「置くとき」にしか働かず、あとから均してくれないためです。まずスケジューラが絞り込みと点数付けの2段階で決めていることを表で整理し、置き場所を指定する4つの方法(nodeName・nodeSelector・nodeAffinity の required と preferred)を実際に試して kubectl get pod -o wide で配置を確認します。続いて Pod 同士の関係で決める podAntiAffinity と podAffinity、その要である topologyKey の意味を押さえ、台数が足りないときに required が Pending を生むところをわざと起こします。さらに taint と toleration をノード側から掛け、NoSchedule / PreferNoSchedule / NoExecute の違いを、動いている Pod が追い出されるところまで実演します。topologySpreadConstraints の maxSkew、PriorityClass によるプリエンプション、資源不足で起きるエビクションまで見たうえで、最後に「基本は何も指定しない」を含む使い分けの判断表と、付けた taint とラベルを必ず外す後片づけまでやります。 -
Docker 深掘り
Docker Composeの依存と環境変数 — depends_onを書いても落ちる
depends_on を書いたのにアプリがデータベースに繋がらず ECONNREFUSED で落ちる。原因は depends_on が「起動順」しか見ていないから。healthcheck と condition: service_healthy で直したうえで、それでもアプリ側のリトライが要る理由を再起動で確かめる。さらに .env と environment と env_file とシェル変数のどれが勝つかを同じ変数名で全部書いて実験し、docker compose config で展開後を読む型、プロファイル、複数ファイルの重ね方、up と --build と --force-recreate の違いまでを実機で通す。 -
Docker 深掘り
本番のDocker Composeを組む — 決めることは8つある
開発で動いた compose.yaml を、そのまま本番に持っていってはいけない。決めることは8つある。イメージ・実行・資源・ログ・監視・秘密情報・更新・復旧の点検表を先に作り、latest をやめてダイジェストで固め、trivy で脆弱性の件数を実際に見て、ログドライバを設定せずにディスクが埋まるところを再現し、-e で渡した秘密が docker inspect で丸見えになることを確かめ、healthcheck と restart で落ちても戻る形を作り、最後に8項目が全部入った compose.yaml を全文で組み上げる。 -
システム設計 深掘り
設計の進め方と容量見積もり — 図ではなく数から始める
「このサービスを設計してください」と言われて、最初に構成図を描き始めると必ず外す。順番は 要件 → 数 → 制約 → 構成 → 検証 で、構成図は4番目。自分の ~/server の tasks を題材に、利用者数から1秒あたりのリクエスト数とデータ量を表で計算し、そのあと ab で1台の限界を実測して、見積もりと突き合わせる。結果は「必要 4 req/s に対して実測 1,100 req/s」。足りているのか足りないのかを数字で言えるようにするまでが、設計の入口。 -
システム設計 深掘り
非同期処理とジョブキュー — 1つの遅い処理が全部を止める
画像を1枚上げるのに30秒待たされる画面を、待たせない形に組み替えます。まず3秒かかる処理を持つエンドポイントを本当に作り、hey で同時に叩いて、無関係な /health まで巻き込まれて遅くなるところを実測します。1つの遅い処理が全体を止める——本線のサーキットブレーカと同じ構図です。次にキューへ積んで 202 Accepted を返し、ワーカーに処理させ、同じ負荷で応答時間が戻ることを測ります。そのかわり利用者からは「終わったか」が見えなくなるので、結果の返し方をポーリング・Webhook・WebSocket/SSE の3方式で対比し、ポーリングを実装します。さらに同じ依頼が2回来ても2回実行されないよう、依頼IDで記録して冪等にします。最後にどこまで非同期にするかの判断表、非同期にすると増える仕事、無限に積まないためのバックプレッシャーまでやって、後片づけします。 -
システム設計 深掘り
キャッシュを置く5つの層 — 入れたのに速くならない
Redis を入れたのに平均レイテンシがほとんど動きませんでした。置く場所が間違っていたからです。まったく同じ1つの処理を、何もしない・アプリのメモリ内・Redis・nginx の proxy_cache・ブラウザの Cache-Control という5つの層でキャッシュして、平均レイテンシとアプリへの到達回数を実際に測り、1枚の表にします。そこから出てくるのは「手前ほど速いが、手前ほど消せない」という、置き場所を決めるためのたった1本の軸です。次にヒット率を測ります。Redis の INFO stats と nginx の X-Cache-Status でヒット数とミス数を数え、ヒット率が低いキャッシュは速くするどころか確認コストの分だけ遅いこと、元の処理が何ミリ秒からキャッシュが黒字になるのかを、式と数字で出します。さらにキャッシュが原因の事故を3つ、わざと起こします。消し忘れで古いデータが出続けるところ、期限切れの瞬間に50本のリクエストが全部 DB へ殺到するキャッシュスタンピード、そしてダミーデータを使って、個人向けの応答が共有キャッシュに入って他人に見えるところまでです。対策は TTL をずらす・ロックする・private と Vary の3つを実際に当てて、直ったことを同じ手順で確認します。最後に、そもそも計算を減らす・索引を張るという「キャッシュを置かない選択」に戻り、何をどの層に置くかの判断表と、後片づけまでやります。