深掘り– tag –
-
Kubernetes 深掘り
requestsとlimits — Pendingのまま動かない
Pod が Pending のまま動かない。あるいは動いたのに勝手に落ちて OOMKilled と書いてある。この2つはまったく別の症状に見えて、どちらも requests と limits の話でした。requests は置き場所を決めるための申告でスケジューラが見るもの、limits は実際の上限で kubelet と cgroups が見るもの。役割が違います。わざと大きすぎる requests で Pending を出し、describe node で Allocatable を読み、limits.memory を絞って終了コード137で殺されるところ、limits.cpu を絞って殺されずに遅くなるところまで自分で起こします。QoS の3クラスと LimitRange・ResourceQuota、そして「最初は limits を付けない」という選択肢まで。 -
Kubernetes 深掘り
無停止アップデートとProbe — 更新中に502が出る
「Kubernetes なら無停止で入れ替わる」は自動ではなかった。curl を0.2秒ごとに叩き続けながら更新して、実際にエラーが出るのを見る。原因を3つに分け、readinessProbe で消す。livenessProbe を間違えて再起動を繰り返す状態もわざと作る。maxSurge と maxUnavailable を 0 と 1 で切り替えて置き換わり方を観察し、preStop と終了猶予で接続を切らずに終わる型を作る。最後に Service のラベルだけで Blue/Green とカナリアを実現し、切り戻しの速さ・資源・複雑さで比べる。 -
Kubernetes 深掘り
Podのスケジューリング — 全部同じノードに載った
3台のクラスタなのに、Deployment のレプリカ3つが全部 w1 に載っていました。スケジューラは「置くとき」にしか働かず、あとから均してくれないためです。まずスケジューラが絞り込みと点数付けの2段階で決めていることを表で整理し、置き場所を指定する4つの方法(nodeName・nodeSelector・nodeAffinity の required と preferred)を実際に試して kubectl get pod -o wide で配置を確認します。続いて Pod 同士の関係で決める podAntiAffinity と podAffinity、その要である topologyKey の意味を押さえ、台数が足りないときに required が Pending を生むところをわざと起こします。さらに taint と toleration をノード側から掛け、NoSchedule / PreferNoSchedule / NoExecute の違いを、動いている Pod が追い出されるところまで実演します。topologySpreadConstraints の maxSkew、PriorityClass によるプリエンプション、資源不足で起きるエビクションまで見たうえで、最後に「基本は何も指定しない」を含む使い分けの判断表と、付けた taint とラベルを必ず外す後片づけまでやります。 -
システム設計 深掘り
設計の進め方と容量見積もり — 図ではなく数から始める
「このサービスを設計してください」と言われて、最初に構成図を描き始めると必ず外す。順番は 要件 → 数 → 制約 → 構成 → 検証 で、構成図は4番目。自分の ~/server の tasks を題材に、利用者数から1秒あたりのリクエスト数とデータ量を表で計算し、そのあと ab で1台の限界を実測して、見積もりと突き合わせる。結果は「必要 4 req/s に対して実測 1,100 req/s」。足りているのか足りないのかを数字で言えるようにするまでが、設計の入口。 -
システム設計 深掘り
非同期処理とジョブキュー — 1つの遅い処理が全部を止める
画像を1枚上げるのに30秒待たされる画面を、待たせない形に組み替えます。まず3秒かかる処理を持つエンドポイントを本当に作り、hey で同時に叩いて、無関係な /health まで巻き込まれて遅くなるところを実測します。1つの遅い処理が全体を止める——本線のサーキットブレーカと同じ構図です。次にキューへ積んで 202 Accepted を返し、ワーカーに処理させ、同じ負荷で応答時間が戻ることを測ります。そのかわり利用者からは「終わったか」が見えなくなるので、結果の返し方をポーリング・Webhook・WebSocket/SSE の3方式で対比し、ポーリングを実装します。さらに同じ依頼が2回来ても2回実行されないよう、依頼IDで記録して冪等にします。最後にどこまで非同期にするかの判断表、非同期にすると増える仕事、無限に積まないためのバックプレッシャーまでやって、後片づけします。 -
システム設計 深掘り
キャッシュを置く5つの層 — 入れたのに速くならない
Redis を入れたのに平均レイテンシがほとんど動きませんでした。置く場所が間違っていたからです。まったく同じ1つの処理を、何もしない・アプリのメモリ内・Redis・nginx の proxy_cache・ブラウザの Cache-Control という5つの層でキャッシュして、平均レイテンシとアプリへの到達回数を実際に測り、1枚の表にします。そこから出てくるのは「手前ほど速いが、手前ほど消せない」という、置き場所を決めるためのたった1本の軸です。次にヒット率を測ります。Redis の INFO stats と nginx の X-Cache-Status でヒット数とミス数を数え、ヒット率が低いキャッシュは速くするどころか確認コストの分だけ遅いこと、元の処理が何ミリ秒からキャッシュが黒字になるのかを、式と数字で出します。さらにキャッシュが原因の事故を3つ、わざと起こします。消し忘れで古いデータが出続けるところ、期限切れの瞬間に50本のリクエストが全部 DB へ殺到するキャッシュスタンピード、そしてダミーデータを使って、個人向けの応答が共有キャッシュに入って他人に見えるところまでです。対策は TTL をずらす・ロックする・private と Vary の3つを実際に当てて、直ったことを同じ手順で確認します。最後に、そもそも計算を減らす・索引を張るという「キャッシュを置かない選択」に戻り、何をどの層に置くかの判断表と、後片づけまでやります。 -
システム設計 深掘り
キャッシュの書き込み戦略 — 更新したのに古い値が返る
在庫を 200 に直したのに、画面はいつまでも 100 のままでした。原因はキャッシュを入れたことではなく、「キャッシュをいつ書き換えるか」を決めていなかったことです。まず読み方の型を3つ(cache-aside・read-through・refresh-ahead)実装して、実装の手間・初回の遅さ・一貫性で対比します。続いて山場として、書き方の型3つ(write-through・write-behind・write-around)を実装し、書き込み時間と直後の読み込み時間を実測して表にします。さらに「消す」か「書き換える」かを比べ、2つの更新が交錯して古い値がキャッシュに残る競合を、わざと再現します。TTL を付けないと何が起きるかを maxmemory-policy を確認しながら見て、LRU・LFU・TTL の違いと、期限をばらつかせる理由まで。最後にキーの設計(何で引くか、バージョンを混ぜる、個人を混ぜ忘れて他人のデータが出る事故)と、読み多い・書き多い・失っていいかで選ぶ判断表、後片づけまでやります。 -
システム設計 深掘り
レイテンシとスループット — 台数を増やしたら遅くなった
「遅い」と言われて台数を増やしたら、余計に遅くなりました。増やして直るのはスループットで、私が測っていたのはレイテンシだったからです。1件が終わるまでの時間と、1秒に何件終わるかは、別の量です。この記事では ab で同時接続数を 1 / 10 / 50 / 200 と変えて、スループットが頭打ちになったあともレイテンシだけが伸び続ける点を自分の目で見つけます。次に平均を疑い、同じデータから中央値・p95・p99 を出して、平均が良いのに100人に1人が0.9秒待っている状態を作ります。リトルの法則で実測が式に合うことを確かめ、利用率が80%を超えたところで待ち時間が急に伸びる曲線を測り、最後に「レイテンシを縮める・並列を増やす・仕事を減らす」のどれを選ぶかの判断表と、スケールアップのほうが速いことがある理由までやります。 -
システム設計 深掘り
ロードバランサと振り分け方式 — 3台なのに偏る
upstream に3台書いて満足していたら、1台だけ CPU が張り付いていました。振り分け方を選んでいなかったからです。名前を返すバックエンドを3つ立て、うち1つをわざと遅くして、round robin と least_conn で処理件数がどう変わるかを実測します。続いてログイン状態を持つアプリで「リクエストごとに別の台へ行くと落ちる」を再現し、スティッキー・外部セッション・ステートレスの3択を比べます。1台止めて max_fails と fail_timeout の挙動を見て、既定では落ちた台にも一度は送られること、nginx の無料版は受動ヘルスチェックしか持たないことを確かめます。リバースプロキシとの違い、DNS ラウンドロビンがキャッシュのせいで外せない話、そしてロードバランサ自身が単一障害点になる問題と冗長化の考え方まで。 -
コンピュータ科学 深掘り
文字コードとUTF-8 — 化けたのは読み方だけ
Windows で作った CSV を VM にコピーして開いたら、全部読めない記号になっていました。ファイルが壊れたのだと思って作り直しましたが、壊れていたのは私の読み方でした。この記事では ASCII の表を実際に出して「文字は数字だった」ところから始め、iconv でわざと化けさせ、xxd でバイト列そのものを見て「中身は1バイトも変わっていない」ことを確かめます。そのあと Unicode のコードポイントと UTF-8 の関係を Node.js で測り、絵文字の文字数が数えられない理由(サロゲートペア・書記素クラスタ・NFC / NFD)まで進みます。最後に BOM で JSON のパースとシェルスクリプトを実際に壊して直し、HTML・HTTP・MySQL・Node.js のどこで文字コードを宣言するのかを1枚の表にします。作業は VM の ~/cslab/enc の中だけで行い、最後に消します。