システム設計 深掘り– category –
本線の第8段階の続き。設計の判断軸を、動かして確かめる。
-
システム設計 深掘り
推測で直さず測って潰す — システム設計の到達作品
システム設計深掘りコースの到達点として、わざと遅いアプリを1つ立て、負荷をかけて p95 が悪化する点を見つけ、ボトルネックを1つだけ特定して潰し、Before/After を数字で示す回です。新しい知識はほとんど出てきません。これまで見てきたレイテンシとスループット、キャッシュ、負荷分散、結果整合、非同期を、1つの流れに束ねます。500,000 行のテーブルと索引の無いクエリでわざと遅くしたAPIに ab で負荷をかけ、平均ではなく p95・p99 を記録し、top と MySQL のプロセス一覧でどこが詰まっているかを切り分け、索引を1本張って同じ負荷で測り直します。数百ミリ秒が数十ミリ秒に変わることを、スループット・p95・p99 の1枚の表で示して締めます。 -
システム設計 深掘り
設計の進め方と容量見積もり — 図ではなく数から始める
「このサービスを設計してください」と言われて、最初に構成図を描き始めると必ず外す。順番は 要件 → 数 → 制約 → 構成 → 検証 で、構成図は4番目。自分の ~/server の tasks を題材に、利用者数から1秒あたりのリクエスト数とデータ量を表で計算し、そのあと ab で1台の限界を実測して、見積もりと突き合わせる。結果は「必要 4 req/s に対して実測 1,100 req/s」。足りているのか足りないのかを数字で言えるようにするまでが、設計の入口。 -
システム設計 深掘り
非同期処理とジョブキュー — 1つの遅い処理が全部を止める
画像を1枚上げるのに30秒待たされる画面を、待たせない形に組み替えます。まず3秒かかる処理を持つエンドポイントを本当に作り、hey で同時に叩いて、無関係な /health まで巻き込まれて遅くなるところを実測します。1つの遅い処理が全体を止める——本線のサーキットブレーカと同じ構図です。次にキューへ積んで 202 Accepted を返し、ワーカーに処理させ、同じ負荷で応答時間が戻ることを測ります。そのかわり利用者からは「終わったか」が見えなくなるので、結果の返し方をポーリング・Webhook・WebSocket/SSE の3方式で対比し、ポーリングを実装します。さらに同じ依頼が2回来ても2回実行されないよう、依頼IDで記録して冪等にします。最後にどこまで非同期にするかの判断表、非同期にすると増える仕事、無限に積まないためのバックプレッシャーまでやって、後片づけします。 -
システム設計 深掘り
キャッシュを置く5つの層 — 入れたのに速くならない
Redis を入れたのに平均レイテンシがほとんど動きませんでした。置く場所が間違っていたからです。まったく同じ1つの処理を、何もしない・アプリのメモリ内・Redis・nginx の proxy_cache・ブラウザの Cache-Control という5つの層でキャッシュして、平均レイテンシとアプリへの到達回数を実際に測り、1枚の表にします。そこから出てくるのは「手前ほど速いが、手前ほど消せない」という、置き場所を決めるためのたった1本の軸です。次にヒット率を測ります。Redis の INFO stats と nginx の X-Cache-Status でヒット数とミス数を数え、ヒット率が低いキャッシュは速くするどころか確認コストの分だけ遅いこと、元の処理が何ミリ秒からキャッシュが黒字になるのかを、式と数字で出します。さらにキャッシュが原因の事故を3つ、わざと起こします。消し忘れで古いデータが出続けるところ、期限切れの瞬間に50本のリクエストが全部 DB へ殺到するキャッシュスタンピード、そしてダミーデータを使って、個人向けの応答が共有キャッシュに入って他人に見えるところまでです。対策は TTL をずらす・ロックする・private と Vary の3つを実際に当てて、直ったことを同じ手順で確認します。最後に、そもそも計算を減らす・索引を張るという「キャッシュを置かない選択」に戻り、何をどの層に置くかの判断表と、後片づけまでやります。 -
システム設計 深掘り
キャッシュの書き込み戦略 — 更新したのに古い値が返る
在庫を 200 に直したのに、画面はいつまでも 100 のままでした。原因はキャッシュを入れたことではなく、「キャッシュをいつ書き換えるか」を決めていなかったことです。まず読み方の型を3つ(cache-aside・read-through・refresh-ahead)実装して、実装の手間・初回の遅さ・一貫性で対比します。続いて山場として、書き方の型3つ(write-through・write-behind・write-around)を実装し、書き込み時間と直後の読み込み時間を実測して表にします。さらに「消す」か「書き換える」かを比べ、2つの更新が交錯して古い値がキャッシュに残る競合を、わざと再現します。TTL を付けないと何が起きるかを maxmemory-policy を確認しながら見て、LRU・LFU・TTL の違いと、期限をばらつかせる理由まで。最後にキーの設計(何で引くか、バージョンを混ぜる、個人を混ぜ忘れて他人のデータが出る事故)と、読み多い・書き多い・失っていいかで選ぶ判断表、後片づけまでやります。 -
システム設計 深掘り
CDNとエッジキャッシュ — 距離は速度で解決できない
東京のサーバーに海外から繋ぐと、何をどう速くしても縮まらない時間がある。光の速さは変えられないので、近くに置くしかない。距離が往復時間にどう効くかを実測して理論値と突き合わせ、nginx を2つ立てて「エッジとオリジン」を手元で作り、キャッシュのヒットとパージ、プル型とプッシュ型、キャッシュしてはいけないもの、オリジンを守る stale-while-revalidate までを、契約せずに確かめる。 -
システム設計 深掘り
レイテンシとスループット — 台数を増やしたら遅くなった
「遅い」と言われて台数を増やしたら、余計に遅くなりました。増やして直るのはスループットで、私が測っていたのはレイテンシだったからです。1件が終わるまでの時間と、1秒に何件終わるかは、別の量です。この記事では ab で同時接続数を 1 / 10 / 50 / 200 と変えて、スループットが頭打ちになったあともレイテンシだけが伸び続ける点を自分の目で見つけます。次に平均を疑い、同じデータから中央値・p95・p99 を出して、平均が良いのに100人に1人が0.9秒待っている状態を作ります。リトルの法則で実測が式に合うことを確かめ、利用率が80%を超えたところで待ち時間が急に伸びる曲線を測り、最後に「レイテンシを縮める・並列を増やす・仕事を減らす」のどれを選ぶかの判断表と、スケールアップのほうが速いことがある理由までやります。 -
システム設計 深掘り
ロードバランサと振り分け方式 — 3台なのに偏る
upstream に3台書いて満足していたら、1台だけ CPU が張り付いていました。振り分け方を選んでいなかったからです。名前を返すバックエンドを3つ立て、うち1つをわざと遅くして、round robin と least_conn で処理件数がどう変わるかを実測します。続いてログイン状態を持つアプリで「リクエストごとに別の台へ行くと落ちる」を再現し、スティッキー・外部セッション・ステートレスの3択を比べます。1台止めて max_fails と fail_timeout の挙動を見て、既定では落ちた台にも一度は送られること、nginx の無料版は受動ヘルスチェックしか持たないことを確かめます。リバースプロキシとの違い、DNS ラウンドロビンがキャッシュのせいで外せない話、そしてロードバランサ自身が単一障害点になる問題と冗長化の考え方まで。 -
システム設計 深掘り
レプリケーションとシャーディング — 書き込みは速くならない
書き込みが詰まったのでレプリカを2台足したのに、書き込みは1ミリ秒も速くなりませんでした。レプリケーションが分散するのは「読み」だけで、「書き」は primary 1台に集まったままだからです。この記事では MySQL を Docker Compose で primary 1台 + replica 2台立てて実際にレプリケーションを組み、読みを振り分けたときに primary の CPU がどう下がるかを docker stats で測ります。次にわざと遅延を作り、遅れたレプリカを読むと古い値が返ることを再現します。primary を停めてレプリカを昇格させ、昇格が自動ではないこと、古い primary を戻すと二重書き込みになることも手で確かめます。後半はシャーディングで、範囲・ハッシュ・一貫性ハッシュの3つの分け方を Node のスクリプトで実際に計算し、台数を1台増やしたときに何%のデータが引っ越すかを数えます。最後に2台に分けた MySQL で JOIN・トランザクション・採番が壊れるところまで再現して、全部消します。 -
システム設計 深掘り
指数バックオフとバルクヘッド — リトライが障害を長引かせる
落ちかけている相手に素朴なリトライを投げると、負荷が3倍になって復旧を邪魔する。この記事では Node.js で「呼ぶ側」と「呼ばれる側」を自分で書き、わざと壊して、到達回数を数えます。素朴なリトライ・指数バックオフ・ジッタの3つを実測で比べ、バックオフだけでは再送の波が揃ってしまうことを確かめます。さらに、遅い相手が全体のコネクションを食い潰す様子をバルクヘッド(同時実行数の隔離)で止め、nginx の upstream で primary を1台落として backup へ切り替わるところを見ます。最後に、全部止めずに古いデータを返す「縮退」を実装し、どの型をいつ入れるかの優先順位で締めます。作業は VM の中の ~/rellab で行い、終わったら全部消します。
12