システム設計– tag –
-
システム設計 深掘り
推測で直さず測って潰す — システム設計の到達作品
システム設計深掘りコースの到達点として、わざと遅いアプリを1つ立て、負荷をかけて p95 が悪化する点を見つけ、ボトルネックを1つだけ特定して潰し、Before/After を数字で示す回です。新しい知識はほとんど出てきません。これまで見てきたレイテンシとスループット、キャッシュ、負荷分散、結果整合、非同期を、1つの流れに束ねます。500,000 行のテーブルと索引の無いクエリでわざと遅くしたAPIに ab で負荷をかけ、平均ではなく p95・p99 を記録し、top と MySQL のプロセス一覧でどこが詰まっているかを切り分け、索引を1本張って同じ負荷で測り直します。数百ミリ秒が数十ミリ秒に変わることを、スループット・p95・p99 の1枚の表で示して締めます。 -
システム設計 深掘り
設計の進め方と容量見積もり — 図ではなく数から始める
「このサービスを設計してください」と言われて、最初に構成図を描き始めると必ず外す。順番は 要件 → 数 → 制約 → 構成 → 検証 で、構成図は4番目。自分の ~/server の tasks を題材に、利用者数から1秒あたりのリクエスト数とデータ量を表で計算し、そのあと ab で1台の限界を実測して、見積もりと突き合わせる。結果は「必要 4 req/s に対して実測 1,100 req/s」。足りているのか足りないのかを数字で言えるようにするまでが、設計の入口。 -
システム設計 深掘り
非同期処理とジョブキュー — 1つの遅い処理が全部を止める
画像を1枚上げるのに30秒待たされる画面を、待たせない形に組み替えます。まず3秒かかる処理を持つエンドポイントを本当に作り、hey で同時に叩いて、無関係な /health まで巻き込まれて遅くなるところを実測します。1つの遅い処理が全体を止める——本線のサーキットブレーカと同じ構図です。次にキューへ積んで 202 Accepted を返し、ワーカーに処理させ、同じ負荷で応答時間が戻ることを測ります。そのかわり利用者からは「終わったか」が見えなくなるので、結果の返し方をポーリング・Webhook・WebSocket/SSE の3方式で対比し、ポーリングを実装します。さらに同じ依頼が2回来ても2回実行されないよう、依頼IDで記録して冪等にします。最後にどこまで非同期にするかの判断表、非同期にすると増える仕事、無限に積まないためのバックプレッシャーまでやって、後片づけします。 -
システム設計 深掘り
キャッシュを置く5つの層 — 入れたのに速くならない
Redis を入れたのに平均レイテンシがほとんど動きませんでした。置く場所が間違っていたからです。まったく同じ1つの処理を、何もしない・アプリのメモリ内・Redis・nginx の proxy_cache・ブラウザの Cache-Control という5つの層でキャッシュして、平均レイテンシとアプリへの到達回数を実際に測り、1枚の表にします。そこから出てくるのは「手前ほど速いが、手前ほど消せない」という、置き場所を決めるためのたった1本の軸です。次にヒット率を測ります。Redis の INFO stats と nginx の X-Cache-Status でヒット数とミス数を数え、ヒット率が低いキャッシュは速くするどころか確認コストの分だけ遅いこと、元の処理が何ミリ秒からキャッシュが黒字になるのかを、式と数字で出します。さらにキャッシュが原因の事故を3つ、わざと起こします。消し忘れで古いデータが出続けるところ、期限切れの瞬間に50本のリクエストが全部 DB へ殺到するキャッシュスタンピード、そしてダミーデータを使って、個人向けの応答が共有キャッシュに入って他人に見えるところまでです。対策は TTL をずらす・ロックする・private と Vary の3つを実際に当てて、直ったことを同じ手順で確認します。最後に、そもそも計算を減らす・索引を張るという「キャッシュを置かない選択」に戻り、何をどの層に置くかの判断表と、後片づけまでやります。 -
システム設計 深掘り
キャッシュの書き込み戦略 — 更新したのに古い値が返る
在庫を 200 に直したのに、画面はいつまでも 100 のままでした。原因はキャッシュを入れたことではなく、「キャッシュをいつ書き換えるか」を決めていなかったことです。まず読み方の型を3つ(cache-aside・read-through・refresh-ahead)実装して、実装の手間・初回の遅さ・一貫性で対比します。続いて山場として、書き方の型3つ(write-through・write-behind・write-around)を実装し、書き込み時間と直後の読み込み時間を実測して表にします。さらに「消す」か「書き換える」かを比べ、2つの更新が交錯して古い値がキャッシュに残る競合を、わざと再現します。TTL を付けないと何が起きるかを maxmemory-policy を確認しながら見て、LRU・LFU・TTL の違いと、期限をばらつかせる理由まで。最後にキーの設計(何で引くか、バージョンを混ぜる、個人を混ぜ忘れて他人のデータが出る事故)と、読み多い・書き多い・失っていいかで選ぶ判断表、後片づけまでやります。 -
システム設計 深掘り
レイテンシとスループット — 台数を増やしたら遅くなった
「遅い」と言われて台数を増やしたら、余計に遅くなりました。増やして直るのはスループットで、私が測っていたのはレイテンシだったからです。1件が終わるまでの時間と、1秒に何件終わるかは、別の量です。この記事では ab で同時接続数を 1 / 10 / 50 / 200 と変えて、スループットが頭打ちになったあともレイテンシだけが伸び続ける点を自分の目で見つけます。次に平均を疑い、同じデータから中央値・p95・p99 を出して、平均が良いのに100人に1人が0.9秒待っている状態を作ります。リトルの法則で実測が式に合うことを確かめ、利用率が80%を超えたところで待ち時間が急に伸びる曲線を測り、最後に「レイテンシを縮める・並列を増やす・仕事を減らす」のどれを選ぶかの判断表と、スケールアップのほうが速いことがある理由までやります。 -
システム設計 深掘り
レプリケーションとシャーディング — 書き込みは速くならない
書き込みが詰まったのでレプリカを2台足したのに、書き込みは1ミリ秒も速くなりませんでした。レプリケーションが分散するのは「読み」だけで、「書き」は primary 1台に集まったままだからです。この記事では MySQL を Docker Compose で primary 1台 + replica 2台立てて実際にレプリケーションを組み、読みを振り分けたときに primary の CPU がどう下がるかを docker stats で測ります。次にわざと遅延を作り、遅れたレプリカを読むと古い値が返ることを再現します。primary を停めてレプリカを昇格させ、昇格が自動ではないこと、古い primary を戻すと二重書き込みになることも手で確かめます。後半はシャーディングで、範囲・ハッシュ・一貫性ハッシュの3つの分け方を Node のスクリプトで実際に計算し、台数を1台増やしたときに何%のデータが引っ越すかを数えます。最後に2台に分けた MySQL で JOIN・トランザクション・採番が壊れるところまで再現して、全部消します。 -
システム設計 深掘り
イベント駆動アーキテクチャ — 機能を足すたび注文APIが壊れる
注文が入ったらメールを送り、在庫を減らし、売上集計を更新する。この3つを注文APIから順に呼ぶ形で作ったところ、メールサーバーを1つ落としただけで注文そのものが500になりました。この記事では同じ機能を Redis Streams のイベント形に組み替え、購読側を1つ落としても注文が通ること、機能を1つ足しても注文APIを1行も触らずに済むことを実測します。そのうえで代償を正面から測ります。全体の流れがどこにも書かれていないこと、相関IDが無いと追跡できないこと、注文直後にメール履歴がまだ無いこと、同じイベントが2回届くことを、わざと起こして確かめます。続いてコマンドとイベントの違い、指揮者を置く形と各自が反応する形を比べ、CQRSでは20万件の集計クエリと、イベントで更新しておいた集計テーブルの実行時間を並べます。最後にイベントソーシングを小さく実装し、再生が遅くなるところまで見てから「大半のアプリには要らない」と結論を書き、立てたものを全部消します。 -
システム設計 深掘り
サービスディスカバリと名前解決 — 相手のIPを書いたら翌日壊れた
サービスAの設定ファイルにサービスBのIPアドレスを書いたら、コンテナを作り直した翌日に全部つながらなくなりました。この記事では Docker Compose で小さなサービスを2つ立て、まず docker inspect でIPが実際に変わるところを見てから、IP直書きが壊れる瞬間を再現します。次にサービス名で呼ぶ形に直し、getent hosts でDNS解決を確かめます。そのうえで「DNSだけでは足りない」ことを、nginx が起動時に解決したIPを掴んだまま502を返し続けるところで実測し、resolver と TTL で直します。さらに Redis を登録簿にした小さなサービスレジストリを作り、SETEX と定期更新で登録し、片方を止めると登録が自動で消えるところを確認します。最後に nginx で入口を1つにまとめる API ゲートウェイとレート制限を作り、BFF の考え方まで触れて、立てたものを全部消します。 -
システム設計 深掘り
データストアの選び方 — 速いのはJOINをしていないから
「NoSQLは速い」と聞いて MongoDB に移し、3ヶ月後に自分でJOINを書いていました。データの持ち方は速さで選ぶものではなく、どう問い合わせるかで決まります。この記事では Docker Compose で MySQL・Redis・MongoDB を同時に立て、利用者・投稿・タグ・フォローという同じ題材を、キーバリュー・ドキュメント・リレーショナルの3つの形で実際に持ってみます。同じ問いを3つの形に投げ、取れるもの・取れないもの・何回問い合わせが要るかを数えます。さらに1000万行のテーブルを作り、1列だけ合計する問いで行単位に読む形の不利を EXPLAIN と実行時間で見せ、列指向が何をしているのかを被覆索引で再現します。最後にフォローを3段たどる問いを再帰CTEで書き、深さを1つ増やすだけで急に遅くなるところを実測して、グラフDBが要る場面と要らない場面を分けます。立てたものは全部消します。
12