バルクヘッド– tag –
-
システム設計 深掘り
指数バックオフとバルクヘッド — リトライが障害を長引かせる
落ちかけている相手に素朴なリトライを投げると、負荷が3倍になって復旧を邪魔する。この記事では Node.js で「呼ぶ側」と「呼ばれる側」を自分で書き、わざと壊して、到達回数を数えます。素朴なリトライ・指数バックオフ・ジッタの3つを実測で比べ、バックオフだけでは再送の波が揃ってしまうことを確かめます。さらに、遅い相手が全体のコネクションを食い潰す様子をバルクヘッド(同時実行数の隔離)で止め、nginx の upstream で primary を1台落として backup へ切り替わるところを見ます。最後に、全部止めずに古いデータを返す「縮退」を実装し、どの型をいつ入れるかの優先順位で締めます。作業は VM の中の ~/rellab で行い、終わったら全部消します。 -
システム設計 深掘り
遅いアプリのアンチパターン7つ — 推測では当たらない
「遅いアプリ」には決まった書き方があります。この記事では Docker Compose で MySQL を1つ立て、1万件のダミーデータを入れ、遅くなる書き方を7つ、わざと自分の手で書きます。SQLを101回打つ版とJOIN 1回の版、全行を取ってアプリで絞る版とWHEREで絞る版、readFileSyncが他の全リクエストを止めるところ、リクエストごとに接続を作る版とコネクションプール、DBに文字列処理をさせて張り付かせる版とその逆、1本の重い処理が軽いAPIを巻き込むところ。すべて「悪い版を測る→直す→また測る」の形で、何倍になったかを数字で出します。最後に一番大事な実験として、推測で直した箇所が全体の2%しか占めていなかったことを実際に作って確かめ、症状から疑う場所を引ける表にまとめます。立てたものは全部消します。 -
システム設計
落ちても全部は止めない — サーキットブレーカと縮退
Redis を止めただけでページが真っ白になるのを、まず自分の手で再現します。次に、タイムアウトを書いていない外部呼び出しを1本足すだけで、DBの接続が10本とも埋まり、関係ないAPIまで巻き添えで死ぬところ(カスケード障害)を実演します。そこから、一番効くタイムアウトの1行、事故を大きくする素直なリトライと指数バックオフ+ジッター、ライブラリを使わず30行で書くサーキットブレーカ(閉・開・半開)、Redis が落ちても遅いDBから返す縮退、同時実行数を区切るバルクヘッドまでを順に入れます。最後に「1台のうちはタイムアウトだけで十分」という線も正直に引きます。
1