縮退運転– tag –
-
システム設計 深掘り
指数バックオフとバルクヘッド — リトライが障害を長引かせる
落ちかけている相手に素朴なリトライを投げると、負荷が3倍になって復旧を邪魔する。この記事では Node.js で「呼ぶ側」と「呼ばれる側」を自分で書き、わざと壊して、到達回数を数えます。素朴なリトライ・指数バックオフ・ジッタの3つを実測で比べ、バックオフだけでは再送の波が揃ってしまうことを確かめます。さらに、遅い相手が全体のコネクションを食い潰す様子をバルクヘッド(同時実行数の隔離)で止め、nginx の upstream で primary を1台落として backup へ切り替わるところを見ます。最後に、全部止めずに古いデータを返す「縮退」を実装し、どの型をいつ入れるかの優先順位で締めます。作業は VM の中の ~/rellab で行い、終わったら全部消します。 -
システム設計
落ちても全部は止めない — サーキットブレーカと縮退
Redis を止めただけでページが真っ白になるのを、まず自分の手で再現します。次に、タイムアウトを書いていない外部呼び出しを1本足すだけで、DBの接続が10本とも埋まり、関係ないAPIまで巻き添えで死ぬところ(カスケード障害)を実演します。そこから、一番効くタイムアウトの1行、事故を大きくする素直なリトライと指数バックオフ+ジッター、ライブラリを使わず30行で書くサーキットブレーカ(閉・開・半開)、Redis が落ちても遅いDBから返す縮退、同時実行数を区切るバルクヘッドまでを順に入れます。最後に「1台のうちはタイムアウトだけで十分」という線も正直に引きます。
1