リトライ– tag –
-
Docker 深掘り
Docker Composeの依存と環境変数 — depends_onを書いても落ちる
depends_on を書いたのにアプリがデータベースに繋がらず ECONNREFUSED で落ちる。原因は depends_on が「起動順」しか見ていないから。healthcheck と condition: service_healthy で直したうえで、それでもアプリ側のリトライが要る理由を再起動で確かめる。さらに .env と environment と env_file とシェル変数のどれが勝つかを同じ変数名で全部書いて実験し、docker compose config で展開後を読む型、プロファイル、複数ファイルの重ね方、up と --build と --force-recreate の違いまでを実機で通す。 -
システム設計 深掘り
指数バックオフとバルクヘッド — リトライが障害を長引かせる
落ちかけている相手に素朴なリトライを投げると、負荷が3倍になって復旧を邪魔する。この記事では Node.js で「呼ぶ側」と「呼ばれる側」を自分で書き、わざと壊して、到達回数を数えます。素朴なリトライ・指数バックオフ・ジッタの3つを実測で比べ、バックオフだけでは再送の波が揃ってしまうことを確かめます。さらに、遅い相手が全体のコネクションを食い潰す様子をバルクヘッド(同時実行数の隔離)で止め、nginx の upstream で primary を1台落として backup へ切り替わるところを見ます。最後に、全部止めずに古いデータを返す「縮退」を実装し、どの型をいつ入れるかの優先順位で締めます。作業は VM の中の ~/rellab で行い、終わったら全部消します。 -
システム設計 深掘り
メッセージキューの型 — 急ぎの仕事が後ろで待つ
キューを1本立てたら、5分かかる動画変換の後ろで、1秒で終わるパスワード再設定メールが待たされました。キューは「1本立てれば終わり」ではなく、型があります。この記事では RabbitMQ を1つ立て、同じメッセージを「分担する」形と「全員に配る」形の両方を実際に作り、ワーカーを2つ並べて届き方の違いを目で見ます。続いてワーカーを増やして処理時間が縮むのを実測し、prefetch を設定しないと遅いワーカーに仕事が積まれることを再現して直します。優先度キューでは急ぎを先に通したうえで、優先度の低い仕事が永久に処理されない飢餓をわざと起こし、対策を3つ比べます。さらに300件を一気に投げて負荷平準化を実測し、リトライの回数制限とデッドレターキューを実際に作り、順序が要る場合の2つの逃げ道、遅延キューやファンアウトの型、そして「キューを使わない」という選択まで。最後に立てたものを全部消します。 -
システム設計
落ちても全部は止めない — サーキットブレーカと縮退
Redis を止めただけでページが真っ白になるのを、まず自分の手で再現します。次に、タイムアウトを書いていない外部呼び出しを1本足すだけで、DBの接続が10本とも埋まり、関係ないAPIまで巻き添えで死ぬところ(カスケード障害)を実演します。そこから、一番効くタイムアウトの1行、事故を大きくする素直なリトライと指数バックオフ+ジッター、ライブラリを使わず30行で書くサーキットブレーカ(閉・開・半開)、Redis が落ちても遅いDBから返す縮退、同時実行数を区切るバルクヘッドまでを順に入れます。最後に「1台のうちはタイムアウトだけで十分」という線も正直に引きます。
1