非同期処理とジョブキュー — 1つの遅い処理が全部を止める
画像を1枚上げるのに30秒待たされる画面を、待たせない形に組み替えます。まず3秒かかる処理を持つエンドポイントを本当に作り、hey で同時に叩いて、無関係な /health まで巻き込まれて遅くなるところを実測します。1つの遅い処理が全体を止める——本線のサーキットブレーカと同じ構図です。次にキューへ積んで 202 Accepted を返し、ワーカーに処理させ、同じ負荷で応答時間が戻ることを測ります。そのかわり利用者からは「終わったか」が見えなくなるので、結果の返し方をポーリング・Webhook・WebSocket/SSE の3方式で対比し、ポーリングを実装します。さらに同じ依頼が2回来ても2回実行されないよう、依頼IDで記録して冪等にします。最後にどこまで非同期にするかの判断表、非同期にすると増える仕事、無限に積まないためのバックプレッシャーまでやって、後片づけします。