冪等性– tag –
-
システム設計 深掘り
非同期処理とジョブキュー — 1つの遅い処理が全部を止める
画像を1枚上げるのに30秒待たされる画面を、待たせない形に組み替えます。まず3秒かかる処理を持つエンドポイントを本当に作り、hey で同時に叩いて、無関係な /health まで巻き込まれて遅くなるところを実測します。1つの遅い処理が全体を止める——本線のサーキットブレーカと同じ構図です。次にキューへ積んで 202 Accepted を返し、ワーカーに処理させ、同じ負荷で応答時間が戻ることを測ります。そのかわり利用者からは「終わったか」が見えなくなるので、結果の返し方をポーリング・Webhook・WebSocket/SSE の3方式で対比し、ポーリングを実装します。さらに同じ依頼が2回来ても2回実行されないよう、依頼IDで記録して冪等にします。最後にどこまで非同期にするかの判断表、非同期にすると増える仕事、無限に積まないためのバックプレッシャーまでやって、後片づけします。 -
システム設計 深掘り
指数バックオフとバルクヘッド — リトライが障害を長引かせる
落ちかけている相手に素朴なリトライを投げると、負荷が3倍になって復旧を邪魔する。この記事では Node.js で「呼ぶ側」と「呼ばれる側」を自分で書き、わざと壊して、到達回数を数えます。素朴なリトライ・指数バックオフ・ジッタの3つを実測で比べ、バックオフだけでは再送の波が揃ってしまうことを確かめます。さらに、遅い相手が全体のコネクションを食い潰す様子をバルクヘッド(同時実行数の隔離)で止め、nginx の upstream で primary を1台落として backup へ切り替わるところを見ます。最後に、全部止めずに古いデータを返す「縮退」を実装し、どの型をいつ入れるかの優先順位で締めます。作業は VM の中の ~/rellab で行い、終わったら全部消します。 -
システム設計 深掘り
イベント駆動アーキテクチャ — 機能を足すたび注文APIが壊れる
注文が入ったらメールを送り、在庫を減らし、売上集計を更新する。この3つを注文APIから順に呼ぶ形で作ったところ、メールサーバーを1つ落としただけで注文そのものが500になりました。この記事では同じ機能を Redis Streams のイベント形に組み替え、購読側を1つ落としても注文が通ること、機能を1つ足しても注文APIを1行も触らずに済むことを実測します。そのうえで代償を正面から測ります。全体の流れがどこにも書かれていないこと、相関IDが無いと追跡できないこと、注文直後にメール履歴がまだ無いこと、同じイベントが2回届くことを、わざと起こして確かめます。続いてコマンドとイベントの違い、指揮者を置く形と各自が反応する形を比べ、CQRSでは20万件の集計クエリと、イベントで更新しておいた集計テーブルの実行時間を並べます。最後にイベントソーシングを小さく実装し、再生が遅くなるところまで見てから「大半のアプリには要らない」と結論を書き、立てたものを全部消します。 -
キャッシュとキュー
待たせるAPIをやめる — メッセージキューとRabbitMQ
5秒かかる処理をリクエストの中でやると、利用者は5秒待たされます。まず本当に遅いAPIを作って測り、それを「受け取ったら即返す・処理は別プロセス」に組み替えます。RabbitMQ を Docker Compose で立てて(管理画面は外に出しません)、producer と consumer を書き、キューが溜まる様子を管理画面で見ます。そして必ず起きること——ack を返さないと同じ処理が2回走る——をわざと起こして、冪等に直します。最後に「個人のサービスならたいてい要らない」話をします。 -
アプリ
Webhookは向こうから来る — Botと署名検証
APIは「こちらから聞きに行く」もの、Webhookは「向こうから来る」もの。この向きの違いが全部を決めます。まず最大の壁——自分のVMには外から届かない——をNATの話から正面で扱い、トンネル・VPS・ポート開放を比べます。次に受け口を作り、山場の署名検証をHMACで自分で書きます。ここで必ずハマる「express.json のあとでは検証できない」と「=== で比べてはいけない」も実際に起こします。さらに、遅いと再送されて二重実行されること、同じイベントIDが2回来ること(再送は仕様)に、200即返しと冪等化で対処します。最後に返信する側のトークン管理・レート制限・リトライ、そしてBotが荒らしにならないための設計まで。トークンはすべてダミーです。
1