Redis– tag –
-
AWS 深掘り
RDSとElastiCacheの仕組み — フェイルオーバーで接続が切れる
MySQL と Redis は自分で立てられるのに、なぜ RDS と ElastiCache があるのか。「マネージドにすれば運用が要らなくなる」と思っていたのが間違いで、実際には運用の種類が変わるだけでした。この記事では、AWS が肩代わりする仕事と自分に残る仕事を1枚の表に分け、create-db-instance の全パラメータの意味を読めるようにします。そのうえで「マルチAZにしたのに読み取りが速くならない」「切り替わった瞬間に接続が全部切れる」という2つの誤解を、手元の Docker MySQL で実際に再現して直します。最後に、自分で立てるのと RDS のどちらを選ぶかを判断表にします。 -
システム設計 深掘り
非同期処理とジョブキュー — 1つの遅い処理が全部を止める
画像を1枚上げるのに30秒待たされる画面を、待たせない形に組み替えます。まず3秒かかる処理を持つエンドポイントを本当に作り、hey で同時に叩いて、無関係な /health まで巻き込まれて遅くなるところを実測します。1つの遅い処理が全体を止める——本線のサーキットブレーカと同じ構図です。次にキューへ積んで 202 Accepted を返し、ワーカーに処理させ、同じ負荷で応答時間が戻ることを測ります。そのかわり利用者からは「終わったか」が見えなくなるので、結果の返し方をポーリング・Webhook・WebSocket/SSE の3方式で対比し、ポーリングを実装します。さらに同じ依頼が2回来ても2回実行されないよう、依頼IDで記録して冪等にします。最後にどこまで非同期にするかの判断表、非同期にすると増える仕事、無限に積まないためのバックプレッシャーまでやって、後片づけします。 -
システム設計 深掘り
キャッシュを置く5つの層 — 入れたのに速くならない
Redis を入れたのに平均レイテンシがほとんど動きませんでした。置く場所が間違っていたからです。まったく同じ1つの処理を、何もしない・アプリのメモリ内・Redis・nginx の proxy_cache・ブラウザの Cache-Control という5つの層でキャッシュして、平均レイテンシとアプリへの到達回数を実際に測り、1枚の表にします。そこから出てくるのは「手前ほど速いが、手前ほど消せない」という、置き場所を決めるためのたった1本の軸です。次にヒット率を測ります。Redis の INFO stats と nginx の X-Cache-Status でヒット数とミス数を数え、ヒット率が低いキャッシュは速くするどころか確認コストの分だけ遅いこと、元の処理が何ミリ秒からキャッシュが黒字になるのかを、式と数字で出します。さらにキャッシュが原因の事故を3つ、わざと起こします。消し忘れで古いデータが出続けるところ、期限切れの瞬間に50本のリクエストが全部 DB へ殺到するキャッシュスタンピード、そしてダミーデータを使って、個人向けの応答が共有キャッシュに入って他人に見えるところまでです。対策は TTL をずらす・ロックする・private と Vary の3つを実際に当てて、直ったことを同じ手順で確認します。最後に、そもそも計算を減らす・索引を張るという「キャッシュを置かない選択」に戻り、何をどの層に置くかの判断表と、後片づけまでやります。 -
システム設計 深掘り
キャッシュの書き込み戦略 — 更新したのに古い値が返る
在庫を 200 に直したのに、画面はいつまでも 100 のままでした。原因はキャッシュを入れたことではなく、「キャッシュをいつ書き換えるか」を決めていなかったことです。まず読み方の型を3つ(cache-aside・read-through・refresh-ahead)実装して、実装の手間・初回の遅さ・一貫性で対比します。続いて山場として、書き方の型3つ(write-through・write-behind・write-around)を実装し、書き込み時間と直後の読み込み時間を実測して表にします。さらに「消す」か「書き換える」かを比べ、2つの更新が交錯して古い値がキャッシュに残る競合を、わざと再現します。TTL を付けないと何が起きるかを maxmemory-policy を確認しながら見て、LRU・LFU・TTL の違いと、期限をばらつかせる理由まで。最後にキーの設計(何で引くか、バージョンを混ぜる、個人を混ぜ忘れて他人のデータが出る事故)と、読み多い・書き多い・失っていいかで選ぶ判断表、後片づけまでやります。 -
システム設計 深掘り
サービスディスカバリと名前解決 — 相手のIPを書いたら翌日壊れた
サービスAの設定ファイルにサービスBのIPアドレスを書いたら、コンテナを作り直した翌日に全部つながらなくなりました。この記事では Docker Compose で小さなサービスを2つ立て、まず docker inspect でIPが実際に変わるところを見てから、IP直書きが壊れる瞬間を再現します。次にサービス名で呼ぶ形に直し、getent hosts でDNS解決を確かめます。そのうえで「DNSだけでは足りない」ことを、nginx が起動時に解決したIPを掴んだまま502を返し続けるところで実測し、resolver と TTL で直します。さらに Redis を登録簿にした小さなサービスレジストリを作り、SETEX と定期更新で登録し、片方を止めると登録が自動で消えるところを確認します。最後に nginx で入口を1つにまとめる API ゲートウェイとレート制限を作り、BFF の考え方まで触れて、立てたものを全部消します。 -
システム設計 深掘り
データストアの選び方 — 速いのはJOINをしていないから
「NoSQLは速い」と聞いて MongoDB に移し、3ヶ月後に自分でJOINを書いていました。データの持ち方は速さで選ぶものではなく、どう問い合わせるかで決まります。この記事では Docker Compose で MySQL・Redis・MongoDB を同時に立て、利用者・投稿・タグ・フォローという同じ題材を、キーバリュー・ドキュメント・リレーショナルの3つの形で実際に持ってみます。同じ問いを3つの形に投げ、取れるもの・取れないもの・何回問い合わせが要るかを数えます。さらに1000万行のテーブルを作り、1列だけ合計する問いで行単位に読む形の不利を EXPLAIN と実行時間で見せ、列指向が何をしているのかを被覆索引で再現します。最後にフォローを3段たどる問いを再帰CTEで書き、深さを1つ増やすだけで急に遅くなるところを実測して、グラフDBが要る場面と要らない場面を分けます。立てたものは全部消します。 -
コンピュータ科学 深掘り
ヒープとLRUキャッシュ — 10件欲しいだけで100万件ソート
ランキングの上位10件を出すために、私は100万件を毎回まるごとソートしていました。必要なのは10件なのに、残りの999990件を丁寧に並べ替えていたわけです。この記事では VM の中に ~/cslab/heap を作り、サイズ10のヒープを手で書いて、全部ソートする版と実測で比べます。ヒープが「木なのにポインタを1つも使わず、配列1本で持てる」ことを添字の計算で確かめ、内部配列を表示してヒープがソートされていないことを見ます。後半はLRUキャッシュを素朴な O(n) 版から O(1) 版へ直し、容量を変えながらヒット率を実測します。最後に LRU・LFU・MFU・FIFO・ランダムを同じアクセス列で走らせ、LFU が「昔たくさん使われたもの」に居座られて負ける瞬間を数字で出してから、全部消します。 -
キャッシュとキュー
キャッシュは消すのが一番難しい — Redisの導入
速くしたいから入れる、の前に必ず測る。20万件の集計を実際に遅くしてから Redis を入れ、TTL とキー設計を決め、「更新したのに古い値が返る」事故をわざと起こして直します。セッションを MySQL から Redis に移して何が変わるかと、既定で認証が無いという危険、そして入れないほうがいい場面まで。 -
バックエンド
サーバーから勝手には送れない — WebSocketとSSE
HTTPは「聞かれたら答える」しかできない。だから最初は2秒ごとに聞き直すことになり、無駄なリクエストがログに積み上がるのを実際に見ます。そこからロングポーリング・SSE・WebSocketへ順に進み、向き不向きを表にします。実装は ws パッケージ。nginx を前に立てたまま繋ぐと必ず失敗する Upgrade の話と、プロセスを2つにした瞬間に更新が半分の人にしか届かなくなる事故を、わざと起こして Redis の publish/subscribe で直すところまで。
1