キャッシュは消すのが一番難しい — Redisの導入

Redisのキャッシュ。データベースの隣の小さな収納箱と時計、更新を示す矢印。

roadmap.sh のどこをやっているか

Backend›Caching
  • Redis(サーバーサイドキャッシュ)
  • キャッシュの無効化
  • TTL とメモリの上限

この記事は、上の項目を実際に手を動かして確かめる回です。

前回: 遅いクエリを自分で3本見つけて直す — コードは1行も載せません 作業場所はVMの中(Ubuntu)です。前回までの ~/server/app.js と appdb をそのまま使います。

ここまでで、APIは「動いて、消えなくて、誰のものか分かる」ところまで来ました。次に来る話は、たいてい「遅い」です。

前回: SQLチューニングの演習|100万行のクエリをインデックスで速くする 作業場所はVMの中(Ubuntu)です。前回までの ~/server/app.js と appdb をそのまま使います。

そして、遅いと言われたときに真っ先にやってはいけないのが、「とりあえずキャッシュを入れる」です。

キャッシュは、速くするための道具であると同時に、「古い値を返すための道具」でもあります。

この回では、先に測ってから入れます。そしてわざと事故を起こします。 更新したのに古い値が返る、という一番よくある事故です。

対象レベル: 初級〜中級 / 区分: 必修

目次

この記事でわかること

  • Redis は「速いデータベース」ではないこと。消えてもいいデータを置く場所であること
  • TTL(有効期限)を付け忘れると、メモリを食い潰して落ちること
  • キャッシュで一番難しいのは「入れること」ではなく「消すこと」だということ
  • 索引を張っても速くならない処理があること(そこが本当のキャッシュの出番)
  • Redis は既定で認証が無いこと。そして外に出してはいけないこと

この記事でやること

  1. ダミーデータを20万件入れて、集計が遅くなるところまで持っていき、時間を測る
  2. Redis を apt で入れて、127.0.0.1 でしか待っていないことを確認する
  3. requirepass を設定して、認証無しで触れる状態をやめる
  4. 集計にキャッシュを入れて、もう一度測る
  5. 「更新したのに古い値が返る」事故を起こして、無効化を書き足す
  6. セッションを MySQL から Redis に移す

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
キャッシュ一度計算した結果を、取り出しやすい場所に控えておくこと。次からは計算せずにそれを返す
Redisメモリの上でデータを持つソフト。 キャッシュの置き場として最もよく使われる
キーバリューストア「名前」と「中身」の対だけを扱う保存の形。 表も列もSQLも無い
TTLTime To Live。そのデータが自動で消えるまでの秒数
ヒット / ミスキャッシュにあった=ヒット、無かった=ミス
無効化(invalidation)古くなったキャッシュを消すこと。 この記事の主役
エビクションメモリがいっぱいのとき、Redisが勝手に古いものを追い出すこと

「メモリの上で持つ」が Redis の全部です。 MySQLの回で「プロセスを止めても消えない場所」を作りました。Redis は、その逆側に立っています。 速いのは、ディスクを見ないからです。そして、速さと引き換えに「消える可能性」を受け入れます。

① まず測る — 本当に遅いのか

測らずに入れたキャッシュは、効いているかどうかも分かりません。

遅い状態を作る

いまの tasks は数件しか入っていないので、何をやっても速いです。 ダミーを20万件入れます。

bash
$ sudo mysql
SET SESSION cte_max_recursion_depth = 1000000;

INSERT INTO appdb.tasks (title, user_id)
WITH RECURSIVE seq AS (
  SELECT 1 AS n
  UNION ALL
  SELECT n + 1 FROM seq WHERE n < 200000
)
SELECT CONCAT('ダミー', n), 1 FROM seq;

user_id は 1 にしています。 認証の回で作った me@example.com のIDです。違っていたら、SELECT id, email FROM appdb.users; で確認して読み替えてください。 cte_max_recursion_depth は「再帰の上限」です。既定は1000なので、20万回まわすには引き上げが要ります。この設定はこの接続の中だけで、exit すると元に戻ります。

入ったか見ます。

SELECT COUNT(*) FROM appdb.tasks;
+----------+
| COUNT(*) |
+----------+
|   200003 |
+----------+

exit で抜けます。

集計するAPIを足す

~/server/app.js の app.listen の上に足します。前回 knex に置き換えたので、その形で書きます。

app.get("/api/stats", requireLogin, async (req, res) => {
  try {
    const [rows] = await knex.raw(
      `SELECT COUNT(*)              AS total,
              SUM(done)             AS done_count,
              SUM(CHAR_LENGTH(title)) AS title_chars
       FROM tasks WHERE user_id = ?`,
      [req.session.userId]
    );
    res.json(rows[0]);
  } catch (err) {
    console.error(err);
    res.status(500).json({ error: "集計できませんでした" });
  }
});

JOIN は無いのに knex.raw を使っています。 前回書いたとおり、集計はSQLで書いたほうが短く読めるからです。 値は ? に渡しています。 raw でもここは変わりません。

時間を測る

bash
$ cd ~/server
$ node --env-file=.env app.js

別のターミナルを開いて、ログインしてから測ります。

bash
$ cd ~/server
$ curl -s -c cookie.txt -X POST http://localhost:3000/api/login \
    -H "Content-Type: application/json" \
    -d '{"email":"me@example.com","password":"pass12345"}' > /dev/null

$ for i in 1 2 3 4 5; do
$   curl -o /dev/null -s -b cookie.txt -w "%{time_total}\n" http://localhost:3000/api/stats
$ done
0.283114
0.271905
0.269338
0.274384
0.270772
curl のオプション意味
-w "%{time_total}\n"かかった秒数を出す
-o /dev/null本文を捨てる(時間だけ見たいので)
-s進捗表示を消す

約0.27秒。 そして5回とも同じくらいです。

ここが出発点です。「同じ答えを出すために、毎回0.27秒かけている」 数字は環境で違います。 大事なのは値そのものではなく、入れる前の数字を自分で持っていることです。

[スクリーンショット: 01_キャッシュ前の時間.png] for ループで time_total が5回並んでいる画面を撮ってください。同じような数字が並んでいることが読めれば十分です。

その前に、索引を疑う

キャッシュより先にやることがあります。

tasks の user_id には、索引が張られていません。 MySQLの回で「索引があると全部を見ずに探せる」と書いたやつです。張ってみます。

bash
$ cd ~/server
$ node --env-file=.env.migrate node_modules/knex/bin/cli.js migrate:make add_index_user_id
$ nano ~/server/migrations/*_add_index_user_id.js
exports.up = function (knex) {
  return knex.schema.alterTable("tasks", (t) => {
    t.index("user_id", "idx_tasks_user_id");
  });
};

exports.down = function (knex) {
  return knex.schema.alterTable("tasks", (t) => {
    t.dropIndex("user_id", "idx_tasks_user_id");
  });
};
bash
$ node --env-file=.env.migrate node_modules/knex/bin/cli.js migrate:latest

もう一度測ってください。 ほとんど変わりません。理由は、はっきりしています。

20万行すべてが user_id = 1 だからです。 索引は「要らない行を読み飛ばす」ための道具です。全部が対象なら、読み飛ばすものがありません。

これは、この記事にとって都合のいい例ではなく、現実によくある形です。

遅い理由正しい直し方
要らない行まで読んでいる索引を張る(キャッシュではない)
同じクエリを何度も投げているキャッシュ
対象の行が本当に多い集計キャッシュ(読む量そのものは減らせない)

「遅い → キャッシュ」は短絡です。 索引を張れば直る遅さにキャッシュを被せると、遅いままのクエリが、古い値を返しながら残ります。 索引で直るかを先に試して、駄目だったからキャッシュに来た。 この順番が大事です。

② Redis を入れる

Docker は使いません。 コンテナは次の段階の話なので、apt で入れます。

bash
$ sudo apt update
$ sudo apt install -y redis-server

動いているか確認します。

bash
$ systemctl status redis-server
$ redis-cli ping
● redis-server.service - Advanced key-value store
     Loaded: loaded (...; enabled; preset: enabled)
     Active: active (running) since ...
PONG

active (running) と enabled。 プロセスとサービスの回でやったとおり、入れた時点で起動していて、次の起動でも自動で立ち上がります。

redis-cli ping で PONG が返るのが、Redisの「生きてます」です。

どこで待ち受けているかを、必ず見る

MySQLのときと、まったく同じ確認をします。

bash
$ sudo ss -tlnp | grep 6379
LISTEN 0 511 127.0.0.1:6379 0.0.0.0:* users:(("redis-server",pid=...,fd=...))
LISTEN 0 511    [::1]:6379    [::]:* users:(("redis-server",pid=...,fd=...))

127.0.0.1:6379 と [::1]:6379。0.0.0.0 はありません。

意味
0.0.0.0:6379どこからでも繋がる。 外に開いている
127.0.0.1:6379このマシンの中からしか繋がらない

MySQL の回と同じ結論です。 Redis も外に出しません。 ufw で 6379番を開ける必要はありません。 そもそも外向きに待っていないので、開けても繋がらず、開けたら危険なだけです。

確かめます。Windows側の PowerShell から、VMの 6379番を叩いてみてください。

PowerShell
PS> Test-NetConnection 192.168.226.50 -Port 6379
TcpTestSucceeded : False

False が正解です。 192.168.226.50 はこのVMのIPの例なので、自分の値に読み替えてください(VMの中で ip a で確認できます)。

繋がらないのは失敗ではありません。 ネットワークの回で「繋がらない」を切り分けたときと、見ている場所は同じで、望む結果が逆です。

[スクリーンショット: 02_redis待ち受け確認.png] redis-cli ping の PONG と sudo ss -tlnp | grep 6379 を1枚に収めて撮ってください。127.0.0.1:6379 が読めることが条件です。

③ 触ってみる — キーと値だけの世界

bash
$ redis-cli

127.0.0.1:6379> が出ます。ここからは Redis のコマンドです。

SET greeting "こんにちは"
GET greeting
EXISTS greeting
DEL greeting
GET greeting

最後は (nil) が返ります。 「無い」という意味です。

覚えるのは、これくらいです。

コマンド意味
SET key value入れる
GET key取り出す。無ければ (nil)
DEL key消す
SET key value EX 6060秒で自動的に消えるように入れる
TTL key残り秒数を見る
EXPIRE key 60あとから期限を付ける
INCR key数値として1増やす(アクセス数を数えるときなど)
DBSIZEいま何個キーがあるか
SCAN 0 MATCH "app:*" COUNT 100キーを少しずつ探す
INFO memoryメモリの使用量

期限の様子を見てください。

SET tmp "60秒で消えます" EX 60
TTL tmp
SET forever "ずっと残ります"
TTL forever
(integer) 58
(integer) -1

TTL の返り値には、覚えておく意味があります。

値意味
正の数残り秒数
-1キーはあるが、期限が無い(=永遠に残る)
-2キーが無い

-1 が並んでいるのが、後で書く「メモリを食い潰す」の正体です。

KEYS * を打たない

検索するとよく出てきますが、KEYS * は使わないでください。

Redis は、命令を1つずつ順番に処理します。 KEYS * は全部のキーを走査するまで他の処理を止めます。 100万キーあれば、その間サービス全体が固まります。

代わりに SCAN を使います。 少しずつ返してくるので、止まりません。 手元の練習用ならどちらでも動きます。 動くからこそ、練習のうちに SCAN の手が身についているかが分かれ目になります。

exit で抜けます。

④ 既定で認証が無い、という危険

ここは飛ばさないでください。

さっき、あなたはパスワードを聞かれずに redis-cli に入れました。 これはRedis の既定の状態です。

Redis は、既定で認証がありません。繋がった人は、全部読めて、全部消せます。

いま危険ではない理由は1つだけで、127.0.0.1 でしか待っていないからです。設定を1行変えて外に向けた瞬間、世界中の誰でも触れる状態になります。

Redis 側にも保険はあります。

仕組み何をするか
protected-mode yes(既定)外向きに待っているのに認証が無いとき、外からの接続を断る
bind 127.0.0.1 -::1(Ubuntuの既定)そもそも外向きに待たない
requirepass(既定は未設定)パスワードを要求する

protected-mode は「安全」ではなく「最後の砦」です。requirepass を設定すると、この保護は外れます(=パスワードがあるので外から繋げてよい、と判断される)。 「保護モードがあるから大丈夫」ではありません。 実際に、認証無しのRedisを探して回るプログラムが動いていて、踏み台にされた事例が繰り返し起きています。

パスワードを設定する

練習でも、必ず設定してください。「あとでやる」は、たいてい来ません。

bash
$ openssl rand -base64 24
$ sudo nano /etc/redis/redis.conf

# requirepass foobared という行を探して、下の1行をその近くに足します(コメント行はそのままで構いません)。

requirepass いま作った文字列
bash
$ sudo systemctl restart redis-server
$ redis-cli ping
(error) NOAUTH Authentication required.

拒否されれば成功です。 MySQLの回で appuser に DROP をぶつけたのと同じで、絞ったら一度ぶつけて確かめます。

これからは、こう打ちます。

bash
$ redis-cli --no-auth-warning -a 'さっき作った文字列' ping
PONG

--no-auth-warning は、「パスワードをコマンドラインに書くと履歴に残るぞ」という警告を消すものです。警告のほうが正しいので、本来は redis-cli に入ってから AUTH パスワード と打つのが行儀の良いやり方です。 この記事では、コマンドを1行で示すために -a を使います。 共用のサーバーでは避けてください。

アプリ用に .env へ足します。

bash
$ nano ~/server/.env
DB_USER=appuser
DB_PASSWORD=(これまでのもの)
DB_NAME=appdb
SESSION_SECRET=(これまでのもの)
REDIS_URL=redis://:さっき作った文字列@127.0.0.1:6379

redis://:パスワード@ホスト:ポート の形です。 : の前にユーザー名が無いのが見慣れないところですが、これで合っています(Redis の既定のユーザーは名前を書きません)。 .env は MySQLの回で .gitignore に入れてあります。 ここでも同じ扱いです。

⑤ アプリからキャッシュする

bash
$ cd ~/server
$ npm install redis

app.js の上のほう(knex を作った直後)に足します。

const { createClient } = require("redis");

const redis = createClient({ url: process.env.REDIS_URL });
redis.on("error", (err) => console.error("[redis]", err.message));
redis.connect().catch((err) => console.error("[redis] 繋がりません:", err.message));

キャッシュで落ちない書き方にする

そのまま await redis.get(...) と書くと、Redisが止まった瞬間にAPIが500を返します。

キャッシュが落ちたらサービスが落ちる、では本末転倒です。 キャッシュは「無くても動くが、あると速い」ものでなければいけません。

だから、包んでおきます。

const cacheGet = async (key) => {
  try {
    return await redis.get(key);
  } catch {
    return null;        // 繋がらなければ「ミス」と同じ扱いにする
  }
};

const cacheSet = async (key, value, ttlSeconds) => {
  try {
    await redis.set(key, value, { EX: ttlSeconds });
  } catch {
    // 保存できなくても、処理は続ける
  }
};

const cacheDel = async (key) => {
  try {
    await redis.del(key);
  } catch {
    // 同上
  }
};

キーの決め方

Redis には表も列もありません。あるのは名前だけです。 だから名前の付け方が設計そのものになります。

app:v1:stats:user:1
部分役割
appどのアプリのものか。 1台のRedisを複数で使うことがある
v1形式のバージョン。 中身の作りを変えたら v2 にする(後述)
stats何のキャッシュか
user:1誰のものか

守ることは3つです。

  1. 区切りは :。 Redis の慣習で、道具もこれを前提に表示します
  2. 利用者が入れた文字をそのままキーにしない。 何万通りにも増えて、消せなくなります
  3. 「誰の」を必ず入れる。 これを忘れると、他人のキャッシュが自分に返ります

3番は、実際に起きる最悪の事故です。 app:v1:stats というキーで全員ぶんを1つに入れてしまうと、先にアクセスした人の集計が、次の人にそのまま返ります。 認証の回で AND user_id = ? を足して認可を作りました。キャッシュのキーにも、同じ区別を持ち込む必要があります。 SQLだけ直してキーを直さないと、認可が丸ごと抜けます。

書き換える

さっきの /api/stats を、こうします。

app.get("/api/stats", requireLogin, async (req, res) => {
  const key = `app:v1:stats:user:${req.session.userId}`;
  try {
    const cached = await cacheGet(key);
    if (cached) {
      res.setHeader("X-Cache", "HIT");
      return res.json(JSON.parse(cached));
    }

    const [rows] = await knex.raw(
      `SELECT COUNT(*)              AS total,
              SUM(done)             AS done_count,
              SUM(CHAR_LENGTH(title)) AS title_chars
       FROM tasks WHERE user_id = ?`,
      [req.session.userId]
    );

    await cacheSet(key, JSON.stringify(rows[0]), 60);
    res.setHeader("X-Cache", "MISS");
    res.json(rows[0]);
  } catch (err) {
    console.error(err);
    res.status(500).json({ error: "集計できませんでした" });
  }
});

読みどころが4つあります。

書き方なぜ
JSON.stringify / JSON.parseRedis に入るのは文字列だけ。 オブジェクトをそのまま渡すと [object Object] になる
{ EX: 60 }TTL。60秒で自動的に消える
X-Cache ヘッダヒットしたかどうかを外から見えるようにした。確かめられない改善は、改善ではない
無ければDBを見るこの形を cache-aside(キャッシュを脇に置く) と呼びます。キャッシュは正ではなく、控え

測り直す

bash
$ node --env-file=.env app.js
bash
$ for i in 1 2 3 4 5; do
$   curl -o /dev/null -s -b cookie.txt -w "%{time_total}\n" http://localhost:3000/api/stats
$ done
0.274932
0.003118
0.002944
0.003025
0.002871

1回目だけ遅く、2回目から約90倍速くなりました。 1回目がミス、2回目以降がヒットです。

ヘッダでも確かめられます。

bash
$ curl -s -o /dev/null -D - -b cookie.txt http://localhost:3000/api/stats | grep -i x-cache
X-Cache: HIT

Redis側にも入っています。

bash
$ redis-cli --no-auth-warning -a 'パスワード' TTL app:v1:stats:user:1
(integer) 43

[スクリーンショット: 03_キャッシュ後の時間.png] 1回目だけ遅く、2回目から桁が変わっている time_total の並びを撮ってください。

⑥ 事故を起こす — 更新したのに古い値が返る

ここがこの記事の本題です。

タスクを1件足して、すぐ集計を見てください。

bash
$ curl -s -b cookie.txt http://localhost:3000/api/stats | jq '.total'
$ curl -s -b cookie.txt -X POST http://localhost:3000/api/tasks \
    -H "Content-Type: application/json" -d '{"title":"1件増やした"}' > /dev/null
$ curl -s -b cookie.txt http://localhost:3000/api/stats | jq '.total'
200003
200003

増えていません。 データベースには確かに入っています。

bash
$ sudo mysql -e "SELECT COUNT(*) FROM appdb.tasks WHERE user_id = 1;"
+----------+
| COUNT(*) |
+----------+
|   200004 |
+----------+

APIが嘘をついている状態です。 そして、60秒待てば直ります。 「たまに古い」「リロードしたら直った」という報告は、ほぼこれです。再現しにくく、ログにも何も出ません。

[スクリーンショット: 04_古い値が返る.png] 追加したのに total が変わらず、MySQL 側では増えている、を1枚に撮ってください。この記事で一番大事な画面です。

直す — 書いたら消す

キャッシュの無効化には、大きく3つのやり方があります。

やり方中身向いている場面
TTLに任せる古い値を最大N秒は返すと割り切る多少ずれてよいもの(アクセス数、ランキング)
書き込みのときに消す更新したら、関係するキーを DEL する自分のデータを自分で更新する。今回はこれ
キーにバージョンを入れる消さずに別の名前にする。古いものはTTLで自然に消える一斉に切り替えたいとき

2番目を書きます。 /api/tasks の追加と削除に1行ずつ足します。

// 追加(成功したあと、レスポンスを返す前)
await cacheDel(`app:v1:stats:user:${req.session.userId}`);

// 削除(count が 0 でなかったあと)
await cacheDel(`app:v1:stats:user:${req.session.userId}`);

立て直して、もう一度。

bash
$ curl -s -b cookie.txt http://localhost:3000/api/stats | jq '.total'
$ curl -s -b cookie.txt -X POST http://localhost:3000/api/tasks \
    -H "Content-Type: application/json" -d '{"title":"もう1件"}' > /dev/null
$ curl -s -b cookie.txt http://localhost:3000/api/stats | jq '.total'
200004
200005

すぐ反映されました。

なぜ「消すのが一番難しい」のか

いま足したのは、たった2行です。それでも難しい、と言い切る理由があります。

キャッシュを作る場所は1箇所ですが、壊す場所は「そのデータを変えうる全部」だからです。

いまの app.js で、tasks を変えられる場所を数えてください。

  • POST /api/tasks(追加)
  • PUT /api/tasks/:id(全部置き換え)
  • PATCH /api/tasks/:id(一部変更)
  • DELETE /api/tasks/:id(削除)
  • sudo mysql で手で打つ SQL
  • マイグレーション

この記事では追加と削除にしか足していません。 つまり PATCH で完了にしても、集計は古いままです。そして、手で打ったSQLとマイグレーションは、そもそもアプリを通りません。

だから、この3つを守ってください。

  1. 無効化は、キャッシュを作った場所の「近く」に書く。 離れると必ず消し忘れます
  2. TTLを必ず付ける。 消し忘れても最悪N秒で直る。これが最後の安全網です
  3. 短めのTTLから始める。 30〜60秒でも、毎秒アクセスがあれば効果は十分です

TTLを付けない SET は、無効化を100%やりきれる自信がある、という宣言です。 そんな自信は持てません。

TTLを付けないと、メモリを食い潰す

もう1つの理由です。

Redis はメモリの上にいます。 そして既定では、上限が設定されていません。

bash
$ redis-cli --no-auth-warning -a 'パスワード' CONFIG GET maxmemory
$ redis-cli --no-auth-warning -a 'パスワード' DBSIZE
$ redis-cli --no-auth-warning -a 'パスワード' INFO memory | grep used_memory_human
1) "maxmemory"
2) "0"

0 は「無制限」です。TTLの無いキーが増え続けると、こうなります。

  1. Redis がメモリを使い切る
  2. Linux が、一番メモリを食っているプロセスを強制終了する(OOM Killer)
  3. たいてい Redis 自身か、MySQL が死ぬ

上限を決めておきます。

bash
$ sudo nano /etc/redis/redis.conf
maxmemory 256mb
maxmemory-policy allkeys-lru
bash
$ sudo systemctl restart redis-server
設定意味
maxmemory 256mbここまでしか使わない
noeviction(既定)いっぱいになったら、書き込みをエラーにする(OOM command not allowed が出る)
allkeys-lruいっぱいになったら、長く使われていないキーから捨てる

純粋なキャッシュなら allkeys-lru が正解です。消えても、DBから作り直せるからです。

ただし、次の節でセッションを同じRedisに入れます。 allkeys-lru はセッションも捨てます。 つまりメモリが詰まると、利用者が勝手にログアウトします。 本番では、キャッシュとセッションを分けるのが定石です(別のインスタンス、または別のDB番号)。練習では1台で構いませんが、この組み合わせの危険は覚えておいてください。

⑦ セッションを Redis に移す

認証の回で、セッションを MySQL に置きました。 メモリに置くと再起動で全員ログアウトするから、という理由でした。

Redis に移すと、何が変わるのか。

bash
$ cd ~/server
$ npm install connect-redis

app.js の MySQLStore を作っているところを、これに差し替えます。

// 消す
// const MySQLStore = require("express-mysql-session")(session);
// const store = new MySQLStore({ ... });

const { RedisStore } = require("connect-redis");
const store = new RedisStore({ client: redis, prefix: "app:v1:sess:" });

app.use(session({ ... })) の中身は、そのままで動きます。 store の中身が変わっただけです。

bash
$ node --env-file=.env app.js

いままでのログインは無効になります。 Cookieに入っているIDは同じでも、Redis 側にその中身が無いからです。もう一度ログインしてください。

bash
$ curl -s -c cookie.txt -X POST http://localhost:3000/api/login \
    -H "Content-Type: application/json" \
    -d '{"email":"me@example.com","password":"pass12345"}' | jq

Redis の中を見ます。

bash
$ redis-cli --no-auth-warning -a 'パスワード' SCAN 0 MATCH 'app:v1:sess:*' COUNT 100
1) "0"
2) 1) "app:v1:sess:kL3v9xQ2..."

期限も付いています。

bash
$ redis-cli --no-auth-warning -a 'パスワード' TTL app:v1:sess:kL3v9xQ2...
(integer) 604799

604800秒 = 7日。 session の cookie.maxAge に書いた値です。TTLを自分で書いていないのに付いているのが要点です。

[スクリーンショット: 05_セッションがRedisに入る.png] SCAN でセッションのキーが1つ見えていて、TTL が7日ぶんの秒数を返している画面を撮ってください。

MySQLに置いたときと、何が違うか

MySQL に置くRedis に置く
毎回のリクエストでSELECT が1本飛ぶメモリを引くだけ
期限切れの掃除ライブラリが定期的に DELETE するTTLで勝手に消える
表の準備CREATE TABLE が要った(権限で詰まった)要らない(キーを置くだけ)
サーバーを増やすと共有できる共有できる
Redis/DBが落ちたらログインできないログインできない
中身の重さディスクメモリ。人数ぶん載る

「セッションはキャッシュか」は、微妙な問いです。 消えても致命傷ではありません(もう一度ログインすれば済む)。でも、消えたら全員が同時にログアウトします。

Redis は、既定でディスクにも書いています(スナップショット)。完全に揮発するわけではありません。 ただし書くのは数分おきなので、落ち方によっては直近ぶんが消えます。

だから設計はこうです。 消えたら「もう一度ログインしてもらう」で済むもの=Redisでよい。消えたら取り返せないもの(タスク、ユーザー、パスワード)=MySQL。 この線引きが、この記事の結論です。

sessions テーブルは、もう使われません。 すぐ消さず、しばらく残しておいて、増えていないことを確認してから消してください。

⑧ キャッシュを入れないほうがいい場面

キャッシュは、必ず「古い値を返す可能性」と引き換えです。 割に合わない場面があります。

① まだ測っていないとき

一番多い間違いです。 遅い証拠が無いのに入れると、複雑さだけが増えます。

② 索引やクエリで直る遅さ

この記事の①でやったとおりです。根本が遅いままキャッシュで隠すと、ミスしたときだけ極端に遅い、という不安定なAPIになります。

③ 書き込みのほうが多いデータ

1回読むたびに10回更新されるなら、キャッシュは毎回捨てられます。 作る手間だけかかって、一度も使われません。

④ ずれてはいけないもの

残高、在庫数、権限の判定。 1秒でも古い値を返してはいけないものには使いません。

特に、権限の判定結果をキャッシュしないでください。 「この人は管理者」をキャッシュすると、権限を外したのに、TTLが切れるまで管理者のままになります。

⑤ ヒットしないもの

利用者ごと・条件ごとに全部違って、同じキーが二度と引かれないなら、キャッシュはメモリを消費するだけです。

判断の型は、これです。

問い入れる条件
測ったか入れる前の数字がある
索引で直らないか試して駄目だった
同じ結果が何度も要求されるかヒットする見込みがある
N秒古くても平気か平気だと言い切れる
消す場所を全部書き出せるか書き出せて、TTLも付けた

5つ揃わなければ、入れません。

つまずいたところ

症状原因
[redis] connect ECONNREFUSED 127.0.0.1:6379Redisが動いていない。 systemctl status redis-server
NOAUTH Authentication requiredrequirepass を設定したのに、.env の REDIS_URL を直していない
WRONGPASS invalid username-password pairREDIS_URL のパスワード違い。記号が入っているとURLで壊れることがある(作り直すのが早い)
redis-cli に入れるが ping が NOAUTH-a を付けていない、または AUTH パスワード を打っていない
JSON.parse が Unexpected token o で落ちるオブジェクトをそのまま SET した。 [object Object] が入っている。JSON.stringify が要る
client.get が値でなく Promise を返すawait を付けていない
RedisStore is not a constructorconnect-redis の版で書き方が違う。 v8以降は const { RedisStore } = require("connect-redis")、v7は require("connect-redis").default
移行したら全員ログアウトした正常。 保存先を替えたので、前の中身は無い
更新したのに古い値が返る無効化を書いていない場所がある。 PATCH と PUT を忘れがち
OOM command not allowed when used memory > 'maxmemory'maxmemory に達して noeviction。TTLの無いキーを疑う
DBSIZE が増え続けるTTLを付けずに SET している。 TTL が -1 のキーを探す
Redisを再起動したらキャッシュが消えた正常。 消えても動くように書いてあれば問題ない
ホストのブラウザから 6379 に繋がらない正常です。 127.0.0.1 でしか待っていません

後片づけ

ダミーの20万件は、残しておくと以降の回で邪魔になります。

bash
$ sudo mysql -e "DELETE FROM appdb.tasks WHERE title LIKE 'ダミー%';"
$ sudo mysql -e "SELECT COUNT(*) FROM appdb.tasks;"

WHERE を必ず付けてください。 MySQLの回の一番大事な話です。先に同じ WHERE で SELECT して、件数を見てから消します。

キャッシュを空にするとき。

bash
$ redis-cli --no-auth-warning -a 'パスワード' --scan --pattern 'app:v1:stats:*' | xargs -r redis-cli --no-auth-warning -a 'パスワード' DEL

FLUSHALL は使わないでください。 セッションごと消えて、全員ログアウトします。 消したいものだけ、パターンで選んで消します。

索引を戻すとき。

bash
$ node --env-file=.env.migrate node_modules/knex/bin/cli.js migrate:rollback

Redis ごと消すとき。

bash
$ sudo apt purge -y redis-server
$ sudo apt autoremove -y

~/server/ と appdb は残してください。 ここまでで、測って・速くして・古い値の面倒を見るところまで来ました。

まとめ

  • キャッシュは、速くする道具であると同時に「古い値を返す道具」。 入れる前に必ず測って、数字を持つ
  • 遅さの原因を先に疑う。 索引で直る遅さにキャッシュを被せない
  • 索引は「要らない行を読み飛ばす」道具。 対象が全部なら効かない。そこがキャッシュの出番
  • Redis は「速いデータベース」ではなく「消えてもいいものを置く場所」。 消えて困るものは MySQL に置く
  • Redis も 127.0.0.1 でしか待たない。 ufw で 6379 を開けない
  • Redis は既定で認証が無い。 requirepass を必ず設定し、NOAUTH が出ることを確かめる
  • キーは app:v1:stats:user:1 の形。 「誰の」を必ず入れる。 忘れると他人のデータが返る
  • TTLを必ず付ける。 TTL が -1 のキーは永遠に残り、メモリを食い潰して OOM Killer を呼ぶ
  • maxmemory と maxmemory-policy を決める。 既定は無制限+noeviction
  • 一番難しいのは無効化。 作る場所は1つ、壊す場所はデータを変えうる全部
  • キャッシュが落ちてもAPIは動く形で書く。 ミスと同じ扱いにして、DBを見にいく
  • セッションを Redis に置くとTTLが自動で付く。 ただしキャッシュと同居させて allkeys-lru にすると、勝手にログアウトする
  • 入れない判断もする。 測っていない・索引で直る・書き込みが多い・ずれてはいけない・ヒットしない

参考リンク


次に読む

この記事は 【第5段階】バックエンドとデータベース の 13 / 29 本目です。

記事
← 前の記事数秒のクエリを数ミリ秒にする — SQLの到達作品
→ 次の記事全部やるか、1つもやらないか — トランザクションとACID

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次