roadmap.sh のどこをやっているか
- Redis(サーバーサイドキャッシュ)
- キャッシュの無効化
- TTL とメモリの上限
この記事は、上の項目を実際に手を動かして確かめる回です。
前回: 遅いクエリを自分で3本見つけて直す — コードは1行も載せません 作業場所はVMの中(Ubuntu)です。前回までの
~/server/app.jsとappdbをそのまま使います。
ここまでで、APIは「動いて、消えなくて、誰のものか分かる」ところまで来ました。次に来る話は、たいてい「遅い」です。
前回: SQLチューニングの演習|100万行のクエリをインデックスで速くする 作業場所はVMの中(Ubuntu)です。前回までの
~/server/app.jsとappdbをそのまま使います。
そして、遅いと言われたときに真っ先にやってはいけないのが、「とりあえずキャッシュを入れる」です。
キャッシュは、速くするための道具であると同時に、「古い値を返すための道具」でもあります。
この回では、先に測ってから入れます。そしてわざと事故を起こします。 更新したのに古い値が返る、という一番よくある事故です。
対象レベル: 初級〜中級 / 区分: 必修
この記事でわかること
- Redis は「速いデータベース」ではないこと。消えてもいいデータを置く場所であること
- TTL(有効期限)を付け忘れると、メモリを食い潰して落ちること
- キャッシュで一番難しいのは「入れること」ではなく「消すこと」だということ
- 索引を張っても速くならない処理があること(そこが本当のキャッシュの出番)
- Redis は既定で認証が無いこと。そして外に出してはいけないこと
この記事でやること
- ダミーデータを20万件入れて、集計が遅くなるところまで持っていき、時間を測る
- Redis を
aptで入れて、127.0.0.1でしか待っていないことを確認する requirepassを設定して、認証無しで触れる状態をやめる- 集計にキャッシュを入れて、もう一度測る
- 「更新したのに古い値が返る」事故を起こして、無効化を書き足す
- セッションを MySQL から Redis に移す
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| キャッシュ | 一度計算した結果を、取り出しやすい場所に控えておくこと。次からは計算せずにそれを返す |
| Redis | メモリの上でデータを持つソフト。 キャッシュの置き場として最もよく使われる |
| キーバリューストア | 「名前」と「中身」の対だけを扱う保存の形。 表も列もSQLも無い |
| TTL | Time To Live。そのデータが自動で消えるまでの秒数 |
| ヒット / ミス | キャッシュにあった=ヒット、無かった=ミス |
| 無効化(invalidation) | 古くなったキャッシュを消すこと。 この記事の主役 |
| エビクション | メモリがいっぱいのとき、Redisが勝手に古いものを追い出すこと |
「メモリの上で持つ」が Redis の全部です。 MySQLの回で「プロセスを止めても消えない場所」を作りました。Redis は、その逆側に立っています。 速いのは、ディスクを見ないからです。そして、速さと引き換えに「消える可能性」を受け入れます。
① まず測る — 本当に遅いのか
測らずに入れたキャッシュは、効いているかどうかも分かりません。
遅い状態を作る
いまの tasks は数件しか入っていないので、何をやっても速いです。 ダミーを20万件入れます。
SET SESSION cte_max_recursion_depth = 1000000;
INSERT INTO appdb.tasks (title, user_id)
WITH RECURSIVE seq AS (
SELECT 1 AS n
UNION ALL
SELECT n + 1 FROM seq WHERE n < 200000
)
SELECT CONCAT('ダミー', n), 1 FROM seq;
user_idは1にしています。 認証の回で作ったme@example.comのIDです。違っていたら、SELECT id, email FROM appdb.users;で確認して読み替えてください。cte_max_recursion_depthは「再帰の上限」です。既定は1000なので、20万回まわすには引き上げが要ります。この設定はこの接続の中だけで、exitすると元に戻ります。
入ったか見ます。
SELECT COUNT(*) FROM appdb.tasks;
+----------+
| COUNT(*) |
+----------+
| 200003 |
+----------+
exit で抜けます。
集計するAPIを足す
~/server/app.js の app.listen の上に足します。前回 knex に置き換えたので、その形で書きます。
app.get("/api/stats", requireLogin, async (req, res) => {
try {
const [rows] = await knex.raw(
`SELECT COUNT(*) AS total,
SUM(done) AS done_count,
SUM(CHAR_LENGTH(title)) AS title_chars
FROM tasks WHERE user_id = ?`,
[req.session.userId]
);
res.json(rows[0]);
} catch (err) {
console.error(err);
res.status(500).json({ error: "集計できませんでした" });
}
});
JOINは無いのにknex.rawを使っています。 前回書いたとおり、集計はSQLで書いたほうが短く読めるからです。 値は?に渡しています。rawでもここは変わりません。
時間を測る
別のターミナルを開いて、ログインしてから測ります。
0.283114
0.271905
0.269338
0.274384
0.270772
curl のオプション | 意味 |
|---|---|
-w "%{time_total}\n" | かかった秒数を出す |
-o /dev/null | 本文を捨てる(時間だけ見たいので) |
-s | 進捗表示を消す |
約0.27秒。 そして5回とも同じくらいです。
ここが出発点です。「同じ答えを出すために、毎回0.27秒かけている」 数字は環境で違います。 大事なのは値そのものではなく、入れる前の数字を自分で持っていることです。
[スクリーンショット: 01_キャッシュ前の時間.png] for ループで time_total が5回並んでいる画面を撮ってください。同じような数字が並んでいることが読めれば十分です。
その前に、索引を疑う
キャッシュより先にやることがあります。
tasks の user_id には、索引が張られていません。 MySQLの回で「索引があると全部を見ずに探せる」と書いたやつです。張ってみます。
exports.up = function (knex) {
return knex.schema.alterTable("tasks", (t) => {
t.index("user_id", "idx_tasks_user_id");
});
};
exports.down = function (knex) {
return knex.schema.alterTable("tasks", (t) => {
t.dropIndex("user_id", "idx_tasks_user_id");
});
};
もう一度測ってください。 ほとんど変わりません。理由は、はっきりしています。
20万行すべてが
user_id = 1だからです。 索引は「要らない行を読み飛ばす」ための道具です。全部が対象なら、読み飛ばすものがありません。
これは、この記事にとって都合のいい例ではなく、現実によくある形です。
| 遅い理由 | 正しい直し方 |
|---|---|
| 要らない行まで読んでいる | 索引を張る(キャッシュではない) |
| 同じクエリを何度も投げている | キャッシュ |
| 対象の行が本当に多い集計 | キャッシュ(読む量そのものは減らせない) |
「遅い → キャッシュ」は短絡です。 索引を張れば直る遅さにキャッシュを被せると、遅いままのクエリが、古い値を返しながら残ります。 索引で直るかを先に試して、駄目だったからキャッシュに来た。 この順番が大事です。
② Redis を入れる
Docker は使いません。 コンテナは次の段階の話なので、apt で入れます。
動いているか確認します。
● redis-server.service - Advanced key-value store
Loaded: loaded (...; enabled; preset: enabled)
Active: active (running) since ...
PONG
active (running) と enabled。 プロセスとサービスの回でやったとおり、入れた時点で起動していて、次の起動でも自動で立ち上がります。
redis-cli pingでPONGが返るのが、Redisの「生きてます」です。
どこで待ち受けているかを、必ず見る
MySQLのときと、まったく同じ確認をします。
LISTEN 0 511 127.0.0.1:6379 0.0.0.0:* users:(("redis-server",pid=...,fd=...))
LISTEN 0 511 [::1]:6379 [::]:* users:(("redis-server",pid=...,fd=...))
127.0.0.1:6379 と [::1]:6379。0.0.0.0 はありません。
| 意味 | |
|---|---|
0.0.0.0:6379 | どこからでも繋がる。 外に開いている |
127.0.0.1:6379 | このマシンの中からしか繋がらない |
MySQL の回と同じ結論です。 Redis も外に出しません。
ufwで 6379番を開ける必要はありません。 そもそも外向きに待っていないので、開けても繋がらず、開けたら危険なだけです。
確かめます。Windows側の PowerShell から、VMの 6379番を叩いてみてください。
TcpTestSucceeded : False
False が正解です。 192.168.226.50 はこのVMのIPの例なので、自分の値に読み替えてください(VMの中で ip a で確認できます)。
繋がらないのは失敗ではありません。 ネットワークの回で「繋がらない」を切り分けたときと、見ている場所は同じで、望む結果が逆です。
[スクリーンショット: 02_redis待ち受け確認.png] redis-cli ping の PONG と sudo ss -tlnp | grep 6379 を1枚に収めて撮ってください。127.0.0.1:6379 が読めることが条件です。
③ 触ってみる — キーと値だけの世界
127.0.0.1:6379> が出ます。ここからは Redis のコマンドです。
SET greeting "こんにちは"
GET greeting
EXISTS greeting
DEL greeting
GET greeting
最後は (nil) が返ります。 「無い」という意味です。
覚えるのは、これくらいです。
| コマンド | 意味 |
|---|---|
SET key value | 入れる |
GET key | 取り出す。無ければ (nil) |
DEL key | 消す |
SET key value EX 60 | 60秒で自動的に消えるように入れる |
TTL key | 残り秒数を見る |
EXPIRE key 60 | あとから期限を付ける |
INCR key | 数値として1増やす(アクセス数を数えるときなど) |
DBSIZE | いま何個キーがあるか |
SCAN 0 MATCH "app:*" COUNT 100 | キーを少しずつ探す |
INFO memory | メモリの使用量 |
期限の様子を見てください。
SET tmp "60秒で消えます" EX 60
TTL tmp
SET forever "ずっと残ります"
TTL forever
(integer) 58
(integer) -1
TTLの返り値には、覚えておく意味があります。
値 意味 正の数 残り秒数 -1キーはあるが、期限が無い(=永遠に残る) -2キーが無い
-1が並んでいるのが、後で書く「メモリを食い潰す」の正体です。
KEYS * を打たない
検索するとよく出てきますが、KEYS * は使わないでください。
Redis は、命令を1つずつ順番に処理します。 KEYS * は全部のキーを走査するまで他の処理を止めます。 100万キーあれば、その間サービス全体が固まります。
代わりに
SCANを使います。 少しずつ返してくるので、止まりません。 手元の練習用ならどちらでも動きます。 動くからこそ、練習のうちにSCANの手が身についているかが分かれ目になります。
exit で抜けます。
④ 既定で認証が無い、という危険
ここは飛ばさないでください。
さっき、あなたはパスワードを聞かれずに redis-cli に入れました。 これはRedis の既定の状態です。
Redis は、既定で認証がありません。繋がった人は、全部読めて、全部消せます。
いま危険ではない理由は1つだけで、127.0.0.1 でしか待っていないからです。設定を1行変えて外に向けた瞬間、世界中の誰でも触れる状態になります。
Redis 側にも保険はあります。
| 仕組み | 何をするか |
|---|---|
protected-mode yes(既定) | 外向きに待っているのに認証が無いとき、外からの接続を断る |
bind 127.0.0.1 -::1(Ubuntuの既定) | そもそも外向きに待たない |
requirepass(既定は未設定) | パスワードを要求する |
protected-modeは「安全」ではなく「最後の砦」です。requirepassを設定すると、この保護は外れます(=パスワードがあるので外から繋げてよい、と判断される)。 「保護モードがあるから大丈夫」ではありません。 実際に、認証無しのRedisを探して回るプログラムが動いていて、踏み台にされた事例が繰り返し起きています。
パスワードを設定する
練習でも、必ず設定してください。「あとでやる」は、たいてい来ません。
# requirepass foobared という行を探して、下の1行をその近くに足します(コメント行はそのままで構いません)。
requirepass いま作った文字列
(error) NOAUTH Authentication required.
拒否されれば成功です。 MySQLの回で appuser に DROP をぶつけたのと同じで、絞ったら一度ぶつけて確かめます。
これからは、こう打ちます。
PONG
--no-auth-warningは、「パスワードをコマンドラインに書くと履歴に残るぞ」という警告を消すものです。警告のほうが正しいので、本来はredis-cliに入ってからAUTH パスワードと打つのが行儀の良いやり方です。 この記事では、コマンドを1行で示すために-aを使います。 共用のサーバーでは避けてください。
アプリ用に .env へ足します。
DB_USER=appuser
DB_PASSWORD=(これまでのもの)
DB_NAME=appdb
SESSION_SECRET=(これまでのもの)
REDIS_URL=redis://:さっき作った文字列@127.0.0.1:6379
redis://:パスワード@ホスト:ポートの形です。:の前にユーザー名が無いのが見慣れないところですが、これで合っています(Redis の既定のユーザーは名前を書きません)。.envは MySQLの回で.gitignoreに入れてあります。 ここでも同じ扱いです。
⑤ アプリからキャッシュする
app.js の上のほう(knex を作った直後)に足します。
const { createClient } = require("redis");
const redis = createClient({ url: process.env.REDIS_URL });
redis.on("error", (err) => console.error("[redis]", err.message));
redis.connect().catch((err) => console.error("[redis] 繋がりません:", err.message));
キャッシュで落ちない書き方にする
そのまま await redis.get(...) と書くと、Redisが止まった瞬間にAPIが500を返します。
キャッシュが落ちたらサービスが落ちる、では本末転倒です。 キャッシュは「無くても動くが、あると速い」ものでなければいけません。
だから、包んでおきます。
const cacheGet = async (key) => {
try {
return await redis.get(key);
} catch {
return null; // 繋がらなければ「ミス」と同じ扱いにする
}
};
const cacheSet = async (key, value, ttlSeconds) => {
try {
await redis.set(key, value, { EX: ttlSeconds });
} catch {
// 保存できなくても、処理は続ける
}
};
const cacheDel = async (key) => {
try {
await redis.del(key);
} catch {
// 同上
}
};
キーの決め方
Redis には表も列もありません。あるのは名前だけです。 だから名前の付け方が設計そのものになります。
app:v1:stats:user:1
| 部分 | 役割 |
|---|---|
app | どのアプリのものか。 1台のRedisを複数で使うことがある |
v1 | 形式のバージョン。 中身の作りを変えたら v2 にする(後述) |
stats | 何のキャッシュか |
user:1 | 誰のものか |
守ることは3つです。
- 区切りは
:。 Redis の慣習で、道具もこれを前提に表示します - 利用者が入れた文字をそのままキーにしない。 何万通りにも増えて、消せなくなります
- 「誰の」を必ず入れる。 これを忘れると、他人のキャッシュが自分に返ります
3番は、実際に起きる最悪の事故です。
app:v1:statsというキーで全員ぶんを1つに入れてしまうと、先にアクセスした人の集計が、次の人にそのまま返ります。 認証の回でAND user_id = ?を足して認可を作りました。キャッシュのキーにも、同じ区別を持ち込む必要があります。 SQLだけ直してキーを直さないと、認可が丸ごと抜けます。
書き換える
さっきの /api/stats を、こうします。
app.get("/api/stats", requireLogin, async (req, res) => {
const key = `app:v1:stats:user:${req.session.userId}`;
try {
const cached = await cacheGet(key);
if (cached) {
res.setHeader("X-Cache", "HIT");
return res.json(JSON.parse(cached));
}
const [rows] = await knex.raw(
`SELECT COUNT(*) AS total,
SUM(done) AS done_count,
SUM(CHAR_LENGTH(title)) AS title_chars
FROM tasks WHERE user_id = ?`,
[req.session.userId]
);
await cacheSet(key, JSON.stringify(rows[0]), 60);
res.setHeader("X-Cache", "MISS");
res.json(rows[0]);
} catch (err) {
console.error(err);
res.status(500).json({ error: "集計できませんでした" });
}
});
読みどころが4つあります。
| 書き方 | なぜ |
|---|---|
JSON.stringify / JSON.parse | Redis に入るのは文字列だけ。 オブジェクトをそのまま渡すと [object Object] になる |
{ EX: 60 } | TTL。60秒で自動的に消える |
X-Cache ヘッダ | ヒットしたかどうかを外から見えるようにした。確かめられない改善は、改善ではない |
| 無ければDBを見る | この形を cache-aside(キャッシュを脇に置く) と呼びます。キャッシュは正ではなく、控え |
測り直す
0.274932
0.003118
0.002944
0.003025
0.002871
1回目だけ遅く、2回目から約90倍速くなりました。 1回目がミス、2回目以降がヒットです。
ヘッダでも確かめられます。
X-Cache: HIT
Redis側にも入っています。
(integer) 43
[スクリーンショット: 03_キャッシュ後の時間.png] 1回目だけ遅く、2回目から桁が変わっている time_total の並びを撮ってください。
⑥ 事故を起こす — 更新したのに古い値が返る
ここがこの記事の本題です。
タスクを1件足して、すぐ集計を見てください。
200003
200003
増えていません。 データベースには確かに入っています。
+----------+
| COUNT(*) |
+----------+
| 200004 |
+----------+
APIが嘘をついている状態です。 そして、60秒待てば直ります。 「たまに古い」「リロードしたら直った」という報告は、ほぼこれです。再現しにくく、ログにも何も出ません。
[スクリーンショット: 04_古い値が返る.png] 追加したのに total が変わらず、MySQL 側では増えている、を1枚に撮ってください。この記事で一番大事な画面です。
直す — 書いたら消す
キャッシュの無効化には、大きく3つのやり方があります。
| やり方 | 中身 | 向いている場面 |
|---|---|---|
| TTLに任せる | 古い値を最大N秒は返すと割り切る | 多少ずれてよいもの(アクセス数、ランキング) |
| 書き込みのときに消す | 更新したら、関係するキーを DEL する | 自分のデータを自分で更新する。今回はこれ |
| キーにバージョンを入れる | 消さずに別の名前にする。古いものはTTLで自然に消える | 一斉に切り替えたいとき |
2番目を書きます。 /api/tasks の追加と削除に1行ずつ足します。
// 追加(成功したあと、レスポンスを返す前)
await cacheDel(`app:v1:stats:user:${req.session.userId}`);
// 削除(count が 0 でなかったあと)
await cacheDel(`app:v1:stats:user:${req.session.userId}`);
立て直して、もう一度。
200004
200005
すぐ反映されました。
なぜ「消すのが一番難しい」のか
いま足したのは、たった2行です。それでも難しい、と言い切る理由があります。
キャッシュを作る場所は1箇所ですが、壊す場所は「そのデータを変えうる全部」だからです。
いまの app.js で、tasks を変えられる場所を数えてください。
POST /api/tasks(追加)PUT /api/tasks/:id(全部置き換え)PATCH /api/tasks/:id(一部変更)DELETE /api/tasks/:id(削除)sudo mysqlで手で打つ SQL- マイグレーション
この記事では追加と削除にしか足していません。 つまり PATCH で完了にしても、集計は古いままです。そして、手で打ったSQLとマイグレーションは、そもそもアプリを通りません。
だから、この3つを守ってください。
- 無効化は、キャッシュを作った場所の「近く」に書く。 離れると必ず消し忘れます
- TTLを必ず付ける。 消し忘れても最悪N秒で直る。これが最後の安全網です
- 短めのTTLから始める。 30〜60秒でも、毎秒アクセスがあれば効果は十分です
TTLを付けない
SETは、無効化を100%やりきれる自信がある、という宣言です。 そんな自信は持てません。
TTLを付けないと、メモリを食い潰す
もう1つの理由です。
Redis はメモリの上にいます。 そして既定では、上限が設定されていません。
1) "maxmemory"
2) "0"
0 は「無制限」です。TTLの無いキーが増え続けると、こうなります。
- Redis がメモリを使い切る
- Linux が、一番メモリを食っているプロセスを強制終了する(OOM Killer)
- たいてい Redis 自身か、MySQL が死ぬ
上限を決めておきます。
maxmemory 256mb
maxmemory-policy allkeys-lru
| 設定 | 意味 |
|---|---|
maxmemory 256mb | ここまでしか使わない |
noeviction(既定) | いっぱいになったら、書き込みをエラーにする(OOM command not allowed が出る) |
allkeys-lru | いっぱいになったら、長く使われていないキーから捨てる |
純粋なキャッシュなら
allkeys-lruが正解です。消えても、DBから作り直せるからです。ただし、次の節でセッションを同じRedisに入れます。
allkeys-lruはセッションも捨てます。 つまりメモリが詰まると、利用者が勝手にログアウトします。 本番では、キャッシュとセッションを分けるのが定石です(別のインスタンス、または別のDB番号)。練習では1台で構いませんが、この組み合わせの危険は覚えておいてください。
⑦ セッションを Redis に移す
認証の回で、セッションを MySQL に置きました。 メモリに置くと再起動で全員ログアウトするから、という理由でした。
Redis に移すと、何が変わるのか。
app.js の MySQLStore を作っているところを、これに差し替えます。
// 消す
// const MySQLStore = require("express-mysql-session")(session);
// const store = new MySQLStore({ ... });
const { RedisStore } = require("connect-redis");
const store = new RedisStore({ client: redis, prefix: "app:v1:sess:" });
app.use(session({ ... })) の中身は、そのままで動きます。 store の中身が変わっただけです。
いままでのログインは無効になります。 Cookieに入っているIDは同じでも、Redis 側にその中身が無いからです。もう一度ログインしてください。
Redis の中を見ます。
1) "0"
2) 1) "app:v1:sess:kL3v9xQ2..."
期限も付いています。
(integer) 604799
604800秒 = 7日。 session の cookie.maxAge に書いた値です。TTLを自分で書いていないのに付いているのが要点です。
[スクリーンショット: 05_セッションがRedisに入る.png] SCAN でセッションのキーが1つ見えていて、TTL が7日ぶんの秒数を返している画面を撮ってください。
MySQLに置いたときと、何が違うか
| MySQL に置く | Redis に置く | |
|---|---|---|
| 毎回のリクエストで | SELECT が1本飛ぶ | メモリを引くだけ |
| 期限切れの掃除 | ライブラリが定期的に DELETE する | TTLで勝手に消える |
| 表の準備 | CREATE TABLE が要った(権限で詰まった) | 要らない(キーを置くだけ) |
| サーバーを増やすと | 共有できる | 共有できる |
| Redis/DBが落ちたら | ログインできない | ログインできない |
| 中身の重さ | ディスク | メモリ。人数ぶん載る |
「セッションはキャッシュか」は、微妙な問いです。 消えても致命傷ではありません(もう一度ログインすれば済む)。でも、消えたら全員が同時にログアウトします。
Redis は、既定でディスクにも書いています(スナップショット)。完全に揮発するわけではありません。 ただし書くのは数分おきなので、落ち方によっては直近ぶんが消えます。
だから設計はこうです。 消えたら「もう一度ログインしてもらう」で済むもの=Redisでよい。消えたら取り返せないもの(タスク、ユーザー、パスワード)=MySQL。 この線引きが、この記事の結論です。
sessions テーブルは、もう使われません。 すぐ消さず、しばらく残しておいて、増えていないことを確認してから消してください。
⑧ キャッシュを入れないほうがいい場面
キャッシュは、必ず「古い値を返す可能性」と引き換えです。 割に合わない場面があります。
① まだ測っていないとき
一番多い間違いです。 遅い証拠が無いのに入れると、複雑さだけが増えます。
② 索引やクエリで直る遅さ
この記事の①でやったとおりです。根本が遅いままキャッシュで隠すと、ミスしたときだけ極端に遅い、という不安定なAPIになります。
③ 書き込みのほうが多いデータ
1回読むたびに10回更新されるなら、キャッシュは毎回捨てられます。 作る手間だけかかって、一度も使われません。
④ ずれてはいけないもの
残高、在庫数、権限の判定。 1秒でも古い値を返してはいけないものには使いません。
特に、権限の判定結果をキャッシュしないでください。 「この人は管理者」をキャッシュすると、権限を外したのに、TTLが切れるまで管理者のままになります。
⑤ ヒットしないもの
利用者ごと・条件ごとに全部違って、同じキーが二度と引かれないなら、キャッシュはメモリを消費するだけです。
判断の型は、これです。
| 問い | 入れる条件 |
|---|---|
| 測ったか | 入れる前の数字がある |
| 索引で直らないか | 試して駄目だった |
| 同じ結果が何度も要求されるか | ヒットする見込みがある |
| N秒古くても平気か | 平気だと言い切れる |
| 消す場所を全部書き出せるか | 書き出せて、TTLも付けた |
5つ揃わなければ、入れません。
つまずいたところ
| 症状 | 原因 |
|---|---|
[redis] connect ECONNREFUSED 127.0.0.1:6379 | Redisが動いていない。 systemctl status redis-server |
NOAUTH Authentication required | requirepass を設定したのに、.env の REDIS_URL を直していない |
WRONGPASS invalid username-password pair | REDIS_URL のパスワード違い。記号が入っているとURLで壊れることがある(作り直すのが早い) |
redis-cli に入れるが ping が NOAUTH | -a を付けていない、または AUTH パスワード を打っていない |
JSON.parse が Unexpected token o で落ちる | オブジェクトをそのまま SET した。 [object Object] が入っている。JSON.stringify が要る |
client.get が値でなく Promise を返す | await を付けていない |
RedisStore is not a constructor | connect-redis の版で書き方が違う。 v8以降は const { RedisStore } = require("connect-redis")、v7は require("connect-redis").default |
| 移行したら全員ログアウトした | 正常。 保存先を替えたので、前の中身は無い |
| 更新したのに古い値が返る | 無効化を書いていない場所がある。 PATCH と PUT を忘れがち |
OOM command not allowed when used memory > 'maxmemory' | maxmemory に達して noeviction。TTLの無いキーを疑う |
DBSIZE が増え続ける | TTLを付けずに SET している。 TTL が -1 のキーを探す |
| Redisを再起動したらキャッシュが消えた | 正常。 消えても動くように書いてあれば問題ない |
| ホストのブラウザから 6379 に繋がらない | 正常です。 127.0.0.1 でしか待っていません |
後片づけ
ダミーの20万件は、残しておくと以降の回で邪魔になります。
WHEREを必ず付けてください。 MySQLの回の一番大事な話です。先に同じWHEREでSELECTして、件数を見てから消します。
キャッシュを空にするとき。
FLUSHALLは使わないでください。 セッションごと消えて、全員ログアウトします。 消したいものだけ、パターンで選んで消します。
索引を戻すとき。
Redis ごと消すとき。
~/server/とappdbは残してください。 ここまでで、測って・速くして・古い値の面倒を見るところまで来ました。
まとめ
- キャッシュは、速くする道具であると同時に「古い値を返す道具」。 入れる前に必ず測って、数字を持つ
- 遅さの原因を先に疑う。 索引で直る遅さにキャッシュを被せない
- 索引は「要らない行を読み飛ばす」道具。 対象が全部なら効かない。そこがキャッシュの出番
- Redis は「速いデータベース」ではなく「消えてもいいものを置く場所」。 消えて困るものは MySQL に置く
- Redis も
127.0.0.1でしか待たない。 ufw で 6379 を開けない - Redis は既定で認証が無い。
requirepassを必ず設定し、NOAUTHが出ることを確かめる - キーは
app:v1:stats:user:1の形。 「誰の」を必ず入れる。 忘れると他人のデータが返る - TTLを必ず付ける。
TTLが-1のキーは永遠に残り、メモリを食い潰して OOM Killer を呼ぶ maxmemoryとmaxmemory-policyを決める。 既定は無制限+noeviction- 一番難しいのは無効化。 作る場所は1つ、壊す場所はデータを変えうる全部
- キャッシュが落ちてもAPIは動く形で書く。 ミスと同じ扱いにして、DBを見にいく
- セッションを Redis に置くとTTLが自動で付く。 ただしキャッシュと同居させて
allkeys-lruにすると、勝手にログアウトする - 入れない判断もする。 測っていない・索引で直る・書き込みが多い・ずれてはいけない・ヒットしない
参考リンク
- roadmap.sh — Redis
- roadmap.sh — Backend(Caching の項目)
- Redis 公式ドキュメント
- Redis — コマンド一覧
- Redis — Security
- node-redis(npm) / connect-redis(npm)
次に読む
この記事は 【第5段階】バックエンドとデータベース の 13 / 29 本目です。
| 記事 | |
|---|---|
| ← 前の記事 | 数秒のクエリを数ミリ秒にする — SQLの到達作品 |
| → 次の記事 | 全部やるか、1つもやらないか — トランザクションとACID |
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。

コメント