SQLiteはおもちゃではない — 用途で選ぶデータベース

SQLiteとデータベース選び。一つのデータファイルと複数のデータベースの箱、選択チェック。

製品名の前に、選ぶ軸を決めます。SQLite・MySQL・PostgreSQL・Redisを用途で並べ、どこで切り替えるのかを整理します。

前回: スキーマは消えずにアプリへ移る — NoSQLとMongoDB 作業場所はVMの中(Ubuntu Server)です。この回で新しく立てるサーバーは1つもありません。 使うのは sqlite3 コマンドだけで、メモリはほぼ食いません。

ここまでで、保存先を4つ触りました。

触ったもの何だったか
MySQL表で持つ。最初の1つ
PostgreSQL同じく表。違いは1割だった
Redis消えてもいいものを速く出す
MongoDB形の決まらないものを入れる

そして前回の結論は 「迷ったらリレーショナル」でした。それは今も変わりません。

では、なぜこの記事があるのか。

「とりあえず MySQL」でよかったのは、入れるデータの形が、行と列に素直に収まっているあいだだけだからです。そこを外れたとき、何が起きるか。動かなくなるのではありません。動きます。 動くけれど、こうなります。

SELECT
  t3.name
FROM users u
JOIN follows f1 ON f1.follower_id = u.id
JOIN users t1   ON t1.id = f1.followee_id
JOIN follows f2 ON f2.follower_id = t1.id
JOIN users t2   ON t2.id = f2.followee_id
JOIN follows f3 ON f3.follower_id = t2.id
JOIN users t3   ON t3.id = f3.followee_id
WHERE u.id = 1;

これは「友達の友達の友達」を出すだけのSQLです。3段でこれです。5段になったら、あなたはもうこのSQLを読めません。読めないSQLは、直せません。

形が合わないデータを無理に表へ入れると、壊れるのはデータではなくSQLのほうです。 そして「読めないSQL」は、そのまま「誰も触れない機能」になります。

この記事でやりたいのは、製品名を覚えることではありません。

  • 選ぶための軸を先に3つ決める(製品名の一覧は、軸が無いと丸暗記にしかならない)
  • 実際に手を動かすのは SQLite だけにする(VMのメモリを空けておくため)
  • 残りは「なぜそれが要るのか」だけ理解して、いま入れないと決める

先に結論を書きます。この記事の最後は「個人のサービスは1つでいい」です。 その根拠を、種類を一通り見てから積み上げます。

対象レベル: 初級〜中級 / 区分: 必修

目次

この記事でわかること

  • データベースの種類は「軸」で分かれていること。何を速くしたいか・データの形・1台か複数台かの3つで、ほとんど説明が付くこと
  • SQLite は「おもちゃ」でも「練習用」でもないこと。弱点は同時書き込みの1点だけで、それ以外は本番で使えること
  • すでに動かしている Prometheus が時系列データベースそのものだということ。なぜ普通のDBでは苦しいのか
  • 列指向が集計で速い理由が、魔法ではなく「ディスクから読む量が減るから」だということ
  • MySQL / PostgreSQL は、思っているよりずっと広い範囲を1台でカバーできること。分けるのは最後の手段だということ

この記事でやること

  1. 選ぶための軸を3つ書き出して、既に触った4つを当てはめる
  2. sqlite3 でデータベースを作り、ls -lh でファイルが1個できているところを見る
  3. .dump で中身がSQLのテキストになることを確かめ、cp でバックアップを取る
  4. 端末を2つ開いて、同時書き込みでわざと database is locked を出す
  5. 時系列・グラフ・列指向・キーバリューを、手を動かさずに整理する
  6. 用途 → 第一候補の表を作り、自分のサービスで何を使うかを1つに決める

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
組み込み型(embedded)データベースがアプリと同じプロセスの中で動く方式。別のサーバーを立てない。 SQLite がこれ
クライアント・サーバー型DBが独立したサーバーとして常駐し、ネットワーク越しに繋ぐ方式。MySQL・PostgreSQL・MongoDB がこれ
時系列データベース(TSDB)「時刻 + 数値」の組を大量に貯めることに特化したDB。Prometheus が中に持っている
グラフデータベース「点と、点をつなぐ線」でデータを持つDB。人間関係や経路のように、繋がりをたどるのが主目的のときに使う
行指向 / 列指向1行分をまとめて置くか、1列分をまとめて置くかというディスク上の並べ方の違い。集計の速さが変わる
キーバリュー型「鍵 → 値」だけのDB。Redis がこれ
マネージド(managed)クラウド事業者が用意・運用してくれる形。自分でサーバーを立てず、使った分だけ払う
WAL(Write-Ahead Log)変更を先にログへ書いてから本体へ反映する仕組み。SQLite では読みながら書けるようにするために使う
.dumpSQLite の機能。データベースの中身を、全部 CREATE と INSERT の並んだテキストに書き出す

① 製品名の前に、軸を3つ決める

「データベースの種類」を製品名の一覧で覚えようとすると、必ず失敗します。 名前は毎年増えるからです。

代わりに、軸を3つ持ちます。 これは増えません。

軸1: 何を速くしたいか

「速いデータベース」というものはありません。 何かを速くすると、必ず何かが遅くなります。

速くしたいことどういう問い合わせか例
1件を引くWHERE id = 5商品ページ、ユーザー情報
たくさん書く1秒に何千件も追記するセンサー、アクセスログ、メトリクス
大量を集計する1億行を SUM / AVG する売上分析、行動ログの集計
繋がりをたどる「Aの友達の友達」SNS、推薦、経路探索

この4つは、同じ設計では両立しません。 データベースが何種類もあるのは、設計者が「どれを捨てるか」を別々に決めたからです。

軸2: データの形

前回の記事で見たとおりです。

形向く保存先
行と列に素直に収まるリレーショナル(MySQL / PostgreSQL / SQLite)
1件ごとに項目が違う、入れ子があるドキュメント(MongoDB)
鍵で引くだけ、中身は問わないキーバリュー(Redis)
時刻と数値だけが延々と増える時系列(Prometheus / InfluxDB)
繋がりそのものが主役グラフ(Neo4j)

軸3: 1台か、複数台か

これが一番見落とされます。

できること引き受けるもの
1台全部の機能が普通に使える。 トランザクションも JOIN も、考えずに使えるその1台が落ちたら止まる。 1台の限界まで
複数台落ちても続く。容量も速度も足せるJOIN とトランザクションが、とたんに難しくなる

レプリケーションの回でやった「書いた直後に読むと無い」は、この軸の話です。 台数を増やすと機能が減る。 これはどの製品でも同じで、避けようがありません。

触った4つを、この軸に当てはめる

何を速くする形台数
MySQL / PostgreSQL1件を引く。ほどほどに集計もできる表1台が基本
Redis1件を引く(桁違いに速い)鍵と値1台 or 複数台
MongoDB1件を引く。書き込みは比較的多く捌けるドキュメント複数台が前提の設計
Prometheusたくさん書く + 時間で集計する時刻と数値1台が基本

Prometheus をこの表に入れたことに、違和感がありますか。 それが ③ の本題です。


② SQLite を触る — サーバーが要らないデータベース

ここがこの記事で唯一、手を動かすところです。

まず、何が違うのか

MySQL を入れたとき、あなたはこれをやりました。

  • パッケージを入れて、サービスとして常駐させた(startとenableは別物 の回)
  • ポート 3306 で待たせた
  • ユーザーとパスワードを作って、権限を与えた
  • アプリから、ネットワーク越しに繋いだ

SQLite には、この4つが全部ありません。

SQLite は「サーバー」ではなく「ライブラリ」です。 アプリが、ファイルを直接読み書きします。 間に立つプロセスがいません。

だから、こうなります。

MySQLSQLite
常駐プロセス要る無い
ポート3306無い
ユーザー・パスワード要る無い(ファイルの権限がそのまま権限)
バックアップmysqldumpファイルをコピーする
引っ越しダンプして流し込むファイルを scp する
使えるメモリ設定して確保するアプリの一部

入れる

sqlite3 コマンドは、Ubuntu Server に既定では入っていないことがあります。 まず確かめます。

bash
$ which sqlite3

何も出なければ入っていません。 入れます。

bash
$ sudo apt update
$ sudo apt install -y sqlite3
$ sqlite3 --version

バージョンと日付が1行出れば成功です。

MySQL のときと違い、systemctl start は要りません。 常駐するものが無いからです。 systemctl status sqlite3 を打っても Unit sqlite3.service could not be found と返ります。それが正常です。

作る

ホームディレクトリに作ります。

bash
$ cd ~
$ sqlite3 notes.db

プロンプトが sqlite> に変わります。 ここから先は SQLite の中です。

CREATE TABLE notes (
  id         INTEGER PRIMARY KEY AUTOINCREMENT,
  title      TEXT NOT NULL,
  body       TEXT,
  created_at TEXT NOT NULL DEFAULT (datetime('now'))
);
INSERT INTO notes (title, body) VALUES ('最初のメモ', 'SQLiteはファイル1個');
INSERT INTO notes (title, body) VALUES ('2件目', 'サーバーが要らない');
SELECT * FROM notes;

2行返れば成功です。

1|最初のメモ|SQLiteはファイル1個|2026-09-11 04:12:33
2|2件目|サーバーが要らない|2026-09-11 04:12:33

MySQL のときと、SQLの見た目がほとんど同じことに気づいてください。AUTO_INCREMENT が AUTOINCREMENT になり、VARCHAR(200) が TEXT になっただけです。MySQLの回で覚えたSQLは、そのまま通用します。

ドットで始まるものは、SQLではない

. で始まる命令は SQLite のコマンドライン道具そのものへの指示で、SQLではありません。セミコロンも要りません。

bash
$ .tables
$ .schema notes
$ .quit
何が返るか
.tablesnotes
.schema notesさっき打った CREATE TABLE がそのまま返る
.quit抜ける

.quit を打つまで、次の手順に進めません。 Ctrl+D でも抜けられます。

ここがファイルを見る

抜けたら、いま何ができたのかを見ます。

bash
$ ls -lh ~/notes.db
$ file ~/notes.db
$ head -c 16 ~/notes.db

こう返ります。

-rw-r--r-- 1 ubuntu ubuntu 12K Sep 11 04:12 /home/ubuntu/notes.db
/home/ubuntu/notes.db: SQLite 3.x database, last written using SQLite version 3045001
SQLite format 3

[スクリーンショット: 01_sqlite_ls.png] ls -lh ~/notes.db と file ~/notes.db を続けて実行した結果を撮ってください。「ファイルが1個しかない」ところが分かる画面にしてください。

これがこの記事で一番大事な1枚です。

データベース全体が、12KB のファイル1個です。 表も、索引も、データも、全部この中にあります。

そして先頭16バイトが SQLite format 3 という、ただの文字列です。バイナリなのに、正体が読めます。 テキスト処理の回でやった head -c が、そのまま効きます。

バックアップは cp

MySQL のバックアップは mysqldump でした。 SQLite はこうです。

bash
$ cp ~/notes.db ~/notes-backup.db
$ ls -lh ~/notes*.db

これで終わりです。

ただし条件があります。「誰も書いていないとき」に限ります。 書き込み中にコピーすると、中途半端な状態を写し取ることがあります。 動いているアプリのファイルをコピーするときは、専用の命令を使います。

bash
$ sqlite3 ~/notes.db ".backup ~/notes-safe.db"
$ ls -lh ~/notes-safe.db

.backup は、書き込みが走っていても壊れないバックアップを取ります。 実運用ではこちらを使ってください。

.dump で中身がSQLになる

ここも見ておきます。

bash
$ sqlite3 ~/notes.db ".dump"
PRAGMA foreign_keys=OFF;
BEGIN TRANSACTION;
CREATE TABLE notes (
  id         INTEGER PRIMARY KEY AUTOINCREMENT,
  title      TEXT NOT NULL,
  body       TEXT,
  created_at TEXT NOT NULL DEFAULT (datetime('now'))
);
INSERT INTO notes VALUES(1,'最初のメモ','SQLiteはファイル1個','2026-09-11 04:12:33');
INSERT INTO notes VALUES(2,'2件目','サーバーが要らない','2026-09-11 04:12:33');
DELETE FROM sqlite_sequence;
INSERT INTO sqlite_sequence VALUES('notes',2);
COMMIT;

[スクリーンショット: 02_sqlite_dump.png] sqlite3 ~/notes.db ".dump" の出力を撮ってください。CREATE TABLE と INSERT が並んでいるところが見えれば十分です。

バイナリのファイルが、テキストのSQLに戻りました。 ここが効いてくるのは、Gitに入れたいときです。

bash
$ sqlite3 ~/notes.db ".dump" > ~/notes.sql
$ wc -l ~/notes.sql

.db をGitに入れてはいけません。 バイナリなので差分が見えず、毎回まるごと1ファイル分の履歴が増えます。 入れるなら .dump した .sql のほうです。中身の変化が行単位で見えます。

同時書き込みで、わざと失敗させる

SQLite の唯一にして最大の弱点を、実際に見ます。 端末を2つ開いてください(VS Code の Remote SSH なら、ターミナルを2つに割るだけです)。

端末A

bash
$ sqlite3 ~/notes.db
BEGIN IMMEDIATE;
INSERT INTO notes (title) VALUES ('Aが書いている途中');

まだ COMMIT; は打たないでください。 この状態で端末Bを開きます。

端末B

bash
$ sqlite3 ~/notes.db
INSERT INTO notes (title) VALUES ('Bも書きたい');

こう返ります。

Runtime error: database is locked (5)

これが SQLite の限界そのものです。

書き込みは、同時に1つしか通りません。 ファイル全体に鍵が掛かるからです。MySQL のように「この行だけ」という細かい鍵ではありません。

端末Aで COMMIT; を打つと、その瞬間から端末Bは通ります。

COMMIT;

両方 .quit で抜けてください。

読むほうは、同時でいい

「同時に1つ」なのは書き込みだけです。読むほうは何人でも同時に読めます。 さらに、既定の設定を1行変えると、読みながら書けるようになります。

bash
$ sqlite3 ~/notes.db "PRAGMA journal_mode=WAL;"
$ ls -lh ~/notes.db*
wal
-rw-r--r-- 1 ubuntu ubuntu  12K Sep 11 04:20 /home/ubuntu/notes.db
-rw-r--r-- 1 ubuntu ubuntu  32K Sep 11 04:20 /home/ubuntu/notes.db-shm
-rw-r--r-- 1 ubuntu ubuntu    0 Sep 11 04:20 /home/ubuntu/notes.db-wal

ファイルが3つに増えました。

ファイル何か
notes.db本体
notes.db-walこれから本体へ反映する変更を先に書いておく場所
notes.db-shm上の2つを複数プロセスで共有するための作業領域

先にログへ書いて、あとで本体へ反映する。 これが WAL です。書いている最中でも、本体は前の状態のまま読めるので、読み手が待たされません。

WAL にすると、コピーすべきファイルが3つになります。 notes.db だけコピーしても最新の変更が入っていません。 だから .backup を使ってください。 さっき「実運用ではこちら」と書いたのは、この理由です。

では、SQLite はどこで使えるのか

「同時書き込みに弱い」という一点だけを見て、「本番では使えない」と言うのは間違いです。

むしろ、あなたの端末の中で、いま何十個も動いています。

  • スマートフォンのアプリ(連絡先、メッセージ、設定)
  • ブラウザ(履歴、ブックマーク、Cookie)
  • 多くのデスクトップアプリの設定ファイル

世界で最も広く使われているデータベースは SQLite です。 台数で言えば、MySQL や PostgreSQL の比ではありません。

使える使えない
1台のサーバーで動く、読み中心のWebサイト同時に大量の書き込みが来るサービス
アプリの設定・履歴・キャッシュの保存複数のサーバーから同じDBに繋ぐ構成
CLIツールが自分用に持つデータDBサーバーだけ別マシンに置きたい構成
テストの実行時(起動が一瞬)ユーザーごとに権限を分けたいとき
データを1ファイルで配りたいとき無停止で容量を足していきたいとき

判断の一言はこれです。 「書き込むプロセスが、実質1つに収まるか」。収まるなら SQLite で足ります。収まらないなら MySQL / PostgreSQL です。

そして「複数のサーバーから繋げない」という制限は、Kubernetesの回でやったことと直結します。 Podを2つに増やした瞬間、SQLite は選べなくなります。 増やす予定があるなら、最初からサーバー型にしてください。


③ 時系列データベース — あなたはもう使っている

ここで ① の表に戻ります。 Prometheus を「データベース」の列に入れたのは、間違いではありません。

bash
$ docker compose ps

監視の回で --storage.tsdb.retention.time=7d というオプションを書きました。 tsdb は Time Series DataBase の略です。あの時点で、あなたは時系列データベースを立てています。

なぜ普通のDBでは苦しいのか

「時刻と数値を貯める」だけなら、MySQL で書けます。

CREATE TABLE metrics (
  id    INT AUTO_INCREMENT PRIMARY KEY,
  name  VARCHAR(100),
  value DOUBLE,
  ts    TIMESTAMP
);

動きます。 そして15秒に1回、100種類の値を取ると、こうなります。

件数
1分400件
1日57万6千件
1ヶ月1728万件
1年2億件

1台のVMでは、1年もちません。 苦しくなる理由は3つあり、どれも「時系列データの性質」から来ています。

理由1: 追記しかしない。更新も削除もしない。

一般のDBは、「あとから任意の行を書き換えられる」ことを前提に作られています。そのために、行の途中に隙間を作ったり、どこを書き換えたか記録したりしています。時系列データは、一度書いたら二度と書き換えません。 その用意が全部むだです。

理由2: 古いものは捨てる。

去年の秒単位のCPU使用率に、価値はありません。 ところが DELETE FROM metrics WHERE ts < ... は、DBにとって最も重い操作の1つです。1728万行の削除は、それ自体がサービスを止めます。

時系列DBは、時間ごとのかたまり(ブロック)で保存します。 古いものを捨てるのは、ブロックのファイルを消すだけです。retention.time=7d が一瞬で効くのはこれが理由です。

理由3: 問い合わせが、必ず「時間で集計する」形になる。

時系列データを1件だけ引くことは、まずありません。 見たいのは常にこれです。

  • 「直近1時間の、5分ごとの平均」
  • 「1秒あたり何件増えたか」(rate())

SQLで書くと、毎回こうなります。

SELECT
  DATE_FORMAT(ts, '%Y-%m-%d %H:%i:00') AS m,
  AVG(value)
FROM metrics
WHERE name = 'cpu' AND ts > NOW() - INTERVAL 1 HOUR
GROUP BY m
ORDER BY m;

PromQL なら、こうです。

avg_over_time(cpu[1h])

短いから偉い、という話ではありません。 「時間で区切って集計する」が言語に組み込まれているか、毎回自分で書くかの違いです。毎回書くと、毎回間違えます。

さらに、時系列DBは容量が桁違いに小さくなります。 同じ名前の値が延々と並ぶので、「前の値との差分だけ持つ」圧縮が異常に効くからです。MySQL に素直に入れた場合の数十分の1になることも珍しくありません。

いま入れるか

入れません。 Prometheus が既に動いているなら、それで足ります。

製品位置づけ
Prometheus監視のための時系列DB。 取りに行く形。あなたが動かしているもの
InfluxDB汎用の時系列DB。アプリから送りつける用途にも向く
TimescaleDBPostgreSQL の拡張。 ⑦ の話。普通のSQLのまま時系列に強くする

④ グラフデータベース — 冒頭のSQLの答え

冒頭に置いた、JOIN を3段重ねたSQLに戻ります。

あれは「友達の友達の友達」でした。 グラフデータベースなら、こう書きます。

MATCH (me:User {id: 1})-[:FOLLOWS*3]->(other:User)
RETURN other.name

*3 が「3段たどる」です。 5段にしたければ *5 に変えるだけで、行数は増えません。

なぜSQLだと段数だけ長くなるのか

表は「行の集まり」で、繋がりを持っていないからです。

「AはBをフォローしている」を表で持つと、こうなります。

users                follows
+----+------+        +-------------+-------------+
| id | name |        | follower_id | followee_id |
+----+------+        +-------------+-------------+
|  1 | A    |        |           1 |           2 |
|  2 | B    |        |           2 |           3 |
|  3 | C    |        |           3 |           4 |
+----+------+        +-------------+-------------+

「Aの友達」を出すには、follows を1回引きます。 「友達の友達」を出すには、もう1回引きます。 たどる段数と、書く JOIN の数が1対1で対応してしまうのが問題の正体です。

グラフデータベースは、繋がりそのものを保存します。

[A] --FOLLOWS--> [B] --FOLLOWS--> [C] --FOLLOWS--> [D]

「Bから次へ」を知るのに、表を検索しません。 Bの隣に、次への線が最初から刺さっています。 だから何段たどっても、1段あたりのコストが変わりません。

SQL(表)グラフDB
1段JOIN ×1*1
3段JOIN ×6、読めるぎりぎり*3
6段実質書けない・返ってこない*6
「最短で何人挟むか」SQLでは表現しづらい専用の命令がある

いつ要るか(ほとんど要らない)

グラフDBが本当に要る場面は、思っているより狭いです。

要る要らない
繋がりをたどることが、機能の主目的繋がりはあるが、たどるのは1〜2段
SNSの「知り合いかも」、推薦タスクとユーザーの紐付け
経路探索、不正送金の追跡記事とタグ
権限が何段も継承される組織構造親子2階層のカテゴリ

「1〜2段しかたどらないなら、JOIN で足ります。」 これはほぼ全ての個人サービスに当てはまります。 この記事でグラフDBを立てないのは、そのためです。

代表的な製品は Neo4j で、問い合わせ言語は Cypher(上に書いたもの)です。名前と、「段数で破綻するSQLを見たら思い出す」だけ持っておけば十分です。


⑤ 列指向 — 行で持つか、列で持つか

ここは図で理解できます。

こういう表があるとします。

+----+--------+-------+------------+
| id | name   | price | created_at |
+----+--------+-------+------------+
|  1 | りんご |   120 | 2026-01-05 |
|  2 | みかん |    80 | 2026-01-06 |
|  3 | ぶどう |   400 | 2026-01-07 |
+----+--------+-------+------------+

MySQL や PostgreSQL は、ディスクに「行ごと」に並べます(行指向)。

[1, りんご, 120, 2026-01-05][2, みかん, 80, 2026-01-06][3, ぶどう, 400, 2026-01-07]
 └────── 1行がひとかたまり ──────┘

列指向は、「列ごと」に並べます。

id    : [1][2][3]
name  : [りんご][みかん][ぶどう]
price : [120][80][400]
created_at : [2026-01-05][2026-01-06][2026-01-07]
 └── 同じ列がひとかたまり ──┘

なぜ集計が速くなるのか

SELECT SUM(price) FROM products; を、1億行に対して実行するとします。

ディスクから読む量
行指向1億行分の全部。 price だけ欲しくても、name も created_at も一緒に読み込まれる
列指向price の列だけ。 4列あれば、読む量はおよそ4分の1

魔法ではありません。「要らない列を読まなくて済むから速い」です。

さらに、同じ列は同じ種類の値が並ぶので、圧縮が桁違いに効きます。 120, 80, 400, 120, 80... と数字だけが並んだ列は、文字列と数字と日付が混ざった行より、はるかに小さくなります。 読む量がもう一段減ります。

代わりに、何が遅くなるのか

軸1で書いたとおり、何かを速くすると何かが遅くなります。

SELECT * FROM products WHERE id = 2;

この1行を引くのに、列指向は4つの場所を読みに行きます。 行指向なら1箇所です。

INSERT INTO products VALUES (4, 'もも', 300, '2026-01-08');

1件の追加も、4つの列にばらして書き込むことになります。 列指向は、1件ずつの追加・更新が苦手です。

行指向(MySQL)列指向(ClickHouse)
1件を引く速い遅い
1件ずつ書く速いとても遅い(まとめて書く前提)
1列を全部集計する遅い桁違いに速い
用途アプリの本体分析・集計・ログ集計

これは「どちらが優れているか」ではなく、システム設計の回でやった役割分担そのものです。 アプリは行指向で動かし、分析だけ列指向へコピーする。 これが定番の形です。

代表は ClickHouse。名前を知っていれば十分です。個人のサービスで1億行の集計をする日は、当分来ません。


⑥ キーバリュー — Redis の続き

これは既に触っています。

bash
$ redis-cli ping

Redisの回でやったとおり、キーバリュー型は「鍵 → 値」だけです。WHERE で条件を付けて探せません。 鍵が分かっているものしか取れません。

その代わり、構造が単純なので、こうなります。

  • 1件を引く速さが桁違い(Redis はメモリ上)
  • 複数台に分けるのが簡単。 鍵を見て「これは3号機」と決められる。JOIN が無いから、台数を増やしても壊れるものが無い

マネージドという選択肢

キーバリューには、もう1つの顔があります。

自分で立てるマネージド
例Redis(あなたがやった)DynamoDB(AWS)
サーバー自分で用意・更新・監視無い。存在を意識しない
容量・台数自分で足す勝手に増える
料金VM代(動かしていなくても掛かる)読み書きした分(コストの回)
引っ越しどこへでもそのクラウドから出にくい

これはサーバーレスの回と同じ考え方です。サーバーが無いのではなく、他人が管理しています。 そして同じ弱点があります。 DynamoDB 向けに書いたコードは、そのままでは他所へ持っていけません。

DynamoDB は「速いキーバリュー」ですが、「あとから条件を足して検索する」が非常にやりにくいDBです。取り出し方を先に全部決めてから設計する必要があります。要件が固まっていない個人サービスとは、相性がよくありません。


⑦ MySQL / PostgreSQL でどこまで戦えるか

ここが、この記事で一番実利のある節です。

③〜⑥ を読むと、「うちのデータには専用のDBが要る」と思えてきます。 ほとんどの場合、思い違いです。

リレーショナルデータベースは、この20年で「表しか持てないDB」ではなくなりました。

JSON型がある

MongoDB の回でやったことは、実は MySQL でもできます。

CREATE TABLE events (
  id      INT AUTO_INCREMENT PRIMARY KEY,
  kind    VARCHAR(50) NOT NULL,
  payload JSON NOT NULL
);

INSERT INTO events (kind, payload)
VALUES ('signup', '{"user": "taro", "plan": "free", "via": "google"}');

SELECT payload->>'$.plan' FROM events WHERE kind = 'signup';

PostgreSQL の jsonb 型なら、さらに強力です。 JSONの中身に索引を張れます。

CREATE INDEX idx_payload ON events USING GIN (payload);

「形が決まらない列だけ JSON にして、決まっている列は普通の列にする」 これが実務で一番よく使われる形です。外部APIの応答、設定値、ログの詳細。この用途のために MongoDB を追加する必要は、まずありません。

全文検索がある

全文検索の回でやったとおりです。 MySQL の FULLTEXT + ngram で、かなりのところまで戦えました。 Meilisearch を足したのは、「そこで足りなくなってから」でした。順番が大事です。

時系列も、工夫で足りる

③ で「1年で2億件」と書きました。 ただし、それは「15秒ごとに100種類」の話です。

あなたのサービスの規模1年の件数MySQL で足りるか
1日1000件のアクセスログ36万件余裕
1分ごとの計測値10種類525万件足りる(索引と、古いデータの削除を月次で)
15秒ごとに100種類2億件専用DBへ

そして PostgreSQL には TimescaleDB という拡張があります。 普通の PostgreSQL のまま、時系列に強くなります。 SQLも道具も、いま知っているものがそのまま使えます。

では、いつ分けるのか

答えは「困ってから」です。

分けてよいサインまだ分けなくていい
測ったうえで遅い(パフォーマンスの回 の EXPLAIN)「たぶん遅くなりそう」
SQLが読めない長さになったSQLが長くなってきた気がする
1つのテーブルが数千万行を超えた数万行
その用途だけでDBが落ちている落ちたことはない

「分ける」は最後の手段です。 前回書いたとおり、1つ増やすたびに、バックアップ・監視・更新・事故対応が1セット増えます。 速くするために増やしたDBのせいで、障害対応の切り分けが1段複雑になります。


⑧ 選び方の表

ここまでを1枚にします。

用途第一候補それでも困ったら
とりあえずWebサービスを作るPostgreSQL または MySQL—
1台で動く、読み中心の小さなサイトSQLitePostgreSQL
アプリ内・CLIツールのデータ保存SQLite—
テスト用のDBSQLite(起動が一瞬)本番と同じ製品を Docker で
キャッシュ・セッションRedisマネージド(ElastiCache など)
形が決まらないデータを混ぜたいPostgreSQL の jsonbMongoDB
1件ごとに項目がまるごと違うMongoDB—
サーバーやアプリの監視Prometheus長期保存が要るなら別途
アプリが吐く時系列データPostgreSQL + 定期削除TimescaleDB → InfluxDB
アクセスログを全文検索したいMySQL の FULLTEXTMeilisearch → Elasticsearch
数千万行以上の集計・分析まず EXPLAIN と索引ClickHouse
繋がりを3段以上たどるまず設計を疑うNeo4j
クラウドに全部任せたいマネージドRDB(RDS など)DynamoDB

MariaDB は MySQL の分岐

表を見ていると、MySQL と並んで MariaDB という名前をよく見ます。

MariaDB は、MySQL が Oracle に買収されたあと、元の開発者たちが分岐(フォーク)させて作ったものです。別の設計思想で新しく作られたDBではありません。

そのため、ほとんどのSQLとコマンドがそのまま通ります。 apt install mariadb-server で入り、mysql コマンドで繋がります。 ただし年々差は広がっているので、「ほぼ同じ」ではなく「かなり似ている」くらいに思っておいてください。 どちらを選んでも、この記事の話は変わりません。


⑨ やりすぎない

最後に、この記事全体をひっくり返すことを書きます。

個人のサービスは、データベース1つでいい。

この記事で7種類のデータベースを見ました。 そしてあなたのVMには、既に MySQL と Redis が動いています。 それで十分です。

「使い分けられる」は「使い分けるべき」ではありません。 前回も同じことを書きました。2回書くのは、これが一番間違えられるところだからです。

種類を知っておく本当の理由は、これです。

知っている理由どう効くか
困ったときに、名前を思い出せる「たどる段数が増えて詰んだ」→ グラフDBという分野がある、と分かる
人の話に流されなくなる「今はClickHouseだよ」に対して「うちは何行ですか」と聞ける
既に使っているものの正体が分かるPrometheus は時系列DB、Redis はキーバリュー
EXPLAIN を先にやるようになる測る前に道具を増やさない

もし1つだけ持ち帰るなら、これにしてください。

DBを増やす前に、必ず EXPLAIN を打つ。 索引1本で解決する問題に、新しいサーバーを1台足してはいけません。


つまずいたところ

症状原因
sqlite3: command not found入っていません。sudo apt install -y sqlite3
systemctl status sqlite3 が could not be found正常です。 サーバーではないので、サービスがありません
sqlite> から抜けられない.quit(セミコロン不要)。または Ctrl+D
sqlite> が ...> に変わって戻らないSQLのセミコロンを打ち忘れています。 ; を打つ
Error: near "AUTO_INCREMENT": syntax errorSQLite では AUTOINCREMENT(アンダースコア無し)。しかも INTEGER PRIMARY KEY にしか付きません
Parse error: no such table: notes別のファイルを開いています。 sqlite3 を引数なしで起動するとメモリ上の一時DBになり、.quit で全部消えます
ls しても notes.db が無いcd ~ を飛ばしています。 sqlite3 を打ったディレクトリにできます。find ~ -name 'notes.db'
Runtime error: database is locked (5)別のプロセスが書き込み中です。 そのまま片方を COMMIT; するか .quit する
attempt to write a readonly databaseファイルの権限です(権限の回)。ls -l で所有者を見る。sudo sqlite3 で作ると root 所有になります
unable to open database fileディレクトリに書き込み権限がありません。 DBを作るとき、SQLite は同じ場所に一時ファイルも作ります。ファイルだけ書ければよい、ではありません
.dump の日本語が化ける端末側の文字コードです。echo $LANG が C なら export LANG=C.UTF-8
notes.db-wal が消えない正常です。 WAL 有効時は残ります。接続が全部切れると本体へ反映されます
コピーしたDBに、最新のデータが入っていないWAL の変更がまだ本体に入っていません。 cp ではなく .backup を使う
.backup で Error: near ".": syntax error. コマンドをSQLとして打っています。 sqlite3 file ".backup out.db" のように引数で渡すか、sqlite> の中で打つ
数字を入れたのに文字列として返るSQLite は型がゆるいです。 宣言と違う型でもだいたい入ります(そういう仕様)。アプリ側で検証してください

後片づけ

この回で立てたサーバーはありません。 消すのはファイルだけです。

bash
$ ls -lh ~/notes*
$ rm ~/notes.db ~/notes.db-wal ~/notes.db-shm ~/notes-backup.db ~/notes-safe.db ~/notes.sql
$ ls ~/notes* 2>/dev/null || echo "全部消えました"

rm は戻せません。 消す前に必ず ls で、消すものだけが並んでいるか見てください。 rm ~/notes* のようにワイルドカードでまとめて打たないのは、notes で始まる別のものを巻き込まないためです。

sqlite3 コマンド自体は、残しておいて構いません。

bash
$ dpkg -s sqlite3 | grep -i '^Installed-Size'

数百KBです。 常駐もしないので、置いておいてもVMは重くなりません。 どうしても消すなら sudo apt remove sqlite3 です。

appdb(MySQL)、Redis、Prometheus、~/server はそのまま残してください。


まとめ

  • 製品名の前に軸を3つ持つ。 ① 何を速くしたいか ② データの形 ③ 1台か複数台か
  • 「速いデータベース」は無い。 何かを速くすると、必ず何かが遅くなる
  • 台数を増やすと、JOIN とトランザクションが難しくなる。 機能は減る方向に動く
  • SQLite はサーバーではなくライブラリ。 常駐プロセスもポートもユーザーも無い
  • データベース全体がファイル1個。 先頭16バイトは SQLite format 3 という文字列
  • バックアップはコピー。ただし動いているものは .backup、cp ではない
  • .dump でSQLのテキストに戻る。 Gitに入れるなら .db ではなく .sql
  • 書き込みは同時に1つしか通らない。 database is locked はバグではなく仕様
  • 読むのは同時にできる。 WAL にすると、読みながら書ける(ファイルが3つに増える)
  • SQLite はおもちゃではない。 世界で最も台数の多いDB。 弱点は同時書き込みの1点
  • 判断の一言は「書き込むプロセスが実質1つに収まるか」。 Podを2つに増やすなら選べない
  • Prometheus は時系列データベース。 tsdb は Time Series DataBase
  • 時系列が普通のDBで苦しい理由は3つ。 追記しかしない・古いものを捨てる・時間で集計する
  • DELETE は重い。 時系列DBはブロックのファイルごと捨てるので一瞬
  • グラフDBは、繋がりを保存する。 たどる段数が増えても JOIN が増えない
  • ただし1〜2段なら JOIN で足りる。 ほとんどの個人サービスがそれ
  • 列指向が速いのは魔法ではない。 要らない列を読まないから。 圧縮も効く
  • 列指向は1件の取得と1件ずつの書き込みが遅い。 分析用にコピーする形が定番
  • キーバリューは複数台に分けやすい。 JOIN が無いから壊れるものが無い
  • DynamoDB は取り出し方を先に決める設計。 要件が動く段階には向かない
  • MySQL / PostgreSQL は「表しか持てないDB」ではない。 JSON型・全文検索・拡張がある
  • 形が決まらない列だけ JSON にするのが実務の定番。 そのために MongoDB を足さなくてよい
  • 分けるのは「困ってから」。 測って遅い / SQLが読めない / 数千万行が来てから
  • MariaDB は MySQL の分岐。 別物ではなく、かなり似ている
  • 個人のサービスはDB1つでいい。 「使い分けられる」は「使い分けるべき」ではない
  • DBを増やす前に、必ず EXPLAIN を打つ。 索引1本で済む話に、サーバーを1台足さない

参考リンク


次に読む

この記事は 【第5段階】バックエンドとデータベース の 17 / 29 本目です。

記事
← 前の記事スキーマは消えずにアプリへ移る — NoSQLとMongoDB
→ 次の記事1つの表に全部入れると壊れる — テーブル設計と正規化

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

Backend›Databases
  • SQLite / 時系列 / グラフ / 列指向 — 用途で選ぶ
  • MySQL・PostgreSQL でどこまで戦えるか

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次