roadmap.sh のどこをやっているか
- ログの集約(Loki)
- Promtail によるログ収集
- ラベル設計と保持期間
この記事は、上の項目を実際に手を動かして確かめる回です。
前回: Prometheusは取りに行く — 監視とログの入口 作業場所はVMの中(Ubuntu Server)です。前回立てた
~/monitoringの Prometheus + Grafana が動いている状態から始めます。
前回、ログについてこう書いて、はっきり先送りにしました。
この記事では、ログの集約基盤を入れません。
journalctlで足ります。
あれは、あのときの判断としては正しかったと思っています。 今回はその回収です。ただし「やっぱり必要でした」ではありません。何が変わったから入れるのかを、先に書きます。
変わったのは、障害対応の回をやったことです。わざと6つ壊して、自分で直しました。 そのとき、ずっと同じことをしていました。
端末を行ったり来たりしていたんです。
同じ1つの障害を追うのに、3箇所を見に行っています。 しかも、それぞれ時刻の書き方が違うので、「これとこれは同じ瞬間か?」を頭の中で計算しながら読んでいました。
原因が分からないのではなく、並べられないから分からない。
これは、道具で解ける種類の困りごとです。そして、ここまで来て初めて「解く価値がある」と言えるようになりました。
対象レベル: 中級 / 区分: 必修
この記事でわかること
- ログが3箇所に散っているのは道具の問題ではなく、置き場所が3つあるからだということ
- メトリクスで「気づき」、ログで「なぜか」を知るという役割分担が、1画面になると初めて効くこと
- Loki は全文検索をしないこと。ラベルで絞ってから中を舐めるという、Elasticsearch とは別の割り切り
- 秘密情報をログに出すと、ログの保存先が新しい漏洩経路になること(集めた瞬間に危険が増える)
- 保持期間は「書いただけ」では効かないこと。1台ならこれは要らないという線も
この記事でやること
- 追加で必要なメモリを見積もる(
free -hでavailableを確認する) - 既存の
~/monitoring/compose.yamlに Loki と Promtail を足す - journal・nginx・Docker の3箇所を Promtail に読ませる
- Grafana で3箇所を時刻を揃えて1画面に並べる
- 保持期間を設定し、使い終わったらディスクごと片づける
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| ログ集約 | 複数の場所に出るログを、1箇所に集めて横断して見られるようにすること |
| Loki | Grafana Labs が作っているログの保存先。読みは「ロキ」。Prometheus のログ版という言い方をされる |
| Promtail | ログを読んで Loki に送るだけの小さなプログラム。Prometheus でいう exporter の位置 |
| ラベル(label) | ログに付ける短い目印。job="nginx" のような組。これだけが索引される |
| ストリーム(stream) | ラベルの組み合わせ1つ分のログの流れ。{job="nginx", logfile="access"} で1本 |
| LogQL | Loki に問い合わせる書き方。PromQL に似せてある |
| 全文検索(インデックス) | 本文の全単語を先に索引にしておくやり方。速いが、索引が本文と同じくらい大きくなる |
| カーディナリティ | ラベルの値の種類の数。これが増えるとストリームが増え、メモリを食う |
| 保持期間(retention) | 貯めたログをいつまで残すか。前回 Prometheus でやったのと同じ話 |
先に — 追加で必要なメモリ
前回すでに 400〜600MB 足しています。今回はその上に積みます。 立ててから固まると困るので、先に測ります。
total used free shared buff/cache available
Mem: 3.8Gi 2.0Gi 0.4Gi 12Mi 1.4Gi 1.6Gi
見るのは available の列です。前回と同じで、free ではありません。
この記事で足すものの、おおよその使用量です。
| 足すもの | メモリの目安 |
|---|---|
| Loki | 150〜300MB |
| Promtail | 50〜100MB |
| 今回の追加分の合計 | おおよそ 200〜400MB |
| (参考)前回の Prometheus + Grafana + node-exporter | 400〜600MB |
| 監視まわりの合計 | おおよそ 600MB〜1GB |
この数字は目安です。 集めるログの量と、貯まった量で変わります。Loki は受け取る量が増えるほどメモリを使います。
availableが 1GB を切っている状態では始めないでください。 私は VMのメモリを 4GB にしています。2GB では、MySQL・Redis・Node・Prometheus と合わせて確実に足りません。
ディスクも増えます。
ログはメトリクスより大きいです。 数字ではなく文章だからです。
nginx のアクセスログは、アクセス1件で1行増えます。Loki はそれを圧縮して持ちますが、増えることに変わりはありません。 この記事では保持期間を7日にします。そして後片づけまで必ず読んでください。
メモリが足りないなら、この回は飛ばして構いません。 ただし「やりすぎない」の節だけは読んでください。 手を動かさなくても効きます。
[スクリーンショット: 01_free確認.png] Loki を入れる前に free -h を実行した結果を撮ってください。available の値が読めることが条件です。
いま、ログは3箇所にある
なぜ散っているのか。 道具が悪いのではなく、書いている主体が3つあるからです。
| 誰が書いているか | どこに出るか | いま打つコマンド |
|---|---|---|
systemd(myserver.service) | journald | journalctl -u myserver |
| nginx | /var/log/nginx/access.log と error.log | sudo tail -f /var/log/nginx/error.log |
| Docker のコンテナ | Docker が持つJSONファイル | docker compose logs mysql |
それぞれ独立していて、お互いを知りません。 そして、それぞれ時刻の書き方が違います。 ここが効いてきます。
Sep 07 22:14:03 ubuntu myserver[1421]: Error: connect ECONNREFUSED 127.0.0.1:6379
172.18.0.1 - - [07/Sep/2026:22:14:03 +0900] "GET /api/tasks HTTP/1.1" 502 157
2026-09-07T13:14:03.882Z 1:M 07 Sep 2026 13:14:03.882 # Redis is now ready to exit
上から順に、journalctl・nginx・docker logs です。同じ瞬間の3行なのですが、
- journald は「Sep 07 22:14:03」(年が無い・ローカル時刻)
- nginx は「07/Sep/2026:22:14:03 +0900」(独特の書式)
- Docker は「2026-09-07T13:14:03.882Z」(UTC。9時間ずれて見える)
同じ障害を追っているのに、突き合わせるたびに時差を暗算しています。
そして、もう1つ困ることがあります。
これをやると、コンテナのログは消えます。 docker logs はコンテナに紐づいているので、作り直したら過去は残りません。 障害対応の回で「再起動して直った」をやったとき、直った瞬間に証拠も消えていました。
この2つが、集める理由です。
- 時刻で並べたい(3箇所を1本の時間軸に乗せたい)
- コンテナが消えてもログは残したい
メトリクスとログの役割分担、その続き
前回、この表を作りました。もう一度だけ置きます。ここが今日の話の土台だからです。
| メトリクス | ログ | |
|---|---|---|
| 持っているもの | 数(時刻と値) | 文章 |
| 得意なこと | 傾向。いつから変わったかが分かる | 1件を追う。なぜ失敗したかが分かる |
| 苦手なこと | 理由が分からない | 全体の傾向が分からない |
「気づく」のはメトリクス。「なぜか」はログ。
前回はここで終わりました。今日はその先です。
この2つは、いままで別の画面にありました。 Grafana でグラフを見て、「22時から500が増えている」と気づく。そこから先は、端末に戻って journalctl を打っていました。
つまり、「気づく」と「なぜか」の間で、道具を持ち替えていたわけです。
Loki を入れて何が変わるかというと、この持ち替えが無くなります。
- グラフでエラーの山を見つける(メトリクス)
- その山をドラッグして範囲を選ぶ
- 同じ画面の下に、その時間帯のログが出る(ログ)
やることは変わりません。移動が減るだけです。
これは大きい効果ですが、魔法ではありません。 集めても、読むのは自分です。ログの読み方は障害対応の回でやった型のままで、変わりません。
なぜ Elasticsearch ではなく Loki なのか
ログ集約と検索すると、まず Elasticsearch が出てきます。 ELK(Elasticsearch / Logstash / Kibana)という組み合わせで、実際に多くの現場で動いています。
それでも、この記事では Loki を選びます。理由を正直に書きます。
1. 重いものを、個人のVMに入れない
| Elasticsearch | Loki | |
|---|---|---|
| メモリ | 最低でも1〜2GB。JVM のヒープ設定が要る | 150〜300MB から動く |
| 何を索引するか | 本文の全単語 | ラベルだけ |
| 索引の大きさ | 元のログと同じか、それ以上になることがある | とても小さい |
| 見る道具 | Kibana(別に立てる) | Grafana。前回立てたものがそのまま使える |
| できること | 全文検索。「あの単語」で全部から引ける | ラベルで絞ってから、中を順に舐める |
Elasticsearch が悪いのではありません。強いです。 全文検索は本当に速いですし、ログを分析したいなら向いています。
ただ、いま入れると何が起きるかです。
VMのメモリの半分を、ログを検索する道具が持っていきます。
そして、パフォーマンス改善の回でやったのと同じ話になります。測ってから入れる。 いまのログの量は1日で数MB程度です。その量に、全文索引は要りません。
2. Grafana にそのまま乗る
これが効きます。 前回立てた Grafana に、データの出どころを1つ足すだけです。
- 新しい画面を覚えなくていい(Kibana は別物です)
- メトリクスとログを同じダッシュボードに並べられる
- 時間の範囲指定が共通になる(後で効きます)
Loki は「Prometheus のログ版」として作られています。 ラベルの考え方も、問い合わせの書き方も、わざと似せてあります。 前回覚えたことが、そのまま使えます。
3. 全文検索をしない、という割り切り
ここが Loki を理解する上で一番大事です。そして最初に誤解するところです。
Loki は、ログの本文を索引にしません。索引するのはラベルだけです。
では、どうやって探すのか。2段構えです。
{job="nginx", logfile="error"} |= "upstream"
└── ①ラベルで絞る(索引あり。速い) ─┘ └── ②中を順に見る(索引なし)
{job="nginx", logfile="error"}— 索引が効きます。 一瞬で対象のログの束が決まります|= "upstream"— 索引がありません。 絞り込んだ束を、先頭から順に読んで一致を探します
②はブルートフォースです。 「なんて非効率な」と思うところですが、①で対象が十分小さくなっていれば、実用上これで足ります。
逆に言うと、Loki が苦手なのはこれです。
ラベルで絞らずに、全部から単語を探すこと。
{job=~".+"} |= "ECONNREFUSED"
これは「全ログを頭から読め」という命令です。量が増えたら返ってきません。Elasticsearch なら得意な問い合わせが、Loki では一番苦手になります。
この差を分かった上で選ぶなら、Loki は正しい選択です。 分からずに選ぶと、「検索が遅い」と言って捨てることになります。
そして、ラベルを増やしてはいけない
「じゃあラベルを沢山付ければ速いのでは」 と思いますが、ここに罠があります。
❌
ip="203.0.113.5"やpath="/api/tasks/42"をラベルにする
前回 Prometheus でカーディナリティ爆発をやりました。同じことが起きます。 IPごと・URLごとにストリームが分かれ、Loki のメモリが飛びます。
| ラベルにしていいもの | ラベルにしてはいけないもの |
|---|---|
| 値の種類が有限で、少ないもの | 値が無限に増えるもの |
job(journal / nginx / docker) | IPアドレス、ユーザーID、URLのパス |
host(サーバー名) | リクエストID、タイムスタンプ |
unit(サービス名) | ステータスコード…は微妙(種類は少ないが、増えやすい) |
目安は「10種類くらいまで」です。それ以上の粒度は、ラベルではなく |= で絞ります。
立てる
前回の ~/monitoring に足します。 新しいフォルダは作りません。同じ用途のものだからです。
1. Loki の設定ファイル
auth_enabled: false
server:
http_listen_port: 3100
log_level: warn
common:
path_prefix: /loki
storage:
filesystem:
chunks_directory: /loki/chunks
rules_directory: /loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
schema_config:
configs:
- from: 2024-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
limits_config:
retention_period: 168h
ingestion_rate_mb: 4
ingestion_burst_size_mb: 8
reject_old_samples: true
reject_old_samples_max_age: 24h
compactor:
working_directory: /loki/compactor
retention_enabled: true
delete_request_store: filesystem
初めて出るものだけ、意味を書きます。
| 項目 | 意味 |
|---|---|
auth_enabled: false | Loki 自身は認証を持ちません。 「マルチテナントを使わない」という意味で、「安全」という意味ではありません。 だから外に出しません |
storage: filesystem | ローカルのディスクに置く。 本番ではここが S3 などになります |
schema: v13 / store: tsdb | 索引の形式。バージョンで推奨が変わるので、公式の最新を確認してください |
retention_period: 168h | 168時間=7日。これより古いログを消す |
compactor.retention_enabled: true | これが無いと、上の retention_period は何もしません。 詳しくは保持期間の節で |
ingestion_rate_mb: 4 | 1秒あたり4MBまで受け取る。 超えた分は捨てて 429 を返します。暴走したアプリにディスクを埋められないための蓋 |
reject_old_samples_max_age: 24h | 24時間より古いログは受け取らない。 初回起動で過去ログを全部流し込まないための保険 |
2. Promtail の設定ファイル
ここが今日の本体です。3箇所を、それぞれ別のやり方で読みます。
先に、journal がディスクに残る設定になっているか確認します。
/var/log/journal
No such file or directory と出たら、journald がメモリ上にしかログを持っていません(/run/log/journal にあります)。その場合は永続化します。
Ubuntu Server では既定で
/var/log/journalがあるはずですが、環境によります。 「自分の環境に入っていた」を前提にしないでください。 必ずlsで確かめます。
server:
http_listen_port: 9080
grpc_listen_port: 0
positions:
filename: /var/lib/promtail/positions.yaml
clients:
- url: http://loki:3100/loki/api/v1/push
scrape_configs:
- job_name: journal
journal:
path: /var/log/journal
max_age: 12h
labels:
job: journal
host: vm1
relabel_configs:
- source_labels: ['__journal__systemd_unit']
target_label: unit
- job_name: nginx
static_configs:
- targets: [localhost]
labels:
job: nginx
logfile: access
host: vm1
__path__: /var/log/nginx/access.log
- targets: [localhost]
labels:
job: nginx
logfile: error
host: vm1
__path__: /var/log/nginx/error.log
- job_name: docker
static_configs:
- targets: [localhost]
labels:
job: docker
host: vm1
__path__: /var/lib/docker/containers/*/*-json.log
pipeline_stages:
- json:
expressions:
output: log
stream: stream
- labels:
stream:
- output:
source: output
3つを見比べてください。読み方が違います。
| ジョブ | 読み方 | 補足 |
|---|---|---|
| journal | journal: という専用の読み手を使う | ファイルではなくバイナリなので、テキストとしては読めません |
| nginx | ファイルを追いかける(tail -f と同じこと) | access と error を別ラベルで2本にしています |
| docker | ファイルを追いかけて、1行ずつJSONを解く | Docker は1行を {"log":"...","stream":"stdout",...} の形で書いています |
Docker のところの pipeline_stages が、この設定で一番ややこしい部分です。
json:— 1行を JSON として解き、logの中身をoutputに、streamを取り出すlabels:—stream(stdoutかstderrか)をラベルにする。値は2種類しかないので安全ですoutput:— Loki に渡す本文をoutputに差し替える。これが無いと、JSONの塊がそのまま保存されます
そして、コンテナの「名前」はここには入りません。
ファイル名にはコンテナIDしか書かれていないからです。
Promtail はファイルを読むと filename というラベルを自動で付けるので、Grafana では /var/lib/docker/containers/9f3c.../9f3c...-json.log のように見えます。 IDから名前を引くのは、手でやります。
名前でラベルを付ける方法もあります。 docker_sd_configs を使って、Promtail に Docker へ問い合わせさせるやり方です。ただし、Docker のソケット(/var/run/docker.sock)をコンテナに渡す必要があります。
Docker のソケットを渡すのは、そのコンテナにVMの管理者権限を渡すのとほぼ同じです。 ソケットを触れれば、「VMのルートを丸ごとマウントしたコンテナ」を作れてしまいます。 ログを読むという目的に対して、渡すものが大きすぎます。この記事では渡しません。 IDのまま我慢します。
3. compose.yaml(全文)
前回のファイルに追記します。差分ではなく、編集後の全文を出します。
services:
prometheus:
image: prom/prometheus:v2.53.0
command:
- '--config.file=/etc/prometheus/prometheus.yml'
- '--storage.tsdb.retention.time=7d'
- '--storage.tsdb.retention.size=1GB'
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
- prom-data:/prometheus
ports:
- "127.0.0.1:9090:9090"
extra_hosts:
- "host.docker.internal:host-gateway"
restart: unless-stopped
grafana:
image: grafana/grafana:11.1.0
environment:
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_PASSWORD}
GF_USERS_ALLOW_SIGN_UP: "false"
volumes:
- grafana-data:/var/lib/grafana
ports:
- "127.0.0.1:3001:3000"
depends_on:
- prometheus
- loki
restart: unless-stopped
node-exporter:
image: prom/node-exporter:v1.8.2
command:
- '--path.rootfs=/host'
pid: host
volumes:
- /:/host:ro,rslave
restart: unless-stopped
loki:
image: grafana/loki:3.1.0
command: -config.file=/etc/loki/loki-config.yaml
volumes:
- ./loki-config.yaml:/etc/loki/loki-config.yaml:ro
- loki-data:/loki
ports:
- "127.0.0.1:3100:3100"
restart: unless-stopped
promtail:
image: grafana/promtail:3.1.0
command: -config.file=/etc/promtail/config.yml
user: root
volumes:
- ./promtail-config.yaml:/etc/promtail/config.yml:ro
- /var/log:/var/log:ro
- /var/lib/docker/containers:/var/lib/docker/containers:ro
- /etc/machine-id:/etc/machine-id:ro
- promtail-positions:/var/lib/promtail
depends_on:
- loki
restart: unless-stopped
volumes:
prom-data:
grafana-data:
loki-data:
promtail-positions:
イメージのタグは、この記事を書いた時点のものです。 Loki も Grafana も更新が速く、設定ファイルの書き方も画面の見た目も変わります。 最新は公式(grafana.com/docs/loki)で確認してください。
latestにすると、ある日いきなり設定が読めなくなります。
Promtail について、正直に書いておきます。 Grafana Labs は後継として Grafana Alloy を出していて、Promtail はそちらへの移行が案内されています。 設定の書き方は違いますが、「ログを読んで Loki に送る」という役割は同じです。この記事は Promtail で書いていますが、新しく始めるなら公式で現在の推奨を確認してください。 考え方はそのまま持ち越せます。
足した行の意味です。
| 項目 | 意味 |
|---|---|
ports: "127.0.0.1:3100:3100" | VMの中からしか繋がりません。 127.0.0.1: を落とすと、ufw を素通りして世界に公開されます。 前回やらかした話と同じです |
user: root | Promtail に journal と Docker のログを読ませるため。 通常のユーザーでは Permission denied になります。読み取り専用マウントと合わせて、被害を限定しています |
/var/log:/var/log:ro | nginx のログと journal を、読み取り専用で見せる。 :ro を必ず付けます |
/etc/machine-id:...:ro | journal を読むのに要ります。 無いと journald のログが読めないことがあります |
promtail-positions:/var/lib/promtail | 「どこまで読んだか」を覚えておく場所。 これを永続化しないと、再起動のたびに全部読み直して二重に入ります |
depends_on: loki | 起動順。ただし「Lokiが受付可能になるまで待つ」わけではありません。 最初の数秒はPromtailが送信に失敗しますが、再送するので放っておいて構いません |
promtailにports:を書いていません。 わざとです。 Promtail は自分から Loki へ送りに行くだけで、外から呼ばれる必要がありません。 前回 node-exporter で同じ判断をしました。
ufw に足す設定はありません。 すべて Compose のネットワークの中と
127.0.0.1だけで完結しています。開けるものが無いのが一番安全です。
4. 起動する
NAME IMAGE STATUS
monitoring-grafana-1 grafana/grafana:11.1.0 Up 12 seconds
monitoring-loki-1 grafana/loki:3.1.0 Up 14 seconds
monitoring-node-exporter-1 prom/node-exporter:v1.8.2 Up 14 seconds
monitoring-promtail-1 grafana/promtail:3.1.0 Up 12 seconds
monitoring-prometheus-1 prom/prometheus:v2.53.0 Up 14 seconds
5つとも Up になっていること。 Restarting を繰り返しているなら、設定の書き間違いです。
Loki が受付可能になったか確認します。
ready
Ingester not ready と返ることがあります。 起動直後は正常です。15秒ほど待ってもう一度打ってください。
Promtail が実際にログを掴めているか確認します。
{"status":"success","data":["filename","host","job","logfile","stream","unit"]}
job や unit が出ていれば、送れています。 "data":[] や null なら、Promtail 側が何も読めていません。 つまずいたところを見てください。
[スクリーンショット: 02_loki起動.png] docker compose ps で5つのコンテナが Up になっている画面を撮ってください。
3箇所を1画面で見る
Grafana に Loki を登録する
前回と同じく、SSHポートフォワードで見ます。 Windows の PowerShell で打ちます。
ブラウザで http://localhost:3001/ を開き、ログインします。
左メニューの Connections → Data sources → Add new data source → Loki を選び、URLにこれを入れて Save & test を押します。
http://loki:3100
localhost:3100ではありません。 Grafana はコンテナの中にいるので、localhostはGrafana自身を指します。サービス名lokiで呼びます。 Compose の回でやった話がそのまま効いています。前回 Prometheus でも同じところで詰まります。
メニューの位置はバージョンで変わります。 見つからなければ検索窓に「Data sources」と入れてください。
まず1つ、探してみる
左メニューの Explore を開き、上のデータソースを Loki にします。 そして問い合わせを書きます(Code タブに切り替えると直接書けます)。
{job="journal", unit="myserver.service"}
アプリのログが出ます。 次にこれ。
{job="nginx", logfile="error"}
書き方の型は、これだけです。
| 書き方 | 意味 |
|---|---|
{job="nginx"} | ラベルで絞る。 中カッコは必須で、これが無いと問い合わせになりません |
{job="nginx"} |= "500" | 絞った中から 500 を含む行だけ |
{job="nginx"} != "/health" | /health を含まない行だけ(ヘルスチェックのノイズを消す) |
{job=~"nginx|journal"} | 正規表現でラベルを指定(nginx か journal) |
sum by (unit) (rate({job="journal"}[5m])) | 1秒あたり何行出ているかを unit ごとに。PromQL と同じ形です |
最後の行が効きます。 ログを「数」に変えられるので、「エラーログの出る勢い」でグラフが描けます。 ただし前回書いた通り、全ログを数えるために全ログを持ち続けるのは高くつきます。 使うのは絞り込んだ後です。
時刻で揃えて並べる
ここが今日の目的です。
Explore の右上に「Split」(分割)があります。押すと画面が左右に割れ、別の問い合わせを並べられます。 左に nginx、右に journal を出してみてください。
そして大事なのは、これです。
左右で時間の範囲が共有されます。
片方でグラフの一部をドラッグして範囲を絞ると、もう片方も同じ時間に揃います。 これが、端末を行き来していたときにできなかったことです。
ダッシュボードにすると、もっと効きます。 新しいダッシュボードを作り、パネルを縦に4つ置きます。
| 位置 | パネルの種類 | 中身 |
|---|---|---|
| 1段目 | Time series(前回のグラフ) | rate(http_requests_total[1m]) — Prometheus から |
| 2段目 | Logs | {job="nginx", logfile="error"} |
| 3段目 | Logs | {job="journal", unit="myserver.service"} |
| 4段目 | Logs | {job="docker"} |
1つのダッシュボードの中では、時間の範囲は全パネル共通です。 つまり、
1段目のグラフで山を見つけて範囲を選ぶと、下の3つが全部その時間に揃います。
これが「メトリクスで気づいて、ログで理由を知る」を1画面でやる、ということです。
ログのパネルでは、右上の歯車から Time を表示にしておいてください。 時刻が Grafana 側で揃えて表示されるので、UTCとローカル時刻を暗算する必要がもう無くなります。 冒頭の困りごとは、これで消えます。
[スクリーンショット: 03_1画面に並べる.png] Grafana のダッシュボードで、上にグラフ・下にログのパネルが縦に並んでいる画面を撮ってください。時刻の範囲が揃っていることが分かるように撮ってください。
動かして確かめる
わざとエラーを出して、3箇所に同時に出ることを見ます。
VMの別の端末で、APIを止めます。
Grafana に戻って、直近5分を見てください。
- journal に
myserver.service: Deactivatedのような行 - nginx の error に
connect() failedとupstream - nginx の access に
502
3つが、同じ数秒の中に並んでいるはずです。 障害対応の回で「502 は nginx が後ろに繋げなかったとき」と書きました。その「後ろで何が起きたか」が、同じ画面の下の行に出ています。
秘密情報をログに出さない
ここは、集めた瞬間に危険が増える話です。飛ばさないでください。
ログにパスワードやトークンが残っていると、ログの保存先が新しい漏洩経路になります。
いままでも危険でした。 /var/log/nginx/access.log に書かれていたら、それは既にディスクに残っています。ただ、集めると次のことが起きます。
| 集める前 | 集めた後 |
|---|---|
| VMにログインした人だけが読める | Grafana にログインできる人が読める |
| 場所がバラバラ | 1箇所に集まっている(探しやすい=盗みやすい) |
| ログを消せば消える | Loki にコピーが残る(元を消しても残る) |
「探しやすくする」のがログ集約の目的なので、これは表と裏です。
どこから漏れるか
具体的に、3つあります。
1. URLのクエリにトークンを入れている
GET /api/tasks?token=eyJhbGciOiJIUzI1NiJ9.xxxxx HTTP/1.1
nginx のアクセスログは、URLをそのまま記録します。 認証の回で「トークンはヘッダに載せる」と書いた理由の1つが、これです。クエリに入れると、アクセスログに全部残ります。
2. アプリがリクエストの中身をそのまま出している
console.log('login request', req.body);
req.body にはパスワードが入っています。 「デバッグのため一時的に」と入れたものが、そのまま残っているのが一番多いパターンです。
3. 起動時に接続文字列を出している
console.log('connecting to', process.env.DATABASE_URL);
mysql://user:password@localhost/appdb が丸ごと出ます。
どうするか
順番があります。上から順に効きます。
- そもそも出さない。 これが唯一の本当の解決です
- 出す場所を減らす。 トークンはヘッダに、パスワードはログに触れない場所に
- どうしても混ざるなら、送る前に潰す
3番だけ、書き方を出しておきます。 Promtail の設定に足せます。
pipeline_stages:
- replace:
expression: '(token=)[^&\s"]+'
replace: '${1}REDACTED'
- replace:
expression: '("password"\s*:\s*")[^"]*'
replace: '${1}REDACTED'
これは最後の手段です。頼らないでください。 理由は2つ。 ①Promtail が読む前に、既にVMのディスクに平文で書かれています(消えていません)。②書いていない形は素通りします。
pwd=やsecret:は上の正規表現に引っかかりません。「潰しているから安全」と思った瞬間が一番危ないです。
そして、Grafana 自体を守ることも忘れないでください。
- Grafana は
127.0.0.1:3001に閉じたままにする(外に出さない) - 初期パスワードのままにしない
- ログを読めるのは、ログインできる人全員だと理解しておく
セキュリティの回で書いた通りです。安全にはできません。被害を小さくします。
保持期間を決める
Prometheus と同じ話です。ただし、こちらのほうが事故りやすいです。
retention_periodを書いただけでは、ログは消えません。
設定ファイルには、2つ書きました。
limits_config:
retention_period: 168h
compactor:
working_directory: /loki/compactor
retention_enabled: true
delete_request_store: filesystem
retention_period は「7日で消す」という宣言です。実際に消す作業をするのは compactor です。retention_enabled: true を書き忘れると、宣言だけがあって誰も消しません。
これは黙って起きます。エラーも警告も出ません。 「設定したのにディスクが減り続ける」で気づくころには、かなり使っています。
いま何を使っているか、たまに見てください。
loki-data 1 412.3MB
prom-data 1 683.1MB
7日で頭打ちになるはずです。 増え続けているなら、compactor の設定を疑ってください。
受け取る量そのものを減らす手もあります。
| やり方 | 書く場所 |
|---|---|
| ヘルスチェックを送らない | Promtail に drop ステージを足す |
| journal を12時間分だけ読む | max_age: 12h(もう書いてあります) |
| 上限で強制的に止める | ingestion_rate_mb(もう書いてあります) |
ヘルスチェックを捨てる例です。 アクセスログの大半がこれ、ということがよくあります。
pipeline_stages:
- drop:
expression: '.*GET /health.*'
そして、journald 側の上限も忘れないでください。 前回打ったのと同じです。
集めるようになっても、元のログは元の場所にあります。 両方が増えます。
やりすぎない
ここまで書いておいて逆のことを言いますが、大事なので書きます。
サーバーが1台なら、
journalctlで足ります。
前回書いたことは、いまも正しいです。 この記事でやったことは、「1画面で見られると楽」という改善であって、「これが無いと運用できない」ではありません。
集める価値がはっきり出るのは、ここからです。
| 状況 | 集める価値 |
|---|---|
| VM 1台 | ほぼ無い。 ログインして journalctl を打つほうが速い |
| VM 1台+コンテナ数個(いまここ) | 少しある。 時刻を揃えられるのが効く |
| VM 3台以上 | はっきりある。 「どのサーバーか」を探す時間が消える |
| Kubernetes | 必須に近い。 Pod は消える。消えたPodのログは kubectl logs では取れません |
最後の行が、一番効く場面です。 Kubernetes の回でやった通り、Pod は落ちたら別のものが立ち上がります。 落ちた理由が書いてあるログごと消えます。 そこでは集めるしかありません。
そして、忘れてはいけないコストがあります。
ログを集める仕組み自体が、落ちる可能性のあるものです。
- Loki が落ちたら、ログは Loki に入りません(元の場所には残ります)
- Promtail の positions が壊れたら、二重に入るか、抜けます
- Loki が満杯になったら、新しいログを拒否します
つまり、監視対象が1つ増えました。 「本番でやることを全部載せる」が学習で逆効果になるのは、これが理由です。入れたものは、面倒を見ることになります。
今日入れたものは、そのコストを払う価値があるところまで来ていました。 判断の基準は「みんな使っているから」ではなく、「いま自分が何に時間を取られているか」です。 私の場合は、端末を3つ行き来していた時間でした。
つまずいたところ
| 症状 | 原因と直し方 |
|---|---|
loki が Restarting を繰り返す | 設定ファイルのYAMLが読めていない。 docker compose logs loki に理由が出ます。インデントのずれが大半です |
curl localhost:3100/ready が Ingester not ready | 起動直後は正常です。 15〜30秒待ってもう一度 |
/loki/api/v1/labels が空 | Promtail が何も読めていません。 docker compose logs promtail を見る。permission denied なら user: root の書き忘れ |
| journal のログだけ出ない | /var/log/journal が無い(メモリ上にしかない)か、/etc/machine-id をマウントしていない。両方確認 |
| Docker のログがJSONの塊のまま出る | pipeline_stages の output: を書き忘れている。 source: output が必要 |
Grafana で Bad Gateway / connection refused | データソースのURLを localhost:3100 にしている。 http://loki:3100 に直す |
| 再起動したらログが二重に入った | positions ファイルを永続化していない。 promtail-positions:/var/lib/promtail があるか確認 |
429 / Ingestion rate limit exceeded | ingestion_rate_mb の上限に当たっています。 蓋が効いている状態。まず何がそんなに出ているかを見てから、上限を上げるか drop で捨てる |
| ディスクが減り続ける | compactor.retention_enabled: true を書き忘れている。 retention_period だけでは消えません |
| 検索がいつまでも返ってこない | ラベルで絞らずに |= だけで探している。 {job="..."} を必ず先に付ける |
Loki が起動時に permission denied を出す | loki-data をバインドマウント(./data:/loki)にしている。 名前付きボリュームを使うか、sudo chown -R 10001:10001 する |
一番時間を取られたのは、保持期間です。
設定ファイルに retention_period: 168h と書いて、満足していました。 数日後、docker system df を見たらボリュームが増え続けています。
エラーは1行も出ていません。 Loki は「消す」という宣言を受け取って、それを実行する担当者を持っていなかっただけです。
設定を書いたことと、それが効いていることは、別です。
前回 Prometheus で retention.time を書いたときは、それだけで効きました。 同じ言葉が同じように動くと思い込んでいたのが原因です。「書いたから大丈夫」ではなく、docker system df で確かめるところまでが設定でした。
後片づけ
Loki はディスクを食い続けます。使わないなら必ず消してください。
まず、いまどれだけ使っているか見ます。
止めるだけなら、データは残ります。
ログの収集だけやめて、Prometheus と Grafana は残したいときは、これです。
もう使わないなら、ボリュームごと消します。
-vは取り返しがつきません。 Loki のログだけでなく、Prometheus のメトリクスと Grafana のダッシュボードも全部消えます。 同じ Compose の中にいるからです。そのつもりのときだけ。
Loki だけ消したいなら、ボリューム名を指定します。
ボリューム名は docker volume ls で実物を確認してください。 フォルダ名が頭に付くので、~/monitoring 以外で作ったなら名前が違います。
イメージも消します。
journald の溜め込みも戻しておきます。
~/server/とappdbは残してください。 続きの回で使います。
まとめ
- ログが3箇所に散るのは、書いている主体が3つあるから。journald・nginx・Docker はお互いを知らない
- 一番効くのは検索ではなく、時刻を揃えて並べられること。 暗算が消える
docker compose downでコンテナのログは消える。 直った瞬間に証拠が消えるのを防げる- 「気づく」のはメトリクス、「なぜか」はログ。 1画面になると、その間の道具の持ち替えが無くなる
- Loki は全文検索をしない。 索引するのはラベルだけ。ラベルで絞って、中を舐めるの2段構え
- ラベルで絞らない問い合わせは、全ログを頭から読む命令になる。必ず
{job="..."}を先に書く - ラベルにIDやURLやIPを入れない。 Prometheus のカーディナリティ爆発と同じことが起きる
- Elasticsearch が悪いのではなく、1台のVMに載せるには重い。 測ってから入れる
retention_periodだけでは消えない。compactor.retention_enabled: trueが要る。エラーは出ない- 秘密情報がログにあると、集めた先が新しい漏洩経路になる。 潰すより、出さない
- トークンをURLのクエリに入れない。 アクセスログに全部残る
- positions ファイルは永続化する。 しないと再起動のたびに二重に入る
- Docker のソケットをコンテナに渡さない。 名前が見えないのは我慢する
- 1台なら
journalctlで足りる。 集める価値が出るのは台数が増えてから。Kubernetes では必須に近い - 集める仕組み自体が、新しい監視対象になる。 入れたものは面倒を見ることになる
参考リンク
- roadmap.sh — DevOps
- Grafana Loki 公式ドキュメント
- LogQL(Lokiの問い合わせ言語)
- Promtail の設定
- Grafana Alloy(Promtail の後継)
- Loki(GitHub)
- systemd-journald.service(man ページ)
次に読む
この記事は 【第6段階】インフラとコンテナ の 13 / 25 本目です。
| 記事 | |
|---|---|
| ← 前の記事 | Prometheusは取りに行く — 監視とログの入口 |
| → 次の記事 | pushだけで反映まで終わる — DevOpsの到達作品 |
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。

コメント