ログが3箇所に散っている — Lokiで1画面にする

Lokiでログを集約する。複数のサーバーから集まるログの書類と一つの閲覧画面。

roadmap.sh のどこをやっているか

DevOps›Monitoring / Logs Management
  • ログの集約(Loki)
  • Promtail によるログ収集
  • ラベル設計と保持期間

この記事は、上の項目を実際に手を動かして確かめる回です。

前回: Prometheusは取りに行く — 監視とログの入口 作業場所はVMの中(Ubuntu Server)です。前回立てた ~/monitoring の Prometheus + Grafana が動いている状態から始めます。

前回、ログについてこう書いて、はっきり先送りにしました。

この記事では、ログの集約基盤を入れません。 journalctl で足ります。

あれは、あのときの判断としては正しかったと思っています。 今回はその回収です。ただし「やっぱり必要でした」ではありません。何が変わったから入れるのかを、先に書きます。

変わったのは、障害対応の回をやったことです。わざと6つ壊して、自分で直しました。 そのとき、ずっと同じことをしていました。

端末を行ったり来たりしていたんです。

bash
$ journalctl -u myserver -n 50 --no-pager
$ sudo tail -n 50 /var/log/nginx/error.log
$ docker compose logs --tail=50 mysql

同じ1つの障害を追うのに、3箇所を見に行っています。 しかも、それぞれ時刻の書き方が違うので、「これとこれは同じ瞬間か?」を頭の中で計算しながら読んでいました。

原因が分からないのではなく、並べられないから分からない。

これは、道具で解ける種類の困りごとです。そして、ここまで来て初めて「解く価値がある」と言えるようになりました。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • ログが3箇所に散っているのは道具の問題ではなく、置き場所が3つあるからだということ
  • メトリクスで「気づき」、ログで「なぜか」を知るという役割分担が、1画面になると初めて効くこと
  • Loki は全文検索をしないこと。ラベルで絞ってから中を舐めるという、Elasticsearch とは別の割り切り
  • 秘密情報をログに出すと、ログの保存先が新しい漏洩経路になること(集めた瞬間に危険が増える)
  • 保持期間は「書いただけ」では効かないこと。1台ならこれは要らないという線も

この記事でやること

  1. 追加で必要なメモリを見積もる(free -h で available を確認する)
  2. 既存の ~/monitoring/compose.yaml に Loki と Promtail を足す
  3. journal・nginx・Docker の3箇所を Promtail に読ませる
  4. Grafana で3箇所を時刻を揃えて1画面に並べる
  5. 保持期間を設定し、使い終わったらディスクごと片づける

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
ログ集約複数の場所に出るログを、1箇所に集めて横断して見られるようにすること
LokiGrafana Labs が作っているログの保存先。読みは「ロキ」。Prometheus のログ版という言い方をされる
Promtailログを読んで Loki に送るだけの小さなプログラム。Prometheus でいう exporter の位置
ラベル(label)ログに付ける短い目印。job="nginx" のような組。これだけが索引される
ストリーム(stream)ラベルの組み合わせ1つ分のログの流れ。{job="nginx", logfile="access"} で1本
LogQLLoki に問い合わせる書き方。PromQL に似せてある
全文検索(インデックス)本文の全単語を先に索引にしておくやり方。速いが、索引が本文と同じくらい大きくなる
カーディナリティラベルの値の種類の数。これが増えるとストリームが増え、メモリを食う
保持期間(retention)貯めたログをいつまで残すか。前回 Prometheus でやったのと同じ話

先に — 追加で必要なメモリ

前回すでに 400〜600MB 足しています。今回はその上に積みます。 立ててから固まると困るので、先に測ります。

bash
$ free -h
$ df -h /
               total        used        free      shared  buff/cache   available
Mem:           3.8Gi       2.0Gi       0.4Gi        12Mi       1.4Gi       1.6Gi

見るのは available の列です。前回と同じで、free ではありません。

この記事で足すものの、おおよその使用量です。

足すものメモリの目安
Loki150〜300MB
Promtail50〜100MB
今回の追加分の合計おおよそ 200〜400MB
(参考)前回の Prometheus + Grafana + node-exporter400〜600MB
監視まわりの合計おおよそ 600MB〜1GB

この数字は目安です。 集めるログの量と、貯まった量で変わります。Loki は受け取る量が増えるほどメモリを使います。 available が 1GB を切っている状態では始めないでください。 私は VMのメモリを 4GB にしています。2GB では、MySQL・Redis・Node・Prometheus と合わせて確実に足りません。

ディスクも増えます。

ログはメトリクスより大きいです。 数字ではなく文章だからです。

nginx のアクセスログは、アクセス1件で1行増えます。Loki はそれを圧縮して持ちますが、増えることに変わりはありません。 この記事では保持期間を7日にします。そして後片づけまで必ず読んでください。

メモリが足りないなら、この回は飛ばして構いません。 ただし「やりすぎない」の節だけは読んでください。 手を動かさなくても効きます。

[スクリーンショット: 01_free確認.png] Loki を入れる前に free -h を実行した結果を撮ってください。available の値が読めることが条件です。

いま、ログは3箇所にある

なぜ散っているのか。 道具が悪いのではなく、書いている主体が3つあるからです。

誰が書いているかどこに出るかいま打つコマンド
systemd(myserver.service)journaldjournalctl -u myserver
nginx/var/log/nginx/access.log と error.logsudo tail -f /var/log/nginx/error.log
Docker のコンテナDocker が持つJSONファイルdocker compose logs mysql

それぞれ独立していて、お互いを知りません。 そして、それぞれ時刻の書き方が違います。 ここが効いてきます。

Sep 07 22:14:03 ubuntu myserver[1421]: Error: connect ECONNREFUSED 127.0.0.1:6379
172.18.0.1 - - [07/Sep/2026:22:14:03 +0900] "GET /api/tasks HTTP/1.1" 502 157
2026-09-07T13:14:03.882Z 1:M 07 Sep 2026 13:14:03.882 # Redis is now ready to exit

上から順に、journalctl・nginx・docker logs です。同じ瞬間の3行なのですが、

  • journald は「Sep 07 22:14:03」(年が無い・ローカル時刻)
  • nginx は「07/Sep/2026:22:14:03 +0900」(独特の書式)
  • Docker は「2026-09-07T13:14:03.882Z」(UTC。9時間ずれて見える)

同じ障害を追っているのに、突き合わせるたびに時差を暗算しています。

そして、もう1つ困ることがあります。

bash
$ docker compose down

これをやると、コンテナのログは消えます。 docker logs はコンテナに紐づいているので、作り直したら過去は残りません。 障害対応の回で「再起動して直った」をやったとき、直った瞬間に証拠も消えていました。

この2つが、集める理由です。

  1. 時刻で並べたい(3箇所を1本の時間軸に乗せたい)
  2. コンテナが消えてもログは残したい

メトリクスとログの役割分担、その続き

前回、この表を作りました。もう一度だけ置きます。ここが今日の話の土台だからです。

メトリクスログ
持っているもの数(時刻と値)文章
得意なこと傾向。いつから変わったかが分かる1件を追う。なぜ失敗したかが分かる
苦手なこと理由が分からない全体の傾向が分からない

「気づく」のはメトリクス。「なぜか」はログ。

前回はここで終わりました。今日はその先です。

この2つは、いままで別の画面にありました。 Grafana でグラフを見て、「22時から500が増えている」と気づく。そこから先は、端末に戻って journalctl を打っていました。

つまり、「気づく」と「なぜか」の間で、道具を持ち替えていたわけです。

Loki を入れて何が変わるかというと、この持ち替えが無くなります。

  1. グラフでエラーの山を見つける(メトリクス)
  2. その山をドラッグして範囲を選ぶ
  3. 同じ画面の下に、その時間帯のログが出る(ログ)

やることは変わりません。移動が減るだけです。

これは大きい効果ですが、魔法ではありません。 集めても、読むのは自分です。ログの読み方は障害対応の回でやった型のままで、変わりません。

なぜ Elasticsearch ではなく Loki なのか

ログ集約と検索すると、まず Elasticsearch が出てきます。 ELK(Elasticsearch / Logstash / Kibana)という組み合わせで、実際に多くの現場で動いています。

それでも、この記事では Loki を選びます。理由を正直に書きます。

1. 重いものを、個人のVMに入れない

ElasticsearchLoki
メモリ最低でも1〜2GB。JVM のヒープ設定が要る150〜300MB から動く
何を索引するか本文の全単語ラベルだけ
索引の大きさ元のログと同じか、それ以上になることがあるとても小さい
見る道具Kibana(別に立てる)Grafana。前回立てたものがそのまま使える
できること全文検索。「あの単語」で全部から引けるラベルで絞ってから、中を順に舐める

Elasticsearch が悪いのではありません。強いです。 全文検索は本当に速いですし、ログを分析したいなら向いています。

ただ、いま入れると何が起きるかです。

VMのメモリの半分を、ログを検索する道具が持っていきます。

そして、パフォーマンス改善の回でやったのと同じ話になります。測ってから入れる。 いまのログの量は1日で数MB程度です。その量に、全文索引は要りません。

2. Grafana にそのまま乗る

これが効きます。 前回立てた Grafana に、データの出どころを1つ足すだけです。

  • 新しい画面を覚えなくていい(Kibana は別物です)
  • メトリクスとログを同じダッシュボードに並べられる
  • 時間の範囲指定が共通になる(後で効きます)

Loki は「Prometheus のログ版」として作られています。 ラベルの考え方も、問い合わせの書き方も、わざと似せてあります。 前回覚えたことが、そのまま使えます。

3. 全文検索をしない、という割り切り

ここが Loki を理解する上で一番大事です。そして最初に誤解するところです。

Loki は、ログの本文を索引にしません。索引するのはラベルだけです。

では、どうやって探すのか。2段構えです。

{job="nginx", logfile="error"} |= "upstream"
 └── ①ラベルで絞る(索引あり。速い) ─┘ └── ②中を順に見る(索引なし)
  1. {job="nginx", logfile="error"} — 索引が効きます。 一瞬で対象のログの束が決まります
  2. |= "upstream" — 索引がありません。 絞り込んだ束を、先頭から順に読んで一致を探します

②はブルートフォースです。 「なんて非効率な」と思うところですが、①で対象が十分小さくなっていれば、実用上これで足ります。

逆に言うと、Loki が苦手なのはこれです。

ラベルで絞らずに、全部から単語を探すこと。

{job=~".+"} |= "ECONNREFUSED"

これは「全ログを頭から読め」という命令です。量が増えたら返ってきません。Elasticsearch なら得意な問い合わせが、Loki では一番苦手になります。

この差を分かった上で選ぶなら、Loki は正しい選択です。 分からずに選ぶと、「検索が遅い」と言って捨てることになります。

そして、ラベルを増やしてはいけない

「じゃあラベルを沢山付ければ速いのでは」 と思いますが、ここに罠があります。

❌ ip="203.0.113.5" や path="/api/tasks/42" をラベルにする

前回 Prometheus でカーディナリティ爆発をやりました。同じことが起きます。 IPごと・URLごとにストリームが分かれ、Loki のメモリが飛びます。

ラベルにしていいものラベルにしてはいけないもの
値の種類が有限で、少ないもの値が無限に増えるもの
job(journal / nginx / docker)IPアドレス、ユーザーID、URLのパス
host(サーバー名)リクエストID、タイムスタンプ
unit(サービス名)ステータスコード…は微妙(種類は少ないが、増えやすい)

目安は「10種類くらいまで」です。それ以上の粒度は、ラベルではなく |= で絞ります。

立てる

前回の ~/monitoring に足します。 新しいフォルダは作りません。同じ用途のものだからです。

1. Loki の設定ファイル

bash
$ cd ~/monitoring
$ nano loki-config.yaml
auth_enabled: false

server:
  http_listen_port: 3100
  log_level: warn

common:
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2024-01-01
      store: tsdb
      object_store: filesystem
      schema: v13
      index:
        prefix: index_
        period: 24h

limits_config:
  retention_period: 168h
  ingestion_rate_mb: 4
  ingestion_burst_size_mb: 8
  reject_old_samples: true
  reject_old_samples_max_age: 24h

compactor:
  working_directory: /loki/compactor
  retention_enabled: true
  delete_request_store: filesystem

初めて出るものだけ、意味を書きます。

項目意味
auth_enabled: falseLoki 自身は認証を持ちません。 「マルチテナントを使わない」という意味で、「安全」という意味ではありません。 だから外に出しません
storage: filesystemローカルのディスクに置く。 本番ではここが S3 などになります
schema: v13 / store: tsdb索引の形式。バージョンで推奨が変わるので、公式の最新を確認してください
retention_period: 168h168時間=7日。これより古いログを消す
compactor.retention_enabled: trueこれが無いと、上の retention_period は何もしません。 詳しくは保持期間の節で
ingestion_rate_mb: 41秒あたり4MBまで受け取る。 超えた分は捨てて 429 を返します。暴走したアプリにディスクを埋められないための蓋
reject_old_samples_max_age: 24h24時間より古いログは受け取らない。 初回起動で過去ログを全部流し込まないための保険

2. Promtail の設定ファイル

ここが今日の本体です。3箇所を、それぞれ別のやり方で読みます。

先に、journal がディスクに残る設定になっているか確認します。

bash
$ ls -d /var/log/journal
/var/log/journal

No such file or directory と出たら、journald がメモリ上にしかログを持っていません(/run/log/journal にあります)。その場合は永続化します。

bash
$ sudo mkdir -p /var/log/journal
$ sudo systemctl restart systemd-journald

Ubuntu Server では既定で /var/log/journal があるはずですが、環境によります。 「自分の環境に入っていた」を前提にしないでください。 必ず ls で確かめます。

bash
$ nano ~/monitoring/promtail-config.yaml
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /var/lib/promtail/positions.yaml

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
  - job_name: journal
    journal:
      path: /var/log/journal
      max_age: 12h
      labels:
        job: journal
        host: vm1
    relabel_configs:
      - source_labels: ['__journal__systemd_unit']
        target_label: unit

  - job_name: nginx
    static_configs:
      - targets: [localhost]
        labels:
          job: nginx
          logfile: access
          host: vm1
          __path__: /var/log/nginx/access.log
      - targets: [localhost]
        labels:
          job: nginx
          logfile: error
          host: vm1
          __path__: /var/log/nginx/error.log

  - job_name: docker
    static_configs:
      - targets: [localhost]
        labels:
          job: docker
          host: vm1
          __path__: /var/lib/docker/containers/*/*-json.log
    pipeline_stages:
      - json:
          expressions:
            output: log
            stream: stream
      - labels:
          stream:
      - output:
          source: output

3つを見比べてください。読み方が違います。

ジョブ読み方補足
journaljournal: という専用の読み手を使うファイルではなくバイナリなので、テキストとしては読めません
nginxファイルを追いかける(tail -f と同じこと)access と error を別ラベルで2本にしています
dockerファイルを追いかけて、1行ずつJSONを解くDocker は1行を {"log":"...","stream":"stdout",...} の形で書いています

Docker のところの pipeline_stages が、この設定で一番ややこしい部分です。

  1. json: — 1行を JSON として解き、log の中身を output に、stream を取り出す
  2. labels: — stream(stdout か stderr か)をラベルにする。値は2種類しかないので安全です
  3. output: — Loki に渡す本文を output に差し替える。これが無いと、JSONの塊がそのまま保存されます

そして、コンテナの「名前」はここには入りません。

ファイル名にはコンテナIDしか書かれていないからです。

Promtail はファイルを読むと filename というラベルを自動で付けるので、Grafana では /var/lib/docker/containers/9f3c.../9f3c...-json.log のように見えます。 IDから名前を引くのは、手でやります。

bash
$ docker ps --format '{{.ID}}  {{.Names}}'

名前でラベルを付ける方法もあります。 docker_sd_configs を使って、Promtail に Docker へ問い合わせさせるやり方です。ただし、Docker のソケット(/var/run/docker.sock)をコンテナに渡す必要があります。

Docker のソケットを渡すのは、そのコンテナにVMの管理者権限を渡すのとほぼ同じです。 ソケットを触れれば、「VMのルートを丸ごとマウントしたコンテナ」を作れてしまいます。 ログを読むという目的に対して、渡すものが大きすぎます。この記事では渡しません。 IDのまま我慢します。

3. compose.yaml(全文)

前回のファイルに追記します。差分ではなく、編集後の全文を出します。

bash
$ nano ~/monitoring/compose.yaml
services:
  prometheus:
    image: prom/prometheus:v2.53.0
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.retention.time=7d'
      - '--storage.tsdb.retention.size=1GB'
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - prom-data:/prometheus
    ports:
      - "127.0.0.1:9090:9090"
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped

  grafana:
    image: grafana/grafana:11.1.0
    environment:
      GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_PASSWORD}
      GF_USERS_ALLOW_SIGN_UP: "false"
    volumes:
      - grafana-data:/var/lib/grafana
    ports:
      - "127.0.0.1:3001:3000"
    depends_on:
      - prometheus
      - loki
    restart: unless-stopped

  node-exporter:
    image: prom/node-exporter:v1.8.2
    command:
      - '--path.rootfs=/host'
    pid: host
    volumes:
      - /:/host:ro,rslave
    restart: unless-stopped

  loki:
    image: grafana/loki:3.1.0
    command: -config.file=/etc/loki/loki-config.yaml
    volumes:
      - ./loki-config.yaml:/etc/loki/loki-config.yaml:ro
      - loki-data:/loki
    ports:
      - "127.0.0.1:3100:3100"
    restart: unless-stopped

  promtail:
    image: grafana/promtail:3.1.0
    command: -config.file=/etc/promtail/config.yml
    user: root
    volumes:
      - ./promtail-config.yaml:/etc/promtail/config.yml:ro
      - /var/log:/var/log:ro
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /etc/machine-id:/etc/machine-id:ro
      - promtail-positions:/var/lib/promtail
    depends_on:
      - loki
    restart: unless-stopped

volumes:
  prom-data:
  grafana-data:
  loki-data:
  promtail-positions:

イメージのタグは、この記事を書いた時点のものです。 Loki も Grafana も更新が速く、設定ファイルの書き方も画面の見た目も変わります。 最新は公式(grafana.com/docs/loki)で確認してください。latest にすると、ある日いきなり設定が読めなくなります。

Promtail について、正直に書いておきます。 Grafana Labs は後継として Grafana Alloy を出していて、Promtail はそちらへの移行が案内されています。 設定の書き方は違いますが、「ログを読んで Loki に送る」という役割は同じです。この記事は Promtail で書いていますが、新しく始めるなら公式で現在の推奨を確認してください。 考え方はそのまま持ち越せます。

足した行の意味です。

項目意味
ports: "127.0.0.1:3100:3100"VMの中からしか繋がりません。 127.0.0.1: を落とすと、ufw を素通りして世界に公開されます。 前回やらかした話と同じです
user: rootPromtail に journal と Docker のログを読ませるため。 通常のユーザーでは Permission denied になります。読み取り専用マウントと合わせて、被害を限定しています
/var/log:/var/log:ronginx のログと journal を、読み取り専用で見せる。 :ro を必ず付けます
/etc/machine-id:...:rojournal を読むのに要ります。 無いと journald のログが読めないことがあります
promtail-positions:/var/lib/promtail「どこまで読んだか」を覚えておく場所。 これを永続化しないと、再起動のたびに全部読み直して二重に入ります
depends_on: loki起動順。ただし「Lokiが受付可能になるまで待つ」わけではありません。 最初の数秒はPromtailが送信に失敗しますが、再送するので放っておいて構いません

promtail に ports: を書いていません。 わざとです。 Promtail は自分から Loki へ送りに行くだけで、外から呼ばれる必要がありません。 前回 node-exporter で同じ判断をしました。

ufw に足す設定はありません。 すべて Compose のネットワークの中と 127.0.0.1 だけで完結しています。開けるものが無いのが一番安全です。

4. 起動する

bash
$ cd ~/monitoring
$ docker compose up -d
$ docker compose ps
NAME                        IMAGE                       STATUS
monitoring-grafana-1        grafana/grafana:11.1.0      Up 12 seconds
monitoring-loki-1           grafana/loki:3.1.0          Up 14 seconds
monitoring-node-exporter-1  prom/node-exporter:v1.8.2   Up 14 seconds
monitoring-promtail-1       grafana/promtail:3.1.0      Up 12 seconds
monitoring-prometheus-1     prom/prometheus:v2.53.0     Up 14 seconds

5つとも Up になっていること。 Restarting を繰り返しているなら、設定の書き間違いです。

bash
$ docker compose logs loki | tail -n 20
$ docker compose logs promtail | tail -n 20

Loki が受付可能になったか確認します。

bash
$ curl -s http://localhost:3100/ready
ready

Ingester not ready と返ることがあります。 起動直後は正常です。15秒ほど待ってもう一度打ってください。

Promtail が実際にログを掴めているか確認します。

bash
$ curl -s http://localhost:3100/loki/api/v1/labels
{"status":"success","data":["filename","host","job","logfile","stream","unit"]}

job や unit が出ていれば、送れています。 "data":[] や null なら、Promtail 側が何も読めていません。 つまずいたところを見てください。

[スクリーンショット: 02_loki起動.png] docker compose ps で5つのコンテナが Up になっている画面を撮ってください。

3箇所を1画面で見る

Grafana に Loki を登録する

前回と同じく、SSHポートフォワードで見ます。 Windows の PowerShell で打ちます。

PowerShell
PS> ssh -L 3001:127.0.0.1:3001 ユーザー名@VMのIPアドレス

ブラウザで http://localhost:3001/ を開き、ログインします。

左メニューの Connections → Data sources → Add new data source → Loki を選び、URLにこれを入れて Save & test を押します。

http://loki:3100

localhost:3100 ではありません。 Grafana はコンテナの中にいるので、localhost はGrafana自身を指します。サービス名 loki で呼びます。 Compose の回でやった話がそのまま効いています。前回 Prometheus でも同じところで詰まります。

メニューの位置はバージョンで変わります。 見つからなければ検索窓に「Data sources」と入れてください。

まず1つ、探してみる

左メニューの Explore を開き、上のデータソースを Loki にします。 そして問い合わせを書きます(Code タブに切り替えると直接書けます)。

{job="journal", unit="myserver.service"}

アプリのログが出ます。 次にこれ。

{job="nginx", logfile="error"}

書き方の型は、これだけです。

書き方意味
{job="nginx"}ラベルで絞る。 中カッコは必須で、これが無いと問い合わせになりません
{job="nginx"} |= "500"絞った中から 500 を含む行だけ
{job="nginx"} != "/health"/health を含まない行だけ(ヘルスチェックのノイズを消す)
{job=~"nginx|journal"}正規表現でラベルを指定(nginx か journal)
sum by (unit) (rate({job="journal"}[5m]))1秒あたり何行出ているかを unit ごとに。PromQL と同じ形です

最後の行が効きます。 ログを「数」に変えられるので、「エラーログの出る勢い」でグラフが描けます。 ただし前回書いた通り、全ログを数えるために全ログを持ち続けるのは高くつきます。 使うのは絞り込んだ後です。

時刻で揃えて並べる

ここが今日の目的です。

Explore の右上に「Split」(分割)があります。押すと画面が左右に割れ、別の問い合わせを並べられます。 左に nginx、右に journal を出してみてください。

そして大事なのは、これです。

左右で時間の範囲が共有されます。

片方でグラフの一部をドラッグして範囲を絞ると、もう片方も同じ時間に揃います。 これが、端末を行き来していたときにできなかったことです。

ダッシュボードにすると、もっと効きます。 新しいダッシュボードを作り、パネルを縦に4つ置きます。

位置パネルの種類中身
1段目Time series(前回のグラフ)rate(http_requests_total[1m]) — Prometheus から
2段目Logs{job="nginx", logfile="error"}
3段目Logs{job="journal", unit="myserver.service"}
4段目Logs{job="docker"}

1つのダッシュボードの中では、時間の範囲は全パネル共通です。 つまり、

1段目のグラフで山を見つけて範囲を選ぶと、下の3つが全部その時間に揃います。

これが「メトリクスで気づいて、ログで理由を知る」を1画面でやる、ということです。

ログのパネルでは、右上の歯車から Time を表示にしておいてください。 時刻が Grafana 側で揃えて表示されるので、UTCとローカル時刻を暗算する必要がもう無くなります。 冒頭の困りごとは、これで消えます。

[スクリーンショット: 03_1画面に並べる.png] Grafana のダッシュボードで、上にグラフ・下にログのパネルが縦に並んでいる画面を撮ってください。時刻の範囲が揃っていることが分かるように撮ってください。

動かして確かめる

わざとエラーを出して、3箇所に同時に出ることを見ます。

VMの別の端末で、APIを止めます。

bash
$ sudo systemctl stop myserver
$ curl -i http://localhost/api/tasks
$ sudo systemctl start myserver

Grafana に戻って、直近5分を見てください。

  • journal に myserver.service: Deactivated のような行
  • nginx の error に connect() failed と upstream
  • nginx の access に 502

3つが、同じ数秒の中に並んでいるはずです。 障害対応の回で「502 は nginx が後ろに繋げなかったとき」と書きました。その「後ろで何が起きたか」が、同じ画面の下の行に出ています。

秘密情報をログに出さない

ここは、集めた瞬間に危険が増える話です。飛ばさないでください。

ログにパスワードやトークンが残っていると、ログの保存先が新しい漏洩経路になります。

いままでも危険でした。 /var/log/nginx/access.log に書かれていたら、それは既にディスクに残っています。ただ、集めると次のことが起きます。

集める前集めた後
VMにログインした人だけが読めるGrafana にログインできる人が読める
場所がバラバラ1箇所に集まっている(探しやすい=盗みやすい)
ログを消せば消えるLoki にコピーが残る(元を消しても残る)

「探しやすくする」のがログ集約の目的なので、これは表と裏です。

どこから漏れるか

具体的に、3つあります。

1. URLのクエリにトークンを入れている

GET /api/tasks?token=eyJhbGciOiJIUzI1NiJ9.xxxxx HTTP/1.1

nginx のアクセスログは、URLをそのまま記録します。 認証の回で「トークンはヘッダに載せる」と書いた理由の1つが、これです。クエリに入れると、アクセスログに全部残ります。

2. アプリがリクエストの中身をそのまま出している

console.log('login request', req.body);

req.body にはパスワードが入っています。 「デバッグのため一時的に」と入れたものが、そのまま残っているのが一番多いパターンです。

3. 起動時に接続文字列を出している

console.log('connecting to', process.env.DATABASE_URL);

mysql://user:password@localhost/appdb が丸ごと出ます。

どうするか

順番があります。上から順に効きます。

  1. そもそも出さない。 これが唯一の本当の解決です
  2. 出す場所を減らす。 トークンはヘッダに、パスワードはログに触れない場所に
  3. どうしても混ざるなら、送る前に潰す

3番だけ、書き方を出しておきます。 Promtail の設定に足せます。

    pipeline_stages:
      - replace:
          expression: '(token=)[^&\s"]+'
          replace: '${1}REDACTED'
      - replace:
          expression: '("password"\s*:\s*")[^"]*'
          replace: '${1}REDACTED'

これは最後の手段です。頼らないでください。 理由は2つ。 ①Promtail が読む前に、既にVMのディスクに平文で書かれています(消えていません)。②書いていない形は素通りします。 pwd= や secret: は上の正規表現に引っかかりません。「潰しているから安全」と思った瞬間が一番危ないです。

そして、Grafana 自体を守ることも忘れないでください。

  • Grafana は 127.0.0.1:3001 に閉じたままにする(外に出さない)
  • 初期パスワードのままにしない
  • ログを読めるのは、ログインできる人全員だと理解しておく

セキュリティの回で書いた通りです。安全にはできません。被害を小さくします。

保持期間を決める

Prometheus と同じ話です。ただし、こちらのほうが事故りやすいです。

retention_period を書いただけでは、ログは消えません。

設定ファイルには、2つ書きました。

limits_config:
  retention_period: 168h

compactor:
  working_directory: /loki/compactor
  retention_enabled: true
  delete_request_store: filesystem

retention_period は「7日で消す」という宣言です。実際に消す作業をするのは compactor です。retention_enabled: true を書き忘れると、宣言だけがあって誰も消しません。

これは黙って起きます。エラーも警告も出ません。 「設定したのにディスクが減り続ける」で気づくころには、かなり使っています。

いま何を使っているか、たまに見てください。

bash
$ docker system df -v | grep -E 'loki-data|prom-data'
loki-data       1         412.3MB
prom-data       1         683.1MB

7日で頭打ちになるはずです。 増え続けているなら、compactor の設定を疑ってください。

受け取る量そのものを減らす手もあります。

やり方書く場所
ヘルスチェックを送らないPromtail に drop ステージを足す
journal を12時間分だけ読むmax_age: 12h(もう書いてあります)
上限で強制的に止めるingestion_rate_mb(もう書いてあります)

ヘルスチェックを捨てる例です。 アクセスログの大半がこれ、ということがよくあります。

    pipeline_stages:
      - drop:
          expression: '.*GET /health.*'

そして、journald 側の上限も忘れないでください。 前回打ったのと同じです。

bash
$ journalctl --disk-usage
$ sudo journalctl --vacuum-size=200M

集めるようになっても、元のログは元の場所にあります。 両方が増えます。

やりすぎない

ここまで書いておいて逆のことを言いますが、大事なので書きます。

サーバーが1台なら、journalctl で足ります。

前回書いたことは、いまも正しいです。 この記事でやったことは、「1画面で見られると楽」という改善であって、「これが無いと運用できない」ではありません。

集める価値がはっきり出るのは、ここからです。

状況集める価値
VM 1台ほぼ無い。 ログインして journalctl を打つほうが速い
VM 1台+コンテナ数個(いまここ)少しある。 時刻を揃えられるのが効く
VM 3台以上はっきりある。 「どのサーバーか」を探す時間が消える
Kubernetes必須に近い。 Pod は消える。消えたPodのログは kubectl logs では取れません

最後の行が、一番効く場面です。 Kubernetes の回でやった通り、Pod は落ちたら別のものが立ち上がります。 落ちた理由が書いてあるログごと消えます。 そこでは集めるしかありません。

そして、忘れてはいけないコストがあります。

ログを集める仕組み自体が、落ちる可能性のあるものです。

  • Loki が落ちたら、ログは Loki に入りません(元の場所には残ります)
  • Promtail の positions が壊れたら、二重に入るか、抜けます
  • Loki が満杯になったら、新しいログを拒否します

つまり、監視対象が1つ増えました。 「本番でやることを全部載せる」が学習で逆効果になるのは、これが理由です。入れたものは、面倒を見ることになります。

今日入れたものは、そのコストを払う価値があるところまで来ていました。 判断の基準は「みんな使っているから」ではなく、「いま自分が何に時間を取られているか」です。 私の場合は、端末を3つ行き来していた時間でした。

つまずいたところ

症状原因と直し方
loki が Restarting を繰り返す設定ファイルのYAMLが読めていない。 docker compose logs loki に理由が出ます。インデントのずれが大半です
curl localhost:3100/ready が Ingester not ready起動直後は正常です。 15〜30秒待ってもう一度
/loki/api/v1/labels が空Promtail が何も読めていません。 docker compose logs promtail を見る。permission denied なら user: root の書き忘れ
journal のログだけ出ない/var/log/journal が無い(メモリ上にしかない)か、/etc/machine-id をマウントしていない。両方確認
Docker のログがJSONの塊のまま出るpipeline_stages の output: を書き忘れている。 source: output が必要
Grafana で Bad Gateway / connection refusedデータソースのURLを localhost:3100 にしている。 http://loki:3100 に直す
再起動したらログが二重に入ったpositions ファイルを永続化していない。 promtail-positions:/var/lib/promtail があるか確認
429 / Ingestion rate limit exceededingestion_rate_mb の上限に当たっています。 蓋が効いている状態。まず何がそんなに出ているかを見てから、上限を上げるか drop で捨てる
ディスクが減り続けるcompactor.retention_enabled: true を書き忘れている。 retention_period だけでは消えません
検索がいつまでも返ってこないラベルで絞らずに |= だけで探している。 {job="..."} を必ず先に付ける
Loki が起動時に permission denied を出すloki-data をバインドマウント(./data:/loki)にしている。 名前付きボリュームを使うか、sudo chown -R 10001:10001 する

一番時間を取られたのは、保持期間です。

設定ファイルに retention_period: 168h と書いて、満足していました。 数日後、docker system df を見たらボリュームが増え続けています。

エラーは1行も出ていません。 Loki は「消す」という宣言を受け取って、それを実行する担当者を持っていなかっただけです。

設定を書いたことと、それが効いていることは、別です。

前回 Prometheus で retention.time を書いたときは、それだけで効きました。 同じ言葉が同じように動くと思い込んでいたのが原因です。「書いたから大丈夫」ではなく、docker system df で確かめるところまでが設定でした。

後片づけ

Loki はディスクを食い続けます。使わないなら必ず消してください。

まず、いまどれだけ使っているか見ます。

bash
$ docker system df -v | grep -E 'loki-data|promtail-positions'

止めるだけなら、データは残ります。

bash
$ cd ~/monitoring
$ docker compose stop loki promtail

ログの収集だけやめて、Prometheus と Grafana は残したいときは、これです。

もう使わないなら、ボリュームごと消します。

bash
$ cd ~/monitoring
$ docker compose down -v

-v は取り返しがつきません。 Loki のログだけでなく、Prometheus のメトリクスと Grafana のダッシュボードも全部消えます。 同じ Compose の中にいるからです。そのつもりのときだけ。

Loki だけ消したいなら、ボリューム名を指定します。

bash
$ cd ~/monitoring
$ docker compose down
$ docker volume rm monitoring_loki-data monitoring_promtail-positions

ボリューム名は docker volume ls で実物を確認してください。 フォルダ名が頭に付くので、~/monitoring 以外で作ったなら名前が違います。

イメージも消します。

bash
$ docker image rm grafana/loki:3.1.0 grafana/promtail:3.1.0
$ docker system df

journald の溜め込みも戻しておきます。

bash
$ journalctl --disk-usage
$ sudo journalctl --vacuum-size=200M

~/server/ と appdb は残してください。 続きの回で使います。

まとめ

  • ログが3箇所に散るのは、書いている主体が3つあるから。journald・nginx・Docker はお互いを知らない
  • 一番効くのは検索ではなく、時刻を揃えて並べられること。 暗算が消える
  • docker compose down でコンテナのログは消える。 直った瞬間に証拠が消えるのを防げる
  • 「気づく」のはメトリクス、「なぜか」はログ。 1画面になると、その間の道具の持ち替えが無くなる
  • Loki は全文検索をしない。 索引するのはラベルだけ。ラベルで絞って、中を舐めるの2段構え
  • ラベルで絞らない問い合わせは、全ログを頭から読む命令になる。必ず {job="..."} を先に書く
  • ラベルにIDやURLやIPを入れない。 Prometheus のカーディナリティ爆発と同じことが起きる
  • Elasticsearch が悪いのではなく、1台のVMに載せるには重い。 測ってから入れる
  • retention_period だけでは消えない。 compactor.retention_enabled: true が要る。エラーは出ない
  • 秘密情報がログにあると、集めた先が新しい漏洩経路になる。 潰すより、出さない
  • トークンをURLのクエリに入れない。 アクセスログに全部残る
  • positions ファイルは永続化する。 しないと再起動のたびに二重に入る
  • Docker のソケットをコンテナに渡さない。 名前が見えないのは我慢する
  • 1台なら journalctl で足りる。 集める価値が出るのは台数が増えてから。Kubernetes では必須に近い
  • 集める仕組み自体が、新しい監視対象になる。 入れたものは面倒を見ることになる

参考リンク


次に読む

この記事は 【第6段階】インフラとコンテナ の 13 / 25 本目です。

記事
← 前の記事Prometheusは取りに行く — 監視とログの入口
→ 次の記事pushだけで反映まで終わる — DevOpsの到達作品

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次