Prometheusは取りに行く — 監視とログの入口

Prometheusと監視・ログ。サーバーと監視画面、状態メーターとログの書類。

※本記事はアフィリエイト広告(PR)を含みます。

監視とログは別物です。Prometheusは自分から取りに行く方式で、何を何秒ごとに測るのかを決めます。

前回: pushしてもVMには届かない — GitHub ActionsとCI/CD 作業場所はVMの中(Ubuntu Server)です。Docker と Docker Compose、そして ~/server のAPIをそのまま使います。

ここまで、「動いているか」を確かめる方法はこれでした。

bash
$ systemctl status ssh
$ docker compose ps
$ free -h

全部、人が見に行っています。

これには、はっきりした限界があります。

見に行った瞬間のことしか分かりません。

  • 寝ている間に落ちて、朝には復帰していた → status は active と言う。気づけません
  • 昨日の夜からメモリが増え続けている → free -h はいまの1行しか出しません
  • 「最近なんか遅い」 → 遅くなったのがいつからかを答える材料がありません

つまり、いまの状態は分かるが、過去が残っていない。これを埋めるのが監視です。

そして最初に、よく混ざる2つを分けておきます。監視(メトリクス)とログは別物です。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • メトリクスとログは別物で、得意なことが違うということ(片方でもう片方の代わりはできない)
  • Prometheus はアプリが送るのではなく、Prometheus が取りに来る(pull)という設計
  • Grafana を -p 3001:3000 で公開すると、ufw を素通りして外から見えること
  • ログの集約基盤は、いまの規模ではまだ要らないという線引き
  • アラートを作り込むと、鳴りっぱなしになって無いのと同じになること

この記事でやること

  1. 必要なメモリとディスクを先に見積もる(free -h で空きを確認する)
  2. Prometheus + Grafana + node-exporter を docker compose で立てる
  3. ~/server の Express に prom-client を入れて、自分のアプリの数を出す
  4. Grafana でグラフを2つだけ作る(CPU と リクエスト数)
  5. 保存期間を決めて、最後にディスクごと片づける

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
メトリクス数を時間順に並べたもの。CPU使用率、メモリ量、1秒あたりのリクエスト数。「いくつか」しか持たない
時系列データベース「時刻と数」の組を大量に貯めることに特化した保存先。Prometheus は中にこれを持っている
Prometheusメトリクスを自分から集めに行って貯めるサーバー。読みは「プロメテウス」
スクレイプ(scrape)Prometheus が対象のURLへ定期的に取りに行くこと。既定は数十秒に1回
エクスポーター(exporter)監視対象の数を、Prometheus が読める形で出すだけの小さなプログラム。node-exporter はOSの数を出す
/metricsその数を出しているURL。ただのテキストが返るだけ
Grafana貯まった数をグラフにして見せる道具。自分ではデータを持たない
PromQLPrometheus に問い合わせるための書き方。rate(...) のような関数を使う
保持期間(retention)貯めたデータを、いつまで残すか。決めないとディスクが減り続ける

先に — メモリとディスクを見積もる

この記事は、いままでの回より重いです。 立ててから「VMが固まった」では困るので、先に測ります。

bash
$ free -h
$ df -h /
               total        used        free      shared  buff/cache   available
Mem:           3.8Gi       1.2Gi       1.1Gi        12Mi       1.5Gi       2.4Gi

見るのは available の列です。free ではありません(buff/cache はすぐ返せる分なので、available が実際に使える量です)。

この記事で足すものの、おおよその使用量です。

足すものメモリの目安
Prometheus200〜400MB
Grafana100〜200MB
node-exporter20MB前後
合計おおよそ 400〜600MB

この数字は目安です。 監視する対象の数と、貯めたデータの量で変わります。Prometheus は貯まるほどメモリを使います。 available が 1GB を切っている状態では始めないでください。 私は VMのメモリを 4GB にして進めています。2GB のままだと、MySQL と Node と合わせて足りません。

ディスクも同じです。

Prometheus は、放っておくとディスクを食い続けます。

15秒に1回、数百種類の数を、止まらずに書き続けるためです。この記事では保持期間を7日に制限します。 そして後片づけまで必ず読んでください。

メモリが足りないときは、この回を飛ばして構いません。 ただし「メトリクスとログは別物」の節だけは読んでおいてください。 手を動かさなくても効く話です。

[スクリーンショット: 01_free確認.png] free -h と df -h / の結果を撮ってください。available の値が読めることが条件です。

手元の VM に割り当てられるメモリは、ホスト PC の都合で頭打ちになります。足りないときは、シンVPSの「大容量メモリプラン」のようにメモリあたりの月額を抑えた VPS へ、監視スタックだけを逃がす方法もあります。2026年11月時点では 4GB プランの 1 ヶ月契約が 1,800 円(税込)で、安い月額は 36 ヶ月契約の価格です(無料のお試し期間なし・最低利用期間 3 ヶ月)。

監視とログは別物

ここが、この記事で一番大事な整理です。

メトリクスログ
持っているもの数(時刻と値)文章(何が起きたかの記録)
例CPU 43% リクエスト 12件/秒Error: connect ECONNREFUSED 127.0.0.1:6379
得意なこと傾向を見る。いつから変わったかが分かる1件を追う。なぜ失敗したかが分かる
苦手なこと理由が分からない(「増えた」しか言わない)全体の傾向が分からない(1行ずつしかない)
量小さい(数だけなので)大きい(文章なので)

使い方は、いつもこの順番になります。

  1. メトリクスで気づく — 「22時からエラーの数が増えている」
  2. ログで理由を知る — 「22時のログを見たら Redis に繋がっていない」

メトリクスだけでは原因が分かりません。ログだけでは異常に気づけません。 どちらかでもう片方の代わりをしようとすると、必ず無理が出ます。 「ログを全部数えれば傾向が出るのでは」と思いますが、そのために全ログを保存し続けるのは高くつきます。

ログのほうは、この記事では新しいものを入れません。 理由は後ろの節に書きます。

Prometheus は「取りに行く」

設計の中心はここです。 そして、多くの人が最初に逆に理解します。

❌ アプリが「CPUが上がりました」と Prometheus に送る ✅ Prometheus が「いまいくつ?」と定期的に取りに来る

これを pull(プル)型と言います。アプリ側がやるのは1つだけです。

/metrics というURLを用意して、いまの数をテキストで置いておく。

送信先も、送る間隔も、アプリは知りません。取りに来るほうが全部決めます。

なぜ取りに行くほうが良いのか

pull(取りに行く)push(送る)
アプリ側の設定不要(URLを出すだけ)送信先とキーを全アプリに書く
落ちたときの検知取りに行って失敗する=異常が分かる送ってこないのが、落ちたのか元々無いのか区別できない
監視対象を増やすPrometheus の設定に1行足す相手側を触りに行く

「落ちたことが分かる」が特に効きます。 Prometheus は、取りに行けたかどうかを up という数(1か0)で自分で記録します。アプリ側が何もしなくても、死活監視になっています。

例外もあります。 すぐ終わってしまうバッチ処理は、取りに行っても間に合いません。そのために Pushgateway という別の仕組みがありますが、例外です。まず pull で考えてください。

/metrics はただのテキスト

あとで自分のアプリに生やしますが、中身はこういうものです。

# HELP http_requests_total HTTPリクエストの総数
# TYPE http_requests_total counter
http_requests_total{method="GET",route="/api/tasks",status="200"} 42

JSONですらありません。 名前{ラベル} 値 が並んでいるだけです。Prometheus はこれを15秒ごとに取りに来て、時刻を付けて貯めます。

立てる

~/monitoring を作ります。 ~/stack や ~/server とは分けてください。用途が違うものを混ぜると、片づけるときに困ります。

bash
$ mkdir -p ~/monitoring
$ cd ~/monitoring
$ nano prometheus.yml
global:
  scrape_interval: 15s

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ["localhost:9090"]

  - job_name: node
    static_configs:
      - targets: ["node-exporter:9100"]

  - job_name: app
    static_configs:
      - targets: ["host.docker.internal:9101"]

node-exporter はサービス名です。 Compose の回でやった「コンテナ同士はサービス名で繋がる」が、そのまま効いています。IPアドレスは書きません。

host.docker.internal は「コンテナから見た、VM本体」です。~/server の Node はコンテナの中ではなくVMに直接いるので、こう呼びます。これは後ろの compose.yaml で1行足さないと使えません。(app のスクレイプは、次の節でアプリ側を直すまで失敗します。それで正常です。)

compose.yaml

bash
$ nano ~/monitoring/compose.yaml
services:
  prometheus:
    image: prom/prometheus:v2.53.0
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.retention.time=7d'
      - '--storage.tsdb.retention.size=1GB'
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - prom-data:/prometheus
    ports:
      - "127.0.0.1:9090:9090"
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped

  grafana:
    image: grafana/grafana:11.1.0
    environment:
      GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_PASSWORD}
      GF_USERS_ALLOW_SIGN_UP: "false"
    volumes:
      - grafana-data:/var/lib/grafana
    ports:
      - "127.0.0.1:3001:3000"
    depends_on:
      - prometheus
    restart: unless-stopped

  node-exporter:
    image: prom/node-exporter:v1.8.2
    command:
      - '--path.rootfs=/host'
    pid: host
    volumes:
      - /:/host:ro,rslave
    restart: unless-stopped

volumes:
  prom-data:
  grafana-data:

イメージのタグは、この記事を書いた時点のものです。 Prometheus も Grafana も更新が速く、画面の見た目やメニューの位置は変わります。 最新版は公式(prometheus.io / grafana.com)で確認してください。タグを書かず latest にすると、ある日いきなり別物になります。 数字で固定するほうが安全です。

1行ずつ、初めて出るものだけ。

項目意味
--storage.tsdb.retention.time=7d7日より古いデータを捨てる。 これを書かないと既定は15日で、放置すると増え続ける
--storage.tsdb.retention.size=1GB1GBを超えたら古いほうから捨てる。 期間と両方指定でき、先に当たったほうが効く
ports: "127.0.0.1:9090:9090"VMの中からしか繋がらない。 後ろの節で理由をやります
extra_hosts: host-gatewayコンテナから host.docker.internal でVM本体を呼べるようにする(これが無いと名前が引けません)
pid: hostnode-exporter がVM本体のプロセスを見られるようにする
/:/host:ro,rslaveVMのファイルシステム全体を読み取り専用で見せる。 ディスク使用量を測るため
restart: unless-stoppedVMを再起動しても勝手に上がる。 監視は自分が落ちていたら意味がないので付けます

node-exporter に ports: がありません。 わざとです。 Prometheus が同じネットワークの中から node-exporter:9100 で取りに行くので、外に出す必要がありません。 Compose の回でデータベースに ports: を書かなかったのと同じ判断です。

パスワードは .env に分けます。 これも Compose の回と同じです。

bash
$ nano ~/monitoring/.env
GRAFANA_PASSWORD=ここを自分で決めた文字列にする
bash
$ echo ".env" >> ~/monitoring/.gitignore

展開されているか、起動前に確かめます。

bash
$ cd ~/monitoring
$ docker compose config | grep GF_SECURITY_ADMIN_PASSWORD

"" になっていたら失敗です。 .env のファイル名か変数名のつづりを見直してください。

起動する

bash
$ cd ~/monitoring
$ docker compose up -d
$ docker compose ps
NAME                        IMAGE                       STATUS
monitoring-grafana-1        grafana/grafana:11.1.0      Up 10 seconds
monitoring-node-exporter-1  prom/node-exporter:v1.8.2   Up 11 seconds
monitoring-prometheus-1     prom/prometheus:v2.53.0     Up 11 seconds

3つとも Up になっていること。 なっていなければ、まずログです。

bash
$ docker compose logs prometheus | tail -n 20

設定の書き間違いは、ここに理由が出ます。 プロセスとサービスの回でやった「失敗したら journalctl」と同じ型で、コンテナでは docker compose logs を見ます。

取りに行けているか確認する

VMの中から確かめます。

bash
$ curl -s http://localhost:9090/api/v1/targets | grep -o '"health":"[a-z]*"'
"health":"up"
"health":"up"
"health":"down"

2つ up、1つ down なら想定どおりです。down は app(まだアプリ側に /metrics がないため)。次の節で直します。

node-exporter の数が入っているかも見ます。

bash
$ curl -s 'http://localhost:9090/api/v1/query?query=up' | head -c 300

"status":"success" で始まっていれば、Prometheus は動いています。

アプリ自身のメトリクスを出す

node-exporter が出すのは「VMの数」です。CPU、メモリ、ディスク。アプリのことは何も知りません。

CPUが上がっていることは分かるが、「リクエストが増えたから」なのか「無限ループしたから」なのかは分かりません。

だから、アプリ自身にも数を出させます。

bash
$ cd ~/server
$ npm install prom-client

~/server/app.js の、ルート(app.get や app.use("/api", …) など)を定義している行より前に足します。Express は登録した順に処理するので、ルートより後ろに置くと、先に応答したリクエストは数えられません。

const client = require("prom-client");

const register = new client.Registry();
client.collectDefaultMetrics({ register });   // CPU・メモリなどNode自身の数

const httpRequests = new client.Counter({
  name: "http_requests_total",
  help: "HTTPリクエストの総数",
  labelNames: ["method", "route", "status"],
  registers: [register],
});

// すべてのリクエストを数える
app.use((req, res, next) => {
  res.on("finish", () => {
    httpRequests.inc({
      method: req.method,
      route: req.route ? req.route.path : "other",
      status: res.statusCode,
    });
  });
  next();
});

// ⚠️ metrics は本体とは別のサーバーで出す(公開しているポートに生やさない)
const metricsApp = express();
metricsApp.get("/metrics", async (_req, res) => {
  res.set("Content-Type", register.contentType);
  res.end(await register.metrics());
});
metricsApp.listen(9101, () => console.log("[metrics] listening on 9101"));

res.on("finish") を使っているのは、res.statusCode が確定するのが応答を返し終えたあとだからです。ミドルウェアの入口で数えると、まだ何番で返すか決まっていません。

/metrics を外に出してはいけない

ここは飛ばさないでください。

/metrics は、こういうものを外に向かって喋ります。

  • どのURLが何回呼ばれたか(アプリの構造がそのまま見える)
  • エラーが何件出ているか(攻めどころが見える)
  • Node のバージョン、起動してからの時間、メモリの量

攻撃する側から見ると、これは無料の下見です。

認証もありません。 だから app(3000番)に生やさず、別のポート(9101番)で出しています。

そして 9101番は、絶対に ufw で開けません。

bash
$ sudo ufw status | grep 9101

何も出なければ正しい状態です。

ここは Docker と話が違います。 Docker の回で「-p は ufw を素通りする」とやりました。あれは Docker が特別なだけです。 ~/server の Node は、コンテナではなくVMで直接動いています。 だから普通に ufw が効きます。 開けなければ、外からは届きません。

Prometheus から 9101番に届くようにする

ところが、このままでは Prometheus のコンテナからも届きません。 コンテナから見ると VM本体宛の通信は「外から来た通信」で、ufw が止めます。

Compose が作ったネットワークのアドレス範囲だけを許可します。

bash
$ docker network inspect monitoring_default -f '{{range .IPAM.Config}}{{.Subnet}}{{end}}'
172.19.0.0/16

この値は環境によって違います。自分の出力に読み替えてください。

bash
$ sudo ufw allow from 172.19.0.0/16 to any port 9101 proto tcp

sudo ufw allow 9101/tcp と打たないでください。 それは誰にでも開けます。 from を付けて送り元を限定するのがここの要点です。

戻すときは同じ行を delete します。

sudo ufw delete allow from 172.19.0.0/16 to any port 9101 proto tcp

確かめる

アプリを起動し直してから、

bash
$ curl -s http://localhost:9101/metrics | grep http_requests_total | head -n 3

まだ0件なら、何回か叩いてから見ます。

bash
$ curl -s http://localhost:3000/api/tasks > /dev/null
$ curl -s http://localhost:9101/metrics | grep '^http_requests_total'
http_requests_total{method="GET",route="/",status="401"} 1

Prometheus 側でも up になったか見ます。

bash
$ curl -s http://localhost:9090/api/v1/targets | grep -o '"health":"[a-z]*"'
"health":"up"
"health":"up"
"health":"up"

3つとも up になれば、取りに行けています。

[スクリーンショット: 02_targets.png] http://localhost:9090/api/v1/targets の結果か、後述のGrafana経由で 3つとも up になっているところを撮ってください。

ラベルに生のURLを入れないでください。 route に /api/tasks/1 /api/tasks/2 … とIDごとの値を入れると、IDの数だけ別の時系列が作られます。 これをカーディナリティ爆発と言い、Prometheus のメモリを一気に食い潰します。 上のコードで req.route.path を使っているのは、/api/tasks/:id という「型」のほうが入るからです。

Grafana を公開してはいけない

compose.yaml で、こう書きました。

    ports:
      - "127.0.0.1:3001:3000"

これを - "3001:3000" にすると、どうなるか。

世界中から Grafana のログイン画面が見えます。ufw は何も止めません。

理由は Docker の回でやったとおりです。Docker は ufw が見ていない場所にルールを入れるので、sudo ufw status には何も出ないまま外に開きます。

そして Grafana には、有名な初期アカウントがあります。

初期値
ユーザー名admin
パスワードadmin(変更していなければ)

「初期パスワードのまま、外に開いた Grafana」は、探されています。 入られると、Prometheus のデータが全部読まれます。 上で見たとおり、そこにはアプリの構造とエラーの状況が入っています。

だから、この記事では2つやっています。

  1. 127.0.0.1: を付けて、VMの外に出さない
  2. GF_SECURITY_ADMIN_PASSWORD を .env から渡して、初期値のままにしない

待ち受けている場所を、目で確かめてください。

bash
$ sudo ss -tlnp | grep -E '3001|9090'
LISTEN 0 4096 127.0.0.1:3001 0.0.0.0:*
LISTEN 0 4096 127.0.0.1:9090 0.0.0.0:*

0.0.0.0:3001 になっていたら公開されています。 compose.yaml を直して docker compose up -d し直してください。

では、どうやって見るのか

SSHで手元に引っ張ってきます(ポートフォワード)。

Windows の PowerShell で打ちます(VMの中ではありません)。

PowerShell
PS> ssh -L 3001:127.0.0.1:3001 ユーザー名@192.168.226.50

IPとユーザー名は自分の値に読み替えてください。 繋いだまま、Windows のブラウザで開きます。

http://localhost:3001/

手元の 3001番への通信が、SSHの中を通ってVMの 3001番に届きます。 VS Code から VM を触った回と同じ接続の上に乗っているだけです。

これが「開けずに見る」の基本形です。管理画面をポートで公開しない。 見るときだけSSHの中を通す。 ターミナルを閉じると、この道も閉じます。 それでいいのです。

[スクリーンショット: 03_grafanaログイン.png] Windows のブラウザで http://localhost:3001/ を開き、Grafana のログイン画面が出ているところを撮ってください。

Grafana でグラフにする

ログインしたら、まず Prometheus を「データの出どころ」として登録します。

画面の左メニューから Connections → Data sources → Add new data source → Prometheus と進み、URL にこれを入れて保存します。

http://prometheus:9090

localhost:9090 ではありません。 Grafana はコンテナの中にいるので、localhost はGrafana 自身を指します。サービス名で呼びます。 Compose の回の「コンテナ同士は名前で繋がる」です。 保存すると Successfully queried the Prometheus API. のような表示が出ます(文言はバージョンで変わります)。

ダッシュボードを最初から凝らない

ここで多くの人が半日溶かします。

パネルを20個並べたダッシュボードは、誰も見ません。

見るべきものが分からなくなるからです。まず2つだけ作ります。

1つ目 — VMのCPU使用率

100 - (avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

node-exporter は「CPU使用率」を出していません。 出しているのは 「各状態で何秒使ったかの累積」です。だから、

  • rate(...[5m]) — 5分間で1秒あたり何秒増えたかにする
  • mode="idle" — 暇だった割合を取り出す
  • 100 - ... — 暇でなかった割合=使用率にする

「累積の数を rate で割合に直す」は、Prometheus でずっと使う型です。 累積の値をそのままグラフにしても、右肩上がりの直線にしかなりません。

2つ目 — 1秒あたりのリクエスト数

sum(rate(http_requests_total[5m]))

さっきアプリに生やしたものです。 これも累積なので rate で割合にします。sum はラベル違いを全部足すという意味です。

グラフが動くか確かめます。 VMの中で何度か叩いてください。

bash
$ for i in $(seq 1 50); do curl -s http://localhost:3000/api/tasks > /dev/null; done

数十秒待つと、Grafana のグラフが上がります。 スクレイプが15秒に1回なので、即座には出ません。

[スクリーンショット: 04_グラフ2つ.png] CPU使用率とリクエスト数の2枚が並んだダッシュボードを撮ってください。リクエストを叩いた瞬間に山ができていると分かりやすいです。

既製のダッシュボードもあります。 Grafana には他の人が作ったダッシュボードをID指定で読み込む機能があり、node-exporter 用のものは特に有名です。便利ですが、後回しにしてください。 自分で2つ作ってからのほうが、既製品の中身を読めます。 読めないダッシュボードは、パネルが多いだけで役に立ちません。

ログのほうはどうするか

メトリクスは入りました。ログはどうするか。 結論から書きます。

この記事では、ログの集約基盤を入れません。

いまのログの見方は、これで足りているからです。

見たいものいま打つコマンド
OSやサービスのログjournalctl -u ssh -n 50 --no-pager
コンテナのログdocker compose logs prometheus
流れるのを眺めるdocker compose logs -f grafana
アプリのログ~/server を起動した端末の出力

集約が要るのは、どこからか

線引きははっきりしています。

「どのサーバーを見ればいいか分からない」状態になったらです。

  • サーバーが1台 → 入って journalctl を打てば済む。 集約は要らない
  • サーバーが5台、コンテナが20個 → どこにログが出たか探すところから始まる。 ここで初めて要る

そして、集約基盤は安くありません。

入れると増えるもの中身
メモリLoki や Elasticsearch は、Prometheus よりさらに要求します
ディスクログはメトリクスよりずっと大きい(文章だから)
運用の手間ログを集める仕組み自体が落ちる。それも監視対象になる

1台のVMに、ログ集約基盤を足す理由はありません。 journalctl で足ります。 「本番でやるものを全部載せる」は、学習では逆効果です。 何のために入れたか分からないものが増えるだけです。

いま代わりにやっておくと効くのは、これです。

bash
$ journalctl --disk-usage
Archived and active journals take up 88.0M in the file system.

ログも放っておくとディスクを食います。 上限を決めておけます。

bash
$ sudo journalctl --vacuum-size=200M

「集約する」より先に、「溜めすぎない」です。

アラートは最初から作り込まない

Prometheus にも Grafana にも、条件を書けば通知を飛ばす仕組みがあります。 入れたくなりますが、最初はやめてください。

鳴りっぱなしのアラートは、無いのと同じです。

そして「無いのと同じ」で済みません。悪くなります。

  1. CPU 80%で鳴らすように設定する
  2. 1日に何回も鳴る(バックアップが走っただけ、など)
  3. 見なくなる
  4. 本当に落ちた日も、通知欄に埋もれて気づかない

最終的に、通知を切ります。 これが一番多い終わり方です。

入れるなら、こう決めてからです。

決めること例
鳴ったら何をするか「起きて対応する」のか「翌朝見る」のか
何分続いたら鳴らすか一瞬の跳ねで鳴らさない(for: 5m のように持続時間を条件にする)
誰に届くか自分しかいないなら、深夜に鳴らす意味があるか

「対応しないものは、鳴らさない。」 これだけ守れば十分です。

まずは、しばらくグラフを眺めてください。 平常時の形を知らないうちは、どこを異常と呼ぶかも決められません。

つまずいたところ

症状原因と直し方
app のターゲットが down のまま順に3つ疑う。 ①~/server が動いているか ②curl localhost:9101/metrics が返るか ③ufw の from の範囲が合っているか(docker network inspect の出力と一致しているか)
host.docker.internal が引けないextra_hosts: - "host.docker.internal:host-gateway" を書き忘れている。 Linux では既定で使えません。書いたら docker compose up -d で作り直す
docker network inspect monitoring_default が No such networkネットワーク名はフォルダ名から作られます。 ~/monitoring 以外で作ったなら名前が違います。docker network ls で実物を確認
Grafana で「Bad Gateway」「connection refused」データソースのURLを localhost:9090 にしている。 http://prometheus:9090 に直す
Grafana にログインできない.env が読まれていない。 docker compose config | grep GF_SECURITY で "" になっていないか確認。直したら docker compose up -d
グラフが空のままrate() は最低2点必要です。 スクレイプ15秒なので、1分ほど待つ。 期間指定(右上)が短すぎないかも見る
CPUのグラフが直線で右肩上がりrate() を付けずに累積をそのまま出している。 累積の数はそのままグラフにしない
VMが重くなったdocker stats で誰が食っているか見る。 Prometheus なら retention.size を小さくする。それでも厳しければscrape_interval を 30s に延ばす
docker compose up が port is already allocated3000番はアプリが使っています。 Grafana は 3001番に出しています。番号が被っていないか sudo ss -tlnp で確認

一番時間を取られたのは、app のターゲットが down のままだったところです。

アプリ側は正しく /metrics を返していました。 VMの中で curl localhost:9101/metrics を打つと、ちゃんと出ます。なのに Prometheus からは届かない。

原因は ufw でした。 そして気づくのが遅れた理由が、この記事の前半とそのまま繋がります。

Docker で -p を使ったときは ufw を素通りしていたので、「ufw は Docker には効かない」と覚えてしまっていました。 効かないのは、Docker が公開するポートに対してだけです。 コンテナからVM本体に向かう通信には、普通に効きます。

「効かない」ではなく「どの向きに効かないか」まで持っておかないと、こうなります。

後片づけ

Prometheus はディスクを食い続けます。使わないなら必ず消してください。

まず、いまどれだけ使っているか見ます。

bash
$ docker system df -v | grep -E 'prom-data|grafana-data'

止めるだけなら、データは残ります。

bash
$ cd ~/monitoring
$ docker compose stop

もう使わないなら、ボリュームごと消します。

bash
$ cd ~/monitoring
$ docker compose down -v

-v は取り返しがつきません。 貯めたメトリクスも、Grafana で作ったダッシュボードも消えます。そのつもりのときだけ。

イメージも消します(合計で1GB前後あります)。

bash
$ docker image rm prom/prometheus:v2.53.0 grafana/grafana:11.1.0 prom/node-exporter:v1.8.2
$ docker system df

ufw に足した行も戻します。

bash
$ sudo ufw delete allow from 172.19.0.0/16 to any port 9101 proto tcp
$ sudo ufw status

アドレスは、自分が足したときの値に読み替えてください。 sudo ufw status numbered で番号を見て消しても構いません。

~/server/ と appdb は残してください。 続きの回で使います。app.js に足した prom-client の部分は、残しておいて問題ありません(9101番を閉じてあれば、外からは触れません)。

まとめ

  • systemctl status は「いま」しか答えない。 過去が残らないので、「いつから遅いのか」に答えられない
  • メトリクスとログは別物。 メトリクスで気づいて、ログで理由を知る。 片方でもう片方の代わりはできない
  • Prometheus は取りに来る(pull)。 アプリは /metrics を置くだけで、送信先も間隔も知らない
  • 取りに行って失敗する=落ちている。だから pull は、それ自体が死活監視になる
  • /metrics はアプリの構造とエラー状況を無認証で喋る。 本体とは別ポートにして、ufw で開けない
  • Grafana を -p 3001:3000 で出すと、ufw を素通りして世界に公開される。 127.0.0.1: を付けて、見るときはSSHポートフォワード
  • Grafana の初期アカウントは admin / admin。 公開+初期パスワードは探されている
  • ufw が効かないのは Docker の公開ポートだけ。 コンテナからVM本体への通信には効く(ここで詰まった)
  • 累積の数は rate() で割合に直す。 そのままグラフにすると直線になる
  • ラベルにIDなど「値の種類が無限に増えるもの」を入れない。 メモリを食い潰す
  • パネルは最初2つでいい。 平常時の形を知らないうちは、異常も定義できない
  • ログの集約は1台では要らない。 journalctl と docker logs で足りる。「どのサーバーか分からない」が始まりの合図
  • アラートは対応しないものを鳴らさない。 鳴りっぱなしは無いのと同じで、本番の日に埋もれる
  • 保持期間を必ず決める。 retention.time と retention.size。決めないとディスクが減り続ける

参考リンク


次に読む

この記事は 【第6段階】インフラとコンテナ の 12 / 25 本目です。

記事
← 前の記事pushしてもVMには届かない — GitHub ActionsとCI/CD
→ 次の記事ログが3箇所に散っている — Lokiで1画面にする

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Monitoring
  • Prometheus
  • Grafana
  • メトリクスとログの違い

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次