※本記事はアフィリエイト広告(PR)を含みます。
監視とログは別物です。Prometheusは自分から取りに行く方式で、何を何秒ごとに測るのかを決めます。
前回: pushしてもVMには届かない — GitHub ActionsとCI/CD 作業場所はVMの中(Ubuntu Server)です。Docker と Docker Compose、そして
~/serverのAPIをそのまま使います。
ここまで、「動いているか」を確かめる方法はこれでした。
全部、人が見に行っています。
これには、はっきりした限界があります。
見に行った瞬間のことしか分かりません。
- 寝ている間に落ちて、朝には復帰していた →
statusはactiveと言う。気づけません - 昨日の夜からメモリが増え続けている →
free -hはいまの1行しか出しません - 「最近なんか遅い」 → 遅くなったのがいつからかを答える材料がありません
つまり、いまの状態は分かるが、過去が残っていない。これを埋めるのが監視です。
そして最初に、よく混ざる2つを分けておきます。監視(メトリクス)とログは別物です。
対象レベル: 中級 / 区分: 必修
この記事でわかること
- メトリクスとログは別物で、得意なことが違うということ(片方でもう片方の代わりはできない)
- Prometheus はアプリが送るのではなく、Prometheus が取りに来る(pull)という設計
- Grafana を
-p 3001:3000で公開すると、ufw を素通りして外から見えること - ログの集約基盤は、いまの規模ではまだ要らないという線引き
- アラートを作り込むと、鳴りっぱなしになって無いのと同じになること
この記事でやること
- 必要なメモリとディスクを先に見積もる(
free -hで空きを確認する) - Prometheus + Grafana + node-exporter を
docker composeで立てる ~/serverの Express にprom-clientを入れて、自分のアプリの数を出す- Grafana でグラフを2つだけ作る(CPU と リクエスト数)
- 保存期間を決めて、最後にディスクごと片づける
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| メトリクス | 数を時間順に並べたもの。CPU使用率、メモリ量、1秒あたりのリクエスト数。「いくつか」しか持たない |
| 時系列データベース | 「時刻と数」の組を大量に貯めることに特化した保存先。Prometheus は中にこれを持っている |
| Prometheus | メトリクスを自分から集めに行って貯めるサーバー。読みは「プロメテウス」 |
| スクレイプ(scrape) | Prometheus が対象のURLへ定期的に取りに行くこと。既定は数十秒に1回 |
| エクスポーター(exporter) | 監視対象の数を、Prometheus が読める形で出すだけの小さなプログラム。node-exporter はOSの数を出す |
/metrics | その数を出しているURL。ただのテキストが返るだけ |
| Grafana | 貯まった数をグラフにして見せる道具。自分ではデータを持たない |
| PromQL | Prometheus に問い合わせるための書き方。rate(...) のような関数を使う |
| 保持期間(retention) | 貯めたデータを、いつまで残すか。決めないとディスクが減り続ける |
先に — メモリとディスクを見積もる
この記事は、いままでの回より重いです。 立ててから「VMが固まった」では困るので、先に測ります。
total used free shared buff/cache available
Mem: 3.8Gi 1.2Gi 1.1Gi 12Mi 1.5Gi 2.4Gi
見るのは available の列です。free ではありません(buff/cache はすぐ返せる分なので、available が実際に使える量です)。
この記事で足すものの、おおよその使用量です。
| 足すもの | メモリの目安 |
|---|---|
| Prometheus | 200〜400MB |
| Grafana | 100〜200MB |
| node-exporter | 20MB前後 |
| 合計 | おおよそ 400〜600MB |
この数字は目安です。 監視する対象の数と、貯めたデータの量で変わります。Prometheus は貯まるほどメモリを使います。
availableが 1GB を切っている状態では始めないでください。 私は VMのメモリを 4GB にして進めています。2GB のままだと、MySQL と Node と合わせて足りません。
ディスクも同じです。
Prometheus は、放っておくとディスクを食い続けます。
15秒に1回、数百種類の数を、止まらずに書き続けるためです。この記事では保持期間を7日に制限します。 そして後片づけまで必ず読んでください。
メモリが足りないときは、この回を飛ばして構いません。 ただし「メトリクスとログは別物」の節だけは読んでおいてください。 手を動かさなくても効く話です。
[スクリーンショット: 01_free確認.png] free -h と df -h / の結果を撮ってください。available の値が読めることが条件です。
手元の VM に割り当てられるメモリは、ホスト PC の都合で頭打ちになります。足りないときは、シンVPS
の「大容量メモリプラン」のようにメモリあたりの月額を抑えた VPS へ、監視スタックだけを逃がす方法もあります。2026年11月時点では 4GB プランの 1 ヶ月契約が 1,800 円(税込)で、安い月額は 36 ヶ月契約の価格です(無料のお試し期間なし・最低利用期間 3 ヶ月)。
監視とログは別物
ここが、この記事で一番大事な整理です。
| メトリクス | ログ | |
|---|---|---|
| 持っているもの | 数(時刻と値) | 文章(何が起きたかの記録) |
| 例 | CPU 43% リクエスト 12件/秒 | Error: connect ECONNREFUSED 127.0.0.1:6379 |
| 得意なこと | 傾向を見る。いつから変わったかが分かる | 1件を追う。なぜ失敗したかが分かる |
| 苦手なこと | 理由が分からない(「増えた」しか言わない) | 全体の傾向が分からない(1行ずつしかない) |
| 量 | 小さい(数だけなので) | 大きい(文章なので) |
使い方は、いつもこの順番になります。
- メトリクスで気づく — 「22時からエラーの数が増えている」
- ログで理由を知る — 「22時のログを見たら Redis に繋がっていない」
メトリクスだけでは原因が分かりません。ログだけでは異常に気づけません。 どちらかでもう片方の代わりをしようとすると、必ず無理が出ます。 「ログを全部数えれば傾向が出るのでは」と思いますが、そのために全ログを保存し続けるのは高くつきます。
ログのほうは、この記事では新しいものを入れません。 理由は後ろの節に書きます。
Prometheus は「取りに行く」
設計の中心はここです。 そして、多くの人が最初に逆に理解します。
❌ アプリが「CPUが上がりました」と Prometheus に送る ✅ Prometheus が「いまいくつ?」と定期的に取りに来る
これを pull(プル)型と言います。アプリ側がやるのは1つだけです。
/metricsというURLを用意して、いまの数をテキストで置いておく。
送信先も、送る間隔も、アプリは知りません。取りに来るほうが全部決めます。
なぜ取りに行くほうが良いのか
| pull(取りに行く) | push(送る) | |
|---|---|---|
| アプリ側の設定 | 不要(URLを出すだけ) | 送信先とキーを全アプリに書く |
| 落ちたときの検知 | 取りに行って失敗する=異常が分かる | 送ってこないのが、落ちたのか元々無いのか区別できない |
| 監視対象を増やす | Prometheus の設定に1行足す | 相手側を触りに行く |
「落ちたことが分かる」が特に効きます。 Prometheus は、取りに行けたかどうかを up という数(1か0)で自分で記録します。アプリ側が何もしなくても、死活監視になっています。
例外もあります。 すぐ終わってしまうバッチ処理は、取りに行っても間に合いません。そのために Pushgateway という別の仕組みがありますが、例外です。まず pull で考えてください。
/metrics はただのテキスト
あとで自分のアプリに生やしますが、中身はこういうものです。
# HELP http_requests_total HTTPリクエストの総数
# TYPE http_requests_total counter
http_requests_total{method="GET",route="/api/tasks",status="200"} 42
JSONですらありません。 名前{ラベル} 値 が並んでいるだけです。Prometheus はこれを15秒ごとに取りに来て、時刻を付けて貯めます。
立てる
~/monitoring を作ります。 ~/stack や ~/server とは分けてください。用途が違うものを混ぜると、片づけるときに困ります。
global:
scrape_interval: 15s
scrape_configs:
- job_name: prometheus
static_configs:
- targets: ["localhost:9090"]
- job_name: node
static_configs:
- targets: ["node-exporter:9100"]
- job_name: app
static_configs:
- targets: ["host.docker.internal:9101"]
node-exporter はサービス名です。 Compose の回でやった「コンテナ同士はサービス名で繋がる」が、そのまま効いています。IPアドレスは書きません。
host.docker.internal は「コンテナから見た、VM本体」です。~/server の Node はコンテナの中ではなくVMに直接いるので、こう呼びます。これは後ろの compose.yaml で1行足さないと使えません。(app のスクレイプは、次の節でアプリ側を直すまで失敗します。それで正常です。)
compose.yaml
services:
prometheus:
image: prom/prometheus:v2.53.0
command:
- '--config.file=/etc/prometheus/prometheus.yml'
- '--storage.tsdb.retention.time=7d'
- '--storage.tsdb.retention.size=1GB'
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
- prom-data:/prometheus
ports:
- "127.0.0.1:9090:9090"
extra_hosts:
- "host.docker.internal:host-gateway"
restart: unless-stopped
grafana:
image: grafana/grafana:11.1.0
environment:
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_PASSWORD}
GF_USERS_ALLOW_SIGN_UP: "false"
volumes:
- grafana-data:/var/lib/grafana
ports:
- "127.0.0.1:3001:3000"
depends_on:
- prometheus
restart: unless-stopped
node-exporter:
image: prom/node-exporter:v1.8.2
command:
- '--path.rootfs=/host'
pid: host
volumes:
- /:/host:ro,rslave
restart: unless-stopped
volumes:
prom-data:
grafana-data:
イメージのタグは、この記事を書いた時点のものです。 Prometheus も Grafana も更新が速く、画面の見た目やメニューの位置は変わります。 最新版は公式(prometheus.io / grafana.com)で確認してください。タグを書かず
latestにすると、ある日いきなり別物になります。 数字で固定するほうが安全です。
1行ずつ、初めて出るものだけ。
| 項目 | 意味 |
|---|---|
--storage.tsdb.retention.time=7d | 7日より古いデータを捨てる。 これを書かないと既定は15日で、放置すると増え続ける |
--storage.tsdb.retention.size=1GB | 1GBを超えたら古いほうから捨てる。 期間と両方指定でき、先に当たったほうが効く |
ports: "127.0.0.1:9090:9090" | VMの中からしか繋がらない。 後ろの節で理由をやります |
extra_hosts: host-gateway | コンテナから host.docker.internal でVM本体を呼べるようにする(これが無いと名前が引けません) |
pid: host | node-exporter がVM本体のプロセスを見られるようにする |
/:/host:ro,rslave | VMのファイルシステム全体を読み取り専用で見せる。 ディスク使用量を測るため |
restart: unless-stopped | VMを再起動しても勝手に上がる。 監視は自分が落ちていたら意味がないので付けます |
node-exporterにports:がありません。 わざとです。 Prometheus が同じネットワークの中からnode-exporter:9100で取りに行くので、外に出す必要がありません。 Compose の回でデータベースにports:を書かなかったのと同じ判断です。
パスワードは .env に分けます。 これも Compose の回と同じです。
GRAFANA_PASSWORD=ここを自分で決めた文字列にする
展開されているか、起動前に確かめます。
"" になっていたら失敗です。 .env のファイル名か変数名のつづりを見直してください。
起動する
NAME IMAGE STATUS
monitoring-grafana-1 grafana/grafana:11.1.0 Up 10 seconds
monitoring-node-exporter-1 prom/node-exporter:v1.8.2 Up 11 seconds
monitoring-prometheus-1 prom/prometheus:v2.53.0 Up 11 seconds
3つとも Up になっていること。 なっていなければ、まずログです。
設定の書き間違いは、ここに理由が出ます。 プロセスとサービスの回でやった「失敗したら journalctl」と同じ型で、コンテナでは docker compose logs を見ます。
取りに行けているか確認する
VMの中から確かめます。
"health":"up"
"health":"up"
"health":"down"
2つ up、1つ down なら想定どおりです。down は app(まだアプリ側に /metrics がないため)。次の節で直します。
node-exporter の数が入っているかも見ます。
"status":"success" で始まっていれば、Prometheus は動いています。
アプリ自身のメトリクスを出す
node-exporter が出すのは「VMの数」です。CPU、メモリ、ディスク。アプリのことは何も知りません。
CPUが上がっていることは分かるが、「リクエストが増えたから」なのか「無限ループしたから」なのかは分かりません。
だから、アプリ自身にも数を出させます。
~/server/app.js の、ルート(app.get や app.use("/api", …) など)を定義している行より前に足します。Express は登録した順に処理するので、ルートより後ろに置くと、先に応答したリクエストは数えられません。
const client = require("prom-client");
const register = new client.Registry();
client.collectDefaultMetrics({ register }); // CPU・メモリなどNode自身の数
const httpRequests = new client.Counter({
name: "http_requests_total",
help: "HTTPリクエストの総数",
labelNames: ["method", "route", "status"],
registers: [register],
});
// すべてのリクエストを数える
app.use((req, res, next) => {
res.on("finish", () => {
httpRequests.inc({
method: req.method,
route: req.route ? req.route.path : "other",
status: res.statusCode,
});
});
next();
});
// ⚠️ metrics は本体とは別のサーバーで出す(公開しているポートに生やさない)
const metricsApp = express();
metricsApp.get("/metrics", async (_req, res) => {
res.set("Content-Type", register.contentType);
res.end(await register.metrics());
});
metricsApp.listen(9101, () => console.log("[metrics] listening on 9101"));
res.on("finish") を使っているのは、res.statusCode が確定するのが応答を返し終えたあとだからです。ミドルウェアの入口で数えると、まだ何番で返すか決まっていません。
/metrics を外に出してはいけない
ここは飛ばさないでください。
/metrics は、こういうものを外に向かって喋ります。
- どのURLが何回呼ばれたか(アプリの構造がそのまま見える)
- エラーが何件出ているか(攻めどころが見える)
- Node のバージョン、起動してからの時間、メモリの量
攻撃する側から見ると、これは無料の下見です。
認証もありません。 だから app(3000番)に生やさず、別のポート(9101番)で出しています。
そして 9101番は、絶対に ufw で開けません。
何も出なければ正しい状態です。
ここは Docker と話が違います。 Docker の回で「
-pは ufw を素通りする」とやりました。あれは Docker が特別なだけです。~/serverの Node は、コンテナではなくVMで直接動いています。 だから普通に ufw が効きます。 開けなければ、外からは届きません。
Prometheus から 9101番に届くようにする
ところが、このままでは Prometheus のコンテナからも届きません。 コンテナから見ると VM本体宛の通信は「外から来た通信」で、ufw が止めます。
Compose が作ったネットワークのアドレス範囲だけを許可します。
172.19.0.0/16
この値は環境によって違います。自分の出力に読み替えてください。
sudo ufw allow 9101/tcpと打たないでください。 それは誰にでも開けます。fromを付けて送り元を限定するのがここの要点です。戻すときは同じ行を
deleteします。sudo ufw delete allow from 172.19.0.0/16 to any port 9101 proto tcp
確かめる
アプリを起動し直してから、
まだ0件なら、何回か叩いてから見ます。
http_requests_total{method="GET",route="/",status="401"} 1
Prometheus 側でも up になったか見ます。
"health":"up"
"health":"up"
"health":"up"
3つとも up になれば、取りに行けています。
[スクリーンショット: 02_targets.png] http://localhost:9090/api/v1/targets の結果か、後述のGrafana経由で 3つとも up になっているところを撮ってください。
ラベルに生のURLを入れないでください。
routeに/api/tasks/1/api/tasks/2… とIDごとの値を入れると、IDの数だけ別の時系列が作られます。 これをカーディナリティ爆発と言い、Prometheus のメモリを一気に食い潰します。 上のコードでreq.route.pathを使っているのは、/api/tasks/:idという「型」のほうが入るからです。
Grafana を公開してはいけない
compose.yaml で、こう書きました。
ports:
- "127.0.0.1:3001:3000"
これを - "3001:3000" にすると、どうなるか。
世界中から Grafana のログイン画面が見えます。ufw は何も止めません。
理由は Docker の回でやったとおりです。Docker は ufw が見ていない場所にルールを入れるので、sudo ufw status には何も出ないまま外に開きます。
そして Grafana には、有名な初期アカウントがあります。
| 初期値 | |
|---|---|
| ユーザー名 | admin |
| パスワード | admin(変更していなければ) |
「初期パスワードのまま、外に開いた Grafana」は、探されています。 入られると、Prometheus のデータが全部読まれます。 上で見たとおり、そこにはアプリの構造とエラーの状況が入っています。
だから、この記事では2つやっています。
127.0.0.1:を付けて、VMの外に出さないGF_SECURITY_ADMIN_PASSWORDを.envから渡して、初期値のままにしない
待ち受けている場所を、目で確かめてください。
LISTEN 0 4096 127.0.0.1:3001 0.0.0.0:*
LISTEN 0 4096 127.0.0.1:9090 0.0.0.0:*
0.0.0.0:3001 になっていたら公開されています。 compose.yaml を直して docker compose up -d し直してください。
では、どうやって見るのか
SSHで手元に引っ張ってきます(ポートフォワード)。
Windows の PowerShell で打ちます(VMの中ではありません)。
IPとユーザー名は自分の値に読み替えてください。 繋いだまま、Windows のブラウザで開きます。
http://localhost:3001/
手元の 3001番への通信が、SSHの中を通ってVMの 3001番に届きます。 VS Code から VM を触った回と同じ接続の上に乗っているだけです。
これが「開けずに見る」の基本形です。管理画面をポートで公開しない。 見るときだけSSHの中を通す。 ターミナルを閉じると、この道も閉じます。 それでいいのです。
[スクリーンショット: 03_grafanaログイン.png] Windows のブラウザで http://localhost:3001/ を開き、Grafana のログイン画面が出ているところを撮ってください。
Grafana でグラフにする
ログインしたら、まず Prometheus を「データの出どころ」として登録します。
画面の左メニューから Connections → Data sources → Add new data source → Prometheus と進み、URL にこれを入れて保存します。
http://prometheus:9090
localhost:9090ではありません。 Grafana はコンテナの中にいるので、localhostはGrafana 自身を指します。サービス名で呼びます。 Compose の回の「コンテナ同士は名前で繋がる」です。 保存するとSuccessfully queried the Prometheus API.のような表示が出ます(文言はバージョンで変わります)。
ダッシュボードを最初から凝らない
ここで多くの人が半日溶かします。
パネルを20個並べたダッシュボードは、誰も見ません。
見るべきものが分からなくなるからです。まず2つだけ作ります。
1つ目 — VMのCPU使用率
100 - (avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
node-exporter は「CPU使用率」を出していません。 出しているのは 「各状態で何秒使ったかの累積」です。だから、
rate(...[5m])— 5分間で1秒あたり何秒増えたかにするmode="idle"— 暇だった割合を取り出す100 - ...— 暇でなかった割合=使用率にする
「累積の数を
rateで割合に直す」は、Prometheus でずっと使う型です。 累積の値をそのままグラフにしても、右肩上がりの直線にしかなりません。
2つ目 — 1秒あたりのリクエスト数
sum(rate(http_requests_total[5m]))
さっきアプリに生やしたものです。 これも累積なので rate で割合にします。sum はラベル違いを全部足すという意味です。
グラフが動くか確かめます。 VMの中で何度か叩いてください。
数十秒待つと、Grafana のグラフが上がります。 スクレイプが15秒に1回なので、即座には出ません。
[スクリーンショット: 04_グラフ2つ.png] CPU使用率とリクエスト数の2枚が並んだダッシュボードを撮ってください。リクエストを叩いた瞬間に山ができていると分かりやすいです。
既製のダッシュボードもあります。 Grafana には他の人が作ったダッシュボードをID指定で読み込む機能があり、node-exporter 用のものは特に有名です。便利ですが、後回しにしてください。 自分で2つ作ってからのほうが、既製品の中身を読めます。 読めないダッシュボードは、パネルが多いだけで役に立ちません。
ログのほうはどうするか
メトリクスは入りました。ログはどうするか。 結論から書きます。
この記事では、ログの集約基盤を入れません。
いまのログの見方は、これで足りているからです。
| 見たいもの | いま打つコマンド |
|---|---|
| OSやサービスのログ | journalctl -u ssh -n 50 --no-pager |
| コンテナのログ | docker compose logs prometheus |
| 流れるのを眺める | docker compose logs -f grafana |
| アプリのログ | ~/server を起動した端末の出力 |
集約が要るのは、どこからか
線引きははっきりしています。
「どのサーバーを見ればいいか分からない」状態になったらです。
- サーバーが1台 → 入って
journalctlを打てば済む。 集約は要らない - サーバーが5台、コンテナが20個 → どこにログが出たか探すところから始まる。 ここで初めて要る
そして、集約基盤は安くありません。
| 入れると増えるもの | 中身 |
|---|---|
| メモリ | Loki や Elasticsearch は、Prometheus よりさらに要求します |
| ディスク | ログはメトリクスよりずっと大きい(文章だから) |
| 運用の手間 | ログを集める仕組み自体が落ちる。それも監視対象になる |
1台のVMに、ログ集約基盤を足す理由はありません。
journalctlで足ります。 「本番でやるものを全部載せる」は、学習では逆効果です。 何のために入れたか分からないものが増えるだけです。
いま代わりにやっておくと効くのは、これです。
Archived and active journals take up 88.0M in the file system.
ログも放っておくとディスクを食います。 上限を決めておけます。
「集約する」より先に、「溜めすぎない」です。
アラートは最初から作り込まない
Prometheus にも Grafana にも、条件を書けば通知を飛ばす仕組みがあります。 入れたくなりますが、最初はやめてください。
鳴りっぱなしのアラートは、無いのと同じです。
そして「無いのと同じ」で済みません。悪くなります。
- CPU 80%で鳴らすように設定する
- 1日に何回も鳴る(バックアップが走っただけ、など)
- 見なくなる
- 本当に落ちた日も、通知欄に埋もれて気づかない
最終的に、通知を切ります。 これが一番多い終わり方です。
入れるなら、こう決めてからです。
| 決めること | 例 |
|---|---|
| 鳴ったら何をするか | 「起きて対応する」のか「翌朝見る」のか |
| 何分続いたら鳴らすか | 一瞬の跳ねで鳴らさない(for: 5m のように持続時間を条件にする) |
| 誰に届くか | 自分しかいないなら、深夜に鳴らす意味があるか |
「対応しないものは、鳴らさない。」 これだけ守れば十分です。
まずは、しばらくグラフを眺めてください。 平常時の形を知らないうちは、どこを異常と呼ぶかも決められません。
つまずいたところ
| 症状 | 原因と直し方 |
|---|---|
app のターゲットが down のまま | 順に3つ疑う。 ①~/server が動いているか ②curl localhost:9101/metrics が返るか ③ufw の from の範囲が合っているか(docker network inspect の出力と一致しているか) |
host.docker.internal が引けない | extra_hosts: - "host.docker.internal:host-gateway" を書き忘れている。 Linux では既定で使えません。書いたら docker compose up -d で作り直す |
docker network inspect monitoring_default が No such network | ネットワーク名はフォルダ名から作られます。 ~/monitoring 以外で作ったなら名前が違います。docker network ls で実物を確認 |
| Grafana で「Bad Gateway」「connection refused」 | データソースのURLを localhost:9090 にしている。 http://prometheus:9090 に直す |
| Grafana にログインできない | .env が読まれていない。 docker compose config | grep GF_SECURITY で "" になっていないか確認。直したら docker compose up -d |
| グラフが空のまま | rate() は最低2点必要です。 スクレイプ15秒なので、1分ほど待つ。 期間指定(右上)が短すぎないかも見る |
| CPUのグラフが直線で右肩上がり | rate() を付けずに累積をそのまま出している。 累積の数はそのままグラフにしない |
| VMが重くなった | docker stats で誰が食っているか見る。 Prometheus なら retention.size を小さくする。それでも厳しければscrape_interval を 30s に延ばす |
docker compose up が port is already allocated | 3000番はアプリが使っています。 Grafana は 3001番に出しています。番号が被っていないか sudo ss -tlnp で確認 |
一番時間を取られたのは、app のターゲットが down のままだったところです。
アプリ側は正しく /metrics を返していました。 VMの中で curl localhost:9101/metrics を打つと、ちゃんと出ます。なのに Prometheus からは届かない。
原因は ufw でした。 そして気づくのが遅れた理由が、この記事の前半とそのまま繋がります。
Docker で
-pを使ったときは ufw を素通りしていたので、「ufw は Docker には効かない」と覚えてしまっていました。 効かないのは、Docker が公開するポートに対してだけです。 コンテナからVM本体に向かう通信には、普通に効きます。
「効かない」ではなく「どの向きに効かないか」まで持っておかないと、こうなります。
後片づけ
Prometheus はディスクを食い続けます。使わないなら必ず消してください。
まず、いまどれだけ使っているか見ます。
止めるだけなら、データは残ります。
もう使わないなら、ボリュームごと消します。
-vは取り返しがつきません。 貯めたメトリクスも、Grafana で作ったダッシュボードも消えます。そのつもりのときだけ。
イメージも消します(合計で1GB前後あります)。
ufw に足した行も戻します。
アドレスは、自分が足したときの値に読み替えてください。 sudo ufw status numbered で番号を見て消しても構いません。
~/server/とappdbは残してください。 続きの回で使います。app.jsに足したprom-clientの部分は、残しておいて問題ありません(9101番を閉じてあれば、外からは触れません)。
まとめ
systemctl statusは「いま」しか答えない。 過去が残らないので、「いつから遅いのか」に答えられない- メトリクスとログは別物。 メトリクスで気づいて、ログで理由を知る。 片方でもう片方の代わりはできない
- Prometheus は取りに来る(pull)。 アプリは
/metricsを置くだけで、送信先も間隔も知らない - 取りに行って失敗する=落ちている。だから pull は、それ自体が死活監視になる
/metricsはアプリの構造とエラー状況を無認証で喋る。 本体とは別ポートにして、ufw で開けない- Grafana を
-p 3001:3000で出すと、ufw を素通りして世界に公開される。127.0.0.1:を付けて、見るときはSSHポートフォワード - Grafana の初期アカウントは
admin/admin。 公開+初期パスワードは探されている - ufw が効かないのは Docker の公開ポートだけ。 コンテナからVM本体への通信には効く(ここで詰まった)
- 累積の数は
rate()で割合に直す。 そのままグラフにすると直線になる - ラベルにIDなど「値の種類が無限に増えるもの」を入れない。 メモリを食い潰す
- パネルは最初2つでいい。 平常時の形を知らないうちは、異常も定義できない
- ログの集約は1台では要らない。
journalctlとdocker logsで足りる。「どのサーバーか分からない」が始まりの合図 - アラートは対応しないものを鳴らさない。 鳴りっぱなしは無いのと同じで、本番の日に埋もれる
- 保持期間を必ず決める。
retention.timeとretention.size。決めないとディスクが減り続ける
参考リンク
- roadmap.sh — DevOps
- Prometheus 公式ドキュメント
- Prometheus — クエリの基本(PromQL)
- Grafana 公式ドキュメント
- node_exporter(GitHub)
- prom-client(npm)
次に読む
この記事は 【第6段階】インフラとコンテナ の 12 / 25 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。

コメント