監視は自前かSaaSか — 替えられるのは道具だけ

監視は自前かSaaSか。監視ダッシュボードと自前サーバー、クラウドへの分岐線。

※本記事はアフィリエイト広告(PR)を含みます。

監視を自前で持つか、SaaSに任せるか。先に監視対象を棚卸ししてから、替えられるのは道具だけだと確かめます。

前回: 作ると整えるは別の仕事 — PulumiとIaCの地図

はじめに のカリキュラムでは 第6段階「運用する」 にあたります。

作業場所はVMの中(Ubuntu Server)です。 Windows側は、ブラウザを開くときだけ使います。

この記事では、有料サービスの契約を一切しません。 クレジットカードは出しません。 手を動かすのはすでにVMに入っているものだけです。SaaSは名前と考え方だけを見ます。

料金と無料枠は書きません。 どちらもしょっちゅう変わるからです。 クラウド料金の管理|課金される要素と上限・通知の設定と同じ扱いで、数字は必ず公式で確認してください。

Prometheus と Grafanaを立てて、Lokiでログを1画面に集めて、OpenTelemetryでトレースまで出しました。

「動いているか」を人が見に行くのは、もう終わったつもりでいました。

そこで、ある日こうなりました。Grafana のグラフが、途中から真っ平らになっていたんです。

サーバーが安定したのではありません。Prometheus のコンテナが落ちていました。

monitoring-prometheus-1   Exited (137) 6 hours ago

137 は メモリ不足で殺されたときの番号です。6時間、何も記録されていませんでした。

そして、私はそれに、Grafana を開くまで気づきませんでした。

監視は「気づかせる仕組み」なのに、その仕組みが黙って死ぬことには、誰も気づかせてくれない。

これが、前回までの3本の記事がやり残していた穴です。しかも、この穴は道具をもう1つ増やしても埋まりません。 増やした道具も、また落ちるからです。

この記事は、その穴の前で立ち止まって、「そもそも監視を自分で持ち続けるのか」を決める回です。

世の中には Datadog のような監視のSaaS(お金を払って、送りつければ全部やってくれるサービス)があります。それに乗り換えれば、この穴は消えます。 代わりに、別のものを引き受けることになります。

どちらが正しいかは、規模で変わります。 だから、この記事で本当にやることは、選ぶことではありません。

どちらを選んでも、後から替えられる形にしておくこと。

そして、それが技術的に本当に可能なのかを、この記事で実際に確かめます。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • 監視サーバーが落ちても誰も教えてくれないこと。監視の監視は、必ず別の場所に置くしかないこと
  • 本体は道具ではなく「計装」だということ。送り先を替えても、アプリのコードはほぼ変わらない
  • それが「ロックインされない」の中身だということ。替えられない部分がどこに残るかも
  • 監視SaaSはたいてい「送った量」で課金されること。ログを全部送ると請求が跳ねる
  • 鳴りすぎるアラートは、無いのと同じになること。症状で鳴らし、原因では鳴らさない
  • Zabbix は Prometheus と思想が違うこと(押し付ける側が誰か)。新しい/古いの話ではない
  • 1台なら Prometheus + Grafana の自前で十分だということ

この記事でやること

  1. いま自分が持っている監視を、3本柱の表に棚卸しする
  2. Prometheus をわざと止めて、「自分が気づけないこと」を確認する
  3. OpenTelemetry Collector を1つ挟んで、アプリを1文字も触らずに送り先を差し替える
  4. コレクタ側で「送る量を減らす」設定を1つ入れて、課金の効き方を理解する
  5. 自前とSaaSの判断軸を表にして、このサイトの方針を決めて、片づける

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
可観測性(オブザーバビリティ)中を開けずに、外に出てくるものだけで中の状態を言い当てられる度合い。メトリクス・ログ・トレースはそのための材料
計装(インストルメンテーション)アプリ側に「数や記録を外へ出す仕掛け」を入れること。prom-client を入れたのも、OpenTelemetry を入れたのも、これ
エクスポータ(exporter)2つの意味があります。 ①Prometheus の「数を出す小さなプログラム」(node-exporter)、②OpenTelemetry の「集めたものを、どこへ送るか」の部品。この記事の主役は②
OpenTelemetry Collectorアプリと保存先の間に立つ中継所。受け取って、加工して、好きな数の送り先へ流す
パイプラインコレクタの中の流れ。受け取る(receivers)→ 加工する(processors)→ 送る(exporters) の3段
SaaS(サース)Software as a Service。自分でサーバーを持たず、使う分だけ契約して使うサービス。監視だと Datadog など
ベンダーロックインある会社の製品から抜けられなくなること。乗り換えの費用が高すぎて、実質的に選べない状態
エージェント監視対象のサーバーに常駐させる、小さな監視プログラム。Zabbix や Datadog はこの形を取る
サービスディスカバリ監視する相手を、人が書くのではなく自動で見つけること。Prometheus が得意
外形監視外から利用者と同じようにアクセスして、生きているか確かめること。中の数字は見ない
アラート疲れ鳴りすぎて、通知を無視するのが習慣になった状態。この状態の監視は無いのと同じです
保持期間(retention)貯めたデータをいつまで残すか。自前ではディスク、SaaSでは請求に直結する
サンプリング全部は送らず、一定の割合だけ送ること。量とお金を下げる代わりに、まびいた1本は永久に見られない

① いま何を持っているか、棚卸しする

選ぶ前に、自分の手札を並べます。 これは3回分の総まとめでもあります。

柱答えてくれる質問私が立てたもの形量
メトリクス「いま遅いか」「いつからか」Prometheus + node-exporter + prom-client時刻と数少ない
ログ「そのとき何が起きたか」Loki + Promtail時刻と文章多い
トレース「どこで何ミリ秒使ったか」OpenTelemetry + Jaeger入れ子になった時間一番多い
(見る場所)—Grafana / Jaeger の画面——

この3つを合わせて「可観測性」と呼びます。 3本柱(three pillars)という言い方をよく見ます。

ここで、この記事で一番大事な区別を先に入れます。

この表の「柱」と「形」は、道具を替えても変わりません。 変わるのは「私が立てたもの」の列だけです。

Datadog に乗り換えても、メトリクスはメトリクスのままです。 「いま遅いか」に答え、「どこで遅いか」には答えません。道具が変わっても、質問と答えの対応は変わらないのです。

逆に言うと、ここまでの3回で学んだことのうち、道具の名前は一番どうでもいい部分でした。

[スクリーンショット: 01_棚卸し.png] VMで docker compose ps を実行して、いま動いている監視系のコンテナが一覧で出ている画面を撮ってください。


② 監視サーバーが落ちたら、誰が気づくのか

冒頭の穴を、実際に手で作って確かめます。 障害対応の回と同じで、わざと壊すのが一番早いです。

VMの中で、Prometheus だけを止めます。

bash
$ cd ~/monitoring
$ docker compose stop prometheus
$ docker compose ps

この状態で、Grafana を開いてみてください。(前回までと同じく、Windows の PowerShell からポートフォワードを繋いだ状態です)

PowerShell
PS> ssh -L 3001:localhost:3001 ユーザー名@VMのIPアドレス

ブラウザで http://localhost:3001/ を開きます。

私が見たのは、これです。

  • グラフは表示される(さっきまでのデータが残っているので)
  • 右端が、途中でぷつりと切れている
  • 警告も、赤い表示も、何も出ない
Templating [xxx] Error updating options: Post "http://prometheus:9090/api/v1/query": dial tcp: connect: connection refused

画面のどこかにこんな行が出ることはあります。 ただし開いていればです。開いていなければ、何も起きません。

「データが来ていない」は、「異常が無い」と見た目が似ています。 平らなグラフは、平和に見えます。

もっと悪いのは、アラートです。 Prometheus の回ではアラートを作り込みませんでしたが、仮に「CPUが90%を超えたら鳴らす」を仕込んでいたとして、Prometheus 自身が死んでいたら、そのルールは誰も評価しません。

Prometheus には up というメトリクスがあります。 監視対象が生きているかを示す 1 か 0 です。これは強力ですが、Prometheus が生きている間だけの話です。

戻します。

bash
$ cd ~/monitoring
$ docker compose start prometheus
$ docker compose ps

この穴の埋め方は、原理的に1つしかない

監視の監視は、その監視と一緒に落ちない場所に置くしかありません。

同じVMの中に「Prometheus を見張るコンテナ」を足しても、VMごと落ちたら両方死にます。 システム設計の回で出てきた単一障害点そのものです。

選択肢は、現実的にはこの3つです。

やり方中身費用弱点
別のマシンから外形監視する手元のPCやスマホから、定期的にURLを叩く自前ならタダPCを閉じたら止まる。夜は止まる
監視SaaSに死活だけ任せる外部のサービスから叩いてもらい、落ちたら通知が来るサービスによる。必ず公式で確認外部に依存する。URLを教える必要がある
監視自体をSaaSに移すメトリクスもログも外へ送る送った量で増える。⑥で詳述送り出す側が死ぬと、やはり止まる

3つ目にも穴があるのは大事な点です。 アプリのサーバーが丸ごと落ちたら、SaaSにも何も届きません。 ただしSaaS側は「来るはずのものが来ていない」を検知できます。これが自前との一番の違いです。

無いデータに気づけるのは、外にいる誰かだけ。

この記事の時点での私の答えは、こうです。

  • このVMは学習用で、24時間動かしていません。 落ちても誰も困りません
  • 本番のサイトはレンタルサーバーで、監視は事業者側がやっています
  • だから、いまは「穴があること」を知っているだけで足ります

ただし、24時間動かすものを持った日には、これは先送りできません。 そのときに何を選ぶかを決めるのが、この先の話です。


③ 【】道具を替えても、アプリのコードは変わらない

ここが、この記事の本体です。

「自前かSaaSか」を怖がる理由は、一度決めたら二度と戻れない気がするからです。その怖さが本当かどうかを、いま確かめます。

何を確かめるのか

トレーシングの回で、アプリにこれを入れました。

bash
$ node --require @opentelemetry/auto-instrumentations-node/register --env-file=.env app.js

そして .env に、送り先を書きました。

OTEL_SERVICE_NAME=myserver
OTEL_TRACES_EXPORTER=otlp
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4318

この4行のうち、Jaeger という名前はどこにも出てきません。

これは偶然ではありません。 アプリが知っているのは「OTLP という形で、localhost:4318 に送る」ことだけです。その先に何がいるかを、アプリは知りません。

だとすると、4318 で待つ相手を入れ替えれば、アプリは何も知らないまま送り先が変わるはずです。

やってみます。

何を挟むのか — OpenTelemetry Collector

アプリと Jaeger の間に、中継所を1つ立てます。

(いま)  アプリ ──OTLP──> Jaeger

(これから)アプリ ──OTLP──> Collector ──> Jaeger
                                    └──> 画面に出す(debug)
                                    └──> (将来)SaaS

コレクタは OpenTelemetry の公式部品で、中身は3段のパイプラインです。

段名前やること
受け取るreceiversどの形で、どの口で受けるか(OTLP など)
加工するprocessorsまとめる・まびく・消す・タグを足す
送るexportersどこへ送るか。ここが差し替えポイント

exporters という言葉が、Prometheus の node-exporter と紛らわしいです。 別物です。 Prometheus のエクスポータは「数を出す人」、OpenTelemetry のエクスポータは「送る先の設定」です。

立てる前に、メモリを見る

前回までと同じで、先に測ります。

bash
$ free -h
足すものメモリの目安
OpenTelemetry Collector100〜200MB

available が 500MB を切っているなら、先に Loki と Promtail を止めてください。 この記事では使いません。

cd ~/monitoring
docker compose stop loki promtail

戻すのは docker compose start loki promtail です。

前回の後片づけで Jaeger を消した人は、compose.yaml の jaeger: を戻して docker compose up -d してください。 この節では Jaeger を使います。

設定ファイルを書く

VMの中で、~/monitoring/otel-collector.yaml を新しく作ります。

bash
$ cd ~/monitoring
$ nano otel-collector.yaml
receivers:
  otlp:
    protocols:
      http:
        endpoint: 0.0.0.0:4318

processors:
  batch:
    timeout: 5s

exporters:
  debug:
    verbosity: normal
  otlphttp/jaeger:
    endpoint: http://jaeger:4318

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [debug, otlphttp/jaeger]

1行ずつ意味を書きます。

行意味
receivers: otlp: http: 0.0.0.0:4318アプリから OTLP over HTTP を受ける口。 0.0.0.0 はコンテナの中での話で、外に出るかは ports が決めます
processors: batch:ためてからまとめて送る。 入れないと1本ずつ送って通信が無駄に増えます。 ほぼ必須
exporters: debug:送るのをやめて、コレクタのログに出すだけ。 届いているかを目で見るために入れます
exporters: otlphttp/jaeger:Jaeger へ OTLP over HTTP で流す。 /jaeger の部分はただの名札で、好きに付けられます
endpoint: http://jaeger:4318localhost ではありません。 コレクタから見た Jaeger は、compose のサービス名で呼びます
service: pipelines: traces:この3つを繋いだ流れ。 ここに書かないと、上で定義しただけでは動きません

一番間違えやすいのは最後の service: です。 exporters: に書いただけでは何も起きません。「定義する」と「使う」が別なのは、Docker Compose の volumes: と同じ形です。

exporters に2つ書いてあることに注目してください。 同じデータを、同時に2箇所へ送っています。 これが後で効きます。

compose.yaml に足す

~/monitoring/compose.yaml を開いて、jaeger: の下に足します。

bash
$ cd ~/monitoring
$ nano compose.yaml
  jaeger:
    image: jaegertracing/all-in-one:1.57
    environment:
      COLLECTOR_OTLP_ENABLED: "true"
      MEMORY_MAX_TRACES: "5000"
    ports:
      - "127.0.0.1:16686:16686"
    restart: unless-stopped

  otel-collector:
    image: otel/opentelemetry-collector-contrib:0.104.0
    command: ["--config=/etc/otelcol-contrib/config.yaml"]
    volumes:
      - ./otel-collector.yaml:/etc/otelcol-contrib/config.yaml:ro
    ports:
      - "127.0.0.1:4318:4318"
    depends_on:
      - jaeger
    restart: unless-stopped

jaeger: から - "127.0.0.1:4318:4318" の行を消しています。 ここが今回の肝です。 同じ 4318 を2つのコンテナで公開することはできません(port is already allocated になります)。 4318 は、これから Collector が受け持ちます。 Jaeger はコンテナ同士のネットワークの中でだけ受け取ります。

バージョンのタグは、この記事を書いた時点のものです。 latest にしないでください。 コレクタは更新が速く、設定の書き方が変わることがあります。
なお、jaegertracing/all-in-one:1.57 は Jaeger v1 系で、v1 系は 2025年12月31日にサポートが終了しています。 前の回から使っている Promtail も 2026年3月2日にサポートが終了しました。更新はもう出ないので、長く使う環境では Jaeger v2 と Grafana Alloy(Promtail の後継)を選んでください。

起動して、確かめる

bash
$ cd ~/monitoring
$ docker compose up -d
$ docker compose ps

otel-collector が Up になっていることを確認します。 Restarting を繰り返しているなら、設定ファイルの書き間違いです。

bash
$ docker compose logs otel-collector | tail -n 30

設定を読めていれば、Everything is ready. Begin running and processing data. のような行が出ます。

[スクリーンショット: 02_collector起動.png] docker compose ps の結果に otel-collector が Up で並んでいる画面を撮ってください。

ここが本題 — アプリ側を何も変えていない

アプリを起動します。

bash
$ cd ~/server
$ node --require @opentelemetry/auto-instrumentations-node/register --env-file=.env app.js

前回と1文字も違いません。 .env も開いていません。

別のターミナルから、APIを叩きます。

bash
$ curl -s -o /dev/null -w "%{http_code}\n" http://localhost:3000/api/tasks

コレクタのログを見ます。

bash
$ cd ~/monitoring
$ docker compose logs otel-collector | tail -n 20

こういう行が出ます。

info    TracesExporter  {"resource": {}, "otelcol.component.id": "debug", "otelcol.component.kind": "exporter", "resource spans": 1, "spans": 7}

届いています。 そして Jaeger の画面(http://localhost:16686/)にも、いままで通りトレースが出ます。

[スクリーンショット: 03_collector経由.png] docker compose logs otel-collector に TracesExporter の行が出ていて、スパンの数が表示されている画面を撮ってください。

いま起きたことを、はっきり書きます。

変えたもの変えていないもの
compose.yaml(インフラ側の10行)アプリのソースコード(1文字も)
otel-collector.yaml(新規・インフラ側).env の OTEL_ 4行
—アプリの起動コマンド

送り先が「Jaeger 1つ」から「debug と Jaeger の2つ」に増えました。 アプリは、そのことを知りません。

これが「ロックインされない」ということ

いま exporters に2つ書きました。 ここに3つ目として、SaaSの受け口を書くこともできます。

多くの監視SaaSは、OTLP で受け取る口を持っています。 そのときコレクタの設定は、だいたいこうなります(この記事では実行しません)。

exporters:
  otlphttp/vendor:
    endpoint: https://(各サービスが指定するURL)
    headers:
      api-key: ${env:VENDOR_API_KEY}

そして service: の exporters: に名札を足すだけです。

アプリのコードは、やはり1文字も変わりません。

乗り換えるときも、両方に同時に送って比べてから片方を消す、ができます。 「せーの」で切り替える必要がありません。

これが、いちばん実用的な形の「ロックインされない」です。

部分替えやすさ
計装(アプリに入れた仕掛け)一番替えにくい。 ここが本体
送り方の規格(OTLP)共通なので、そもそも替える必要がない
中継(Collector)設定ファイル1つ。替えやすい
保存先・画面(Jaeger / SaaS / Grafana)一番替えやすい。ここを悩みすぎていた

本体は計装です。道具ではありません。

私はこの順番を逆に理解していました。 「Datadog を入れる/Prometheus を入れる」という製品の選択が大きな決断だと思っていたのです。実際に大きいのは、「アプリに何を出させるか」を決めて書く作業のほうでした。

ただし、正直に書いておく必要があります。

  • 完全に自由なわけではありません。 SaaS固有のエージェントを入れると、その部分は替えられません
  • メトリクスの名前は、道具ごとに癖があります。 ダッシュボードとアラートの定義は書き直しになることが多いです
  • 過去のデータは、原則として持って行けません。 乗り換えた日から、履歴はゼロです

替えられるのは「これから」だけです。「これまで」は置いていくことになります。


④ 自前とSaaS、判断軸を並べる

ここまでで「替えられる」ことは分かりました。 そのうえで、いまどちらを選ぶかです。

判断軸自前(Prometheus / Grafana / Loki)SaaS(Datadog など)
お金の出ていき方サーバー代だけ。 監視ソフト自体は無料送った量・監視した台数で毎月増える
始めるまでの手間重い。 この3回分の作業がそのまま初期費用軽い。 エージェントを入れれば画面ができる
運用の手間自分。 落ちる・溢れる・更新する、を全部やる相手。 ここが一番の売り物
保存期間自分で決められる。 長くするとディスクが減るプランで決まる。 長期保存は追加費用になることが多い
データを外に出せるか出さなくて済む。 業務によってはこれが決定打外に出る。 ログにはSQLもURLもユーザーIDも入る
監視自体が落ちたとき誰も気づかない(②の穴)来ないことに気づける
一緒に落ちるかアプリと同じ場所なら、一緒に落ちる落ちない。ただし送る側が死ねば届かない
学べる量多い。 仕組みが全部見える少ない。 画面の使い方が中心になる
やめるとき消すだけ契約の解除と、データの引き上げ

この表で、私が一番大事だと思った行は2つです。

「データを外に出せるか」と、「運用の手間を誰が持つか」。

残りは、たいてい規模で決まります。 そしてこの2つだけは、規模と関係なく最初に効きます。

とくに「データを外に出せるか」は、技術ではなく決まりの問題です。 秘密情報の回とログの回で書いた通り、ログとトレースには、思っているより中身が入っています。 それを外部の会社のサーバーに置いていいのかは、自分では決められないことがあります。


⑤ 主要な道具の位置づけ

名前だけは必ず聞くものを、1行ずつ並べます。

料金は書きません。 どれも変わります。必ず公式で確認してください。 ここに載っていることは「何をする道具か」だけです。

道具位置づけ
DatadogSaaS。 メトリクス・ログ・トレースを1つの画面にまとめる。エージェントを入れると一気に見えるのが強み
New RelicSaaS。 アプリの中身の性能(APM)から育った。コードの視点が強い
DynatraceSaaS。 自動で構成を見つけて繋げるのが売り。大きな企業で使われることが多い
Splunkログを検索して分析するのが本体。セキュリティ用途でもよく使われる。SaaSと自前の両方
Graylogログの集約と検索。 自前で立てられる。Loki より「検索する」寄りの設計
Elastic StackElasticsearch + Kibana など。 全文検索が本体で、ログ基盤の定番。重い
Papertrailログを送りつけると流れて見えるSaaS。 小さく始める用途
Zabbix毛色が違う。 次の節で単独で扱います
Grafana画面。 自前でもクラウド版でもよい。データは自分で持たないので、どの陣営とも組める

この表で気づいてほしいのは、境界がぼやけていることです。

  • Datadog はログもやるし、Splunk はメトリクスもやります
  • Elastic はトレースもやります
  • どれも「全部やります」と言っています

だから、名前で選ぼうとすると決まりません。 「自分がいま何を見落としているか」で選ぶしかありません。

Zabbix だけは、思想が違う

Zabbix を「古い Prometheus」だと思っていました。 間違いでした。 前提が違います。

Zabbix は「サーバーが何台あって、それぞれが生きているか」を見張るところから来ています。 20年以上使われている、サーバー監視の伝統的な形です。

ZabbixPrometheus
主に見る対象サーバー・ネットワーク機器(物理も含む)アプリとコンテナ
データの流れエージェントが送る(push)のが基本。サーバーから取りに行く設定もあるPrometheus が取りに行く(pull)
監視対象の登録管理画面で「ホスト」を登録する。 台数が固定な世界に合うサービスディスカバリで自動。 増えたり消えたりする世界に合う
設定の置き場所画面とデータベース設定ファイル(Gitに置ける)
アラート最初から本体に入っている(通知先の管理まで)Alertmanager という別の部品が要る
得意な質問「あのサーバーは生きているか」「この処理は1秒あたり何回で、何割が失敗しているか」

なぜこの違いが生まれたかを考えると、腑に落ちました。

Zabbix が生まれた世界では、サーバーは「ラックに置いた、名前のある機械」でした。 Prometheus が生まれた世界では、サーバーは「増えたり消えたりする、名前も付けないコンテナ」でした。

Kubernetes の回で、Pod は消えて別の名前で立ち上がりました。 あれを「ホスト登録」で追いかけるのは無理です。 だから Prometheus は自動で見つけに行く形になっています。

逆に、ネットワーク機器やプリンタや、10年動いている物理サーバーを見るなら、Zabbix のほうが素直です。 どちらが新しいかではなく、監視対象が動くか動かないかの違いです。

そして、pull と push には向き不向きがあります。

pull(取りに行く)push(送りつける)
相手が落ちたら取りに行って失敗するので、すぐ分かる来ないだけ。「静かなだけ」と区別しづらい
相手が大量にいると取りに行く側の負担になる受ける側の負担になる
相手が短命だと取りに行く前に消える(バッチ処理が苦手)消える前に送れる
ネットワークの向き監視する側から入れる必要がある(ファイアウォールに穴)監視される側から出るだけでよい

一番効くのは最後の行です。 SaaSがほぼ全部 push なのは、これが理由です。外から社内に入れないので、中から出すしかありません。


⑥ お金の話 — 監視は「送った量」で増える

クラウド料金の回で書いたことと、同じ形の落とし穴があります。

監視SaaSの多くは、「送った量」と「監視した台数」で課金されます。 つまり、アプリが元気に動くほど、請求が増えます。

何がどう効くかを分解します。(金額は書きません。効き方だけです。)

課金の元になりやすいものなぜ増えるか
監視対象のホスト数サーバーを増やすと増える。 オートスケールで一時的に増えた分も数えられることがある
送ったログの量(GB)一番跳ねる。 1リクエストで何行出しているかで決まる
メトリクスの種類の数数ではなく「組み合わせの数」。 ラベルにユーザーIDを入れると爆発する
トレースのスパン数1リクエストで10〜100本出ます。 前回実際に7本出ました
保持期間長く残すほど増える。 「とりあえず長め」が効いてくる

一番危ないのはログです。 理由は単純です。

ログは、人間が「念のため」で増やせてしまうからです。

console.log を1行足すのはタダに見えます。 1秒間に50リクエスト来ていて、1リクエストで10行出していたら、1日で4300万行です。これを全部SaaSに送ると、そのまま請求になります。

そして、デバッグのために一時的に増やしたログを戻し忘れる、が普通に起きます。

減らし方は3つしかない

手中身失うもの
送る前に減らす出すログのレベルを上げる。要らないスパンを捨てる後から「あのとき何が」が見られない
まびく(サンプリング)一定の割合だけ送るまびいた1本が、見たかった1本かもしれない
保持期間を短くする古いものから消す傾向の比較ができなくなる(去年の同じ日と比べる、など)

そして、③でコレクタを挟んだので、この3つを「アプリを触らずに」やれます。

さっきの otel-collector.yaml の processors: を、こう足します。

bash
$ cd ~/monitoring
$ nano otel-collector.yaml
processors:
  batch:
    timeout: 5s
  probabilistic_sampler:
    sampling_percentage: 10

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [probabilistic_sampler, batch]
      exporters: [debug, otlphttp/jaeger]

反映します。

bash
$ cd ~/monitoring
$ docker compose restart otel-collector
$ docker compose logs otel-collector | tail -n 10

この状態で curl を20回ほど叩いて、Jaeger の一覧を見てください。

bash
$ for i in $(seq 1 20); do curl -s -o /dev/null http://localhost:3000/api/tasks; done

20本叩いても、2本前後しか出てきません。

アプリは、20本ぶん送っています。 捨てているのはコレクタです。

これがコレクタを挟む2つ目の意味です。

お金と量の制御を、アプリの外に出せる。 「送る量を10%にする」を、アプリの再起動なしで決められます。

練習に戻すときは、sampling_percentage: 100 にして docker compose restart otel-collector してください。

サンプリングは、10 にした瞬間に9割を捨てます。 「あのエラーのトレースを見たい」と思ったときには、たいてい残っていません。 本番では、「エラーになったものは必ず残す」ような、結果を見てから決める方式(tail sampling)を使います。 ここでは扱いません。


⑦ アラートは「鳴らす条件」より「鳴らさない条件」

最初の監視の回で、こう書いて先送りにしました。

アラートを作り込むと、鳴りっぱなしになって無いのと同じになる。

自前でもSaaSでも、ここだけは道具が解決してくれません。 考え方を先に決めます。

鳴りすぎるアラートは、無いのと同じ

理由は技術ではなく、人間です。

  1. 鳴る
  2. 見に行く。何も起きていない
  3. 2〜3回繰り返す
  4. 見なくなる
  5. 本当の障害のときも、見なくなっている

アラートの品質は、鳴った回数ではなく「鳴ったとき人が動いた割合」で測る。

動かなかったアラートは、消すか、条件を直すかのどちらかです。 放置が一番悪いです。

症状で鳴らす。原因では鳴らさない

これが一番効いた考え方です。

❌ 原因で鳴らす✅ 症状で鳴らす
CPU使用率が80%を超えたAPIの応答が3秒を超えた
メモリの空きが500MBを切ったエラー率が5%を超えた
ディスクが70%になったこのままだと4時間でディスクが満杯になる
プロセスが再起動した利用者からのリクエストが失敗している

左側の何がまずいのか。

  • CPU が 80% でも、利用者が困っていないなら、それは正常です。 鳴らす意味がありません
  • 逆に、CPU が 20% でも利用者が待たされていることがあります。 DBを待っているときです。左側では気づけません
  • 原因の種類は無限にあります。 全部にルールを書くことはできません
  • 症状は数えるほどしかありません。 「遅い」「エラーが出る」「繋がらない」

利用者が困っていないなら、夜中に人を起こす理由はありません。

ディスクの行だけ、症状ではなく予告で鳴らしているのは、例外だからです。 満杯になってからでは手遅れなので、「いまの増え方だと、あと何時間で埋まるか」で鳴らします。 これも「症状の予告」であって、単なる閾値ではありません。

鳴らす前に決めておく3つ

決めること決めていないとどうなるか
誰に鳴らすか全員に鳴ると、全員が「誰かが見るだろう」と思う
鳴ったら何をするか見て、閉じて、終わる。 手順が書いていないアラートは、通知でしかない
どのくらい続いたら鳴らすか一瞬のスパイクで鳴る。 「5分続いたら」を付けるだけで激減する

3つ目は、この記事の中で一番すぐ効きます。

> 80% ではなく、> 80% が 5分続いたら。

この記事ではアラートのルールを実際には作りません。 理由は、鳴らす先(メール・チャット)を用意する話になり、この回の範囲を超えるからです。 考え方だけを持って帰ってください。


⑧ で、どちらを選ぶのか

判断の順番を、はっきり書きます。

あなたの状況私の答え
サーバー1台・自分だけ・学習中(いまここ)Prometheus + Grafana を自前で十分。 SaaSは要らない
サーバー1台・本番・24時間動く自前 + 外形監視だけ外に置く。 ②の穴だけ埋める
サーバー数台・自分ひとりで運用迷うところ。 運用の時間が惜しくなったらSaaS
仕事・チーム・夜中に人が起きるSaaS が現実的。 ただしログの量は最初に制御する
データを外に出せない決まりがある自前一択。 議論の余地なし

そして、このサイトの方針を書いておきます。

このサイトは、自前を続けます。

理由は「安いから」ではありません。

  • このサイトの目的は「仕組みが分かること」です。 SaaSは、分からなくても画面が出ます。それは今の私には向きません
  • VMは24時間動いていません。 ②の穴が、いまは実害になりません
  • 本番サイトはレンタルサーバーで、そこの監視は事業者がやっています
  • お金を払う判断は、「自分の時間が足りなくなってから」で間に合います。 ③で確かめた通り、後から替えられます

逆に、乗り換えると決める条件も、いま書いておきます。

  • 監視の面倒を見る時間が、アプリを作る時間より長くなったとき
  • 夜中に落ちて、朝まで気づかなかったことが、実害になったとき
  • サーバーが3台を超えて、Prometheus の設定を手で書くのが嫌になったとき

「まだ困っていないから、まだやらない」は、先送りではなく判断です。 困る条件を先に書いておけば、そうなったときに迷いません。


「外形監視だけ外に置く」の置き場所は、監視対象と同じ VM でなければ、小さなサーバーで足ります。たとえばシンVPSの大容量メモリプランは 1GB(1 コア・30GB)が 1 ヶ月 750 円〜36 ヶ月 451 円(2026 年 9 月 1 日の料金改定後の税込月額、2026-11 時点)で、無料のお試し期間は無く、最低利用期間は 3 ヶ月です。この記事では契約しませんが、「別の場所」が月数百円で用意できることは知っておいてください。

⑨ やりすぎない — 監視より先に、ログを見る習慣

ここまで4本の記事で、監視の道具を5つ立てました。 最後に、逆のことを書きます。

この4本を通して一番役に立ったのは、道具ではありませんでした。

「おかしいと思ったら、まずログを見る」という習慣です。

それまでの私は、こうでした。

  1. 動かない
  2. コードを読み返す
  3. なんとなく直してみる
  4. もう一度動かす

ログを、一度も見ていません。 答えが書いてあるのに読んでいませんでした。 これは道具では直りません。

だから、順番はこうです。

順番やることいつやるか
1エラーが出たら、まずログを最後まで読む今日から。道具は要らない
2journalctl と docker compose logs を打てるようにする今日から
3メトリクスを貯める(Prometheus)「いつから遅い?」に答えられなくなってから
4ログを1画面に集める(Loki)見に行く場所が3箇所を超えてから
5トレースを出す(OpenTelemetry)「どこが遅い」が分からなくなってから
6SaaSに移す自分で面倒を見きれなくなってから

この順番を飛ばすと、こうなります。

  • 道具は立っているが、誰も画面を開かない
  • アラートは鳴っているが、誰も見ない
  • 監視の維持に時間を取られて、アプリが進まない

監視は、増やすほど良くなるものではありません。 見る人がいて初めて意味を持ちます。

私は実際に、この記事の②で「6時間落ちていたことに気づかなかった」と書きました。 道具は5つあったのに、です。 足りなかったのは、6つ目の道具ではありませんでした。


つまずいたところ

症状原因と直し方
otel-collector が起動せず Restarting を繰り返すYAMLのインデント違いが大半。docker compose logs otel-collector に行番号付きで出ます
Error starting: port is already allocatedjaeger: の 4318 の公開を消していない。 compose.yaml を見直す
コレクタは上がるが、何も届かないアプリを --require 付きで起動していないか、古いプロセスが残っている(ps aux | grep app.js)
コレクタのログに TracesExporter が出るが Jaeger に出ないendpoint を http://localhost:4318 と書いた。 コレクタから見た Jaeger は http://jaeger:4318
exporters に書いたのに使われないservice: の pipelines: に名札を足していない。 定義と使用は別
叩いた数よりトレースが少ない⑥のサンプリングが効いています。 sampling_percentage: 100 に戻す
VMが重い・固まるメモリ不足。 docker compose stop loki promtail で空ける
Jaeger の画面が開かないSSHポートフォワードが切れている。 PowerShell の窓を閉じると切れます

一番時間を取られたのは、endpoint の書き方でした。

コレクタのログには TracesExporter が出ているのに、Jaeger の画面には何も出ません。 「送っている」と「届いている」が別だというのを、頭では分かっていたのに見落としました。

原因は、コレクタの設定にこう書いていたことでした。

  otlphttp/jaeger:
    endpoint: http://localhost:4318

コレクタもコンテナです。 コレクタにとっての localhost は、コレクタ自身です。自分に送っていました。

しかも、4318 は自分が受けている口なので、繋がってしまいます。 エラーにならず、静かにループしていたわけです。

前回、OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4318 は正しかったのです。 あれは「VMの上で直接動いているアプリ」から見た話でした。 localhost が誰を指すかは、書いた場所で変わります。

同じ間違いを、Grafana から Loki を呼ぶときにもやっています。 3回目です。 形を変えて、同じところで転んでいます。

もう1つ、debug エクスポータで助かった話も書いておきます。

debug を入れていなかったら、「コレクタまでは来ているのか、そもそも来ていないのか」が分かりませんでした。 切り分けの点を1つ増やすために、わざと2箇所へ送っていたのが効きました。

障害の切り分けは、「どこまで来ているか」を言えるかどうかで決まります。 障害対応の回でやった順番と、まったく同じです。


後片づけ

コレクタもメモリを使い続けます。使わないなら止めてください。

まず、いまどれだけ使っているか見ます。

bash
$ docker stats --no-stream
$ free -h

止めるだけなら、こうです。

bash
$ cd ~/monitoring
$ docker compose stop otel-collector

止めると、アプリからのトレースは届かなくなります。 4318 で待つ相手がいなくなるからです。 Jaeger に直接戻したいなら、compose.yaml の jaeger: に - "127.0.0.1:4318:4318" を書き戻して docker compose up -d してください。 このときも、アプリ側は1文字も変えません。 ③でやったことの逆をするだけです。

もう使わないなら、消します。

bash
$ cd ~/monitoring
$ docker compose stop otel-collector
$ docker compose rm -f otel-collector
$ docker image rm otel/opentelemetry-collector-contrib:0.104.0
$ rm otel-collector.yaml
$ docker system df

compose.yaml から otel-collector: の項目を消すのも忘れずに。 残っていると docker compose up -d で戻ってきます。

Jaeger も要らないなら、前回の後片づけと同じ手順で消せます。

②で止めたものを戻します。

bash
$ cd ~/monitoring
$ docker compose start prometheus loki promtail
$ docker compose ps
$ free -h

~/server と appdb、~/monitoring の Prometheus と Grafana は残してください。 続きの回で使います。


まとめ

  • 監視サーバーが落ちても、誰も教えてくれない。 平らなグラフは平和に見える
  • 監視の監視は、その監視と一緒に落ちない場所に置くしかない。 同じVMに足しても意味がない
  • 「無いデータに気づける」のが、SaaSの一番本質的な利点
  • 本体は道具ではなく計装。 アプリに何を出させるかを決めて書く作業が、一番替えにくい
  • OpenTelemetry Collector を挟むと、送り先はインフラ側の設定になる。 アプリは知らないままでいい
  • 実際に、アプリのコードも .env も1文字も変えずに、送り先を差し替えられた
  • exporters は複数書ける。 両方に送って比べてから切り替えられるので、「せーの」が要らない
  • 完全な自由ではない。 ダッシュボード・アラートの定義は書き直し、過去のデータは持って行けない
  • 自前とSaaSの分かれ目で、規模と関係なく効くのは2つ。 データを外に出せるかと、運用の手間を誰が持つか
  • 監視SaaSは「送った量」で増える。 アプリが元気なほど請求が増える
  • 一番跳ねるのはログ。 console.log を1行足すのはタダに見えて、タダではない
  • 量を減らす手は3つだけ(送る前に減らす・まびく・保持期間を短くする)。どれも何かを失う
  • サンプリングはコレクタでできる。 アプリを触らずに、送る量を10%にできる
  • Zabbix は古い Prometheus ではない。 監視対象が「動かない機械」か「増えたり消えたりするコンテナ」かの違い
  • pull は「落ちたことがすぐ分かる」、push は「外から入らなくていい」。 SaaSがほぼ push なのは後者の理由
  • 鳴りすぎるアラートは、無いのと同じ。 品質は回数ではなく「人が動いた割合」で測る
  • 症状で鳴らす、原因では鳴らさない。 原因は無限だが、症状は数えるほどしかない
  • > 80% ではなく > 80% が5分続いたら。 これだけで鳴る回数は激減する
  • 1台なら Prometheus + Grafana の自前で十分。 このサイトは自前を続ける
  • 乗り換える条件を先に書いておけば、そのときに迷わない
  • 監視は増やすほど良くなるものではない。 見る人がいて初めて意味を持つ
  • 道具より先に、「おかしいと思ったらログを最後まで読む」習慣

参考リンク


次に読む

この記事は 【第6段階】インフラとコンテナ の 21 / 25 本目です。

記事
← 前の記事作ると整えるは別の仕事 — PulumiとIaCの地図
→ 次の記事サーキットブレーカを自分で書かない — サービスメッシュ

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Monitoring
  • Datadog / New Relic / Zabbix / Splunk / Graylog — 自前かSaaSか
  • 計装(インストルメンテーション)が本体だという話

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次