tar・rsyncと「重い」の切り分け — オプションは3つでいい

tar・rsyncと負荷の切り分け。まとめたファイルの箱と同期を示す矢印、サーバーの状態メーター。

※本記事はアフィリエイト広告(PR)を含みます。

「重い」の原因は転送とは限りません。tarとrsyncを使いながら、どこが遅いのかを切り分けます。

前回: 名前空間とcgroups — コンテナの正体はカーネルの2機能 これは深掘りです。本線の順路ではありません。 Linuxの基本コマンド|移動・表示・検索・編集の4動作で覚える の続きとして、そこで扱わなかった「まとめる・圧縮する・運ぶ」と、障害対応の切り分け手順|わざと壊して原因を特定する演習 で扱った切り分けのうち 「落ちてはいないが重い」だけを正面から扱います。飛ばしても本線は進めます。

この記事のコマンドは、すべて Ubuntu の中で打ちます。 Windows の PowerShell ではありません。

この記事は、白状から始めます。

tar のオプションを、いまだに毎回ググっています。 -czf なのか -xzvf なのか、f はどこに置くのか。打つたびに検索して、コピーして、動いたので閉じる。 それを何十回も繰り返してきました。何十回やっても覚えられないので、たぶんこの先も覚えられません。

もうひとつ白状します。

「サーバーが重い」と言われたとき、何から見るか決まっていません。 とりあえず top を開いて、数字を眺めて、眺めただけで閉じます。 何を見れば「重い理由」に近づくのか、順番を持っていないからです。

この2つは、まったく別のことに見えて、原因が同じです。

どちらも「型を持っていない」だけ。 覚えていないから毎回調べるのではなく、分解していないから覚えられない。

tar は、分解すると覚えることが3つしかありません。 「重い」の切り分けも、順番を固定してしまえば、迷う場所が消えます。

この記事では、その2つの型を作ります。読むだけでなく、実際に圧縮率と時間を測り、実際に負荷をかけて数字が動くのを見ます。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • tar は「集める」だけで、圧縮はしていないこと。.tar と .tar.gz が別物な理由
  • 覚えるオプションは -c -x -t の3つだけで、残りは組み合わせであること
  • 展開する前に中身を見ないと、カレントディレクトリが散らかること(tar bomb)
  • rsync は末尾のスラッシュ1文字で結果が変わること。-n を付けずに打ってはいけない理由
  • 負荷平均(load average)は「CPUの混み具合」ではないこと。Linux ではディスク待ちも数に入る
  • free -h の free を見ても意味がないこと。見るのは available

この記事でやること

  1. tar を -c / -x / -t に分解して、展開前に必ず -t で中身を見る習慣を作る
  2. gzip / bzip2 / xz / zstd を同じデータで実測して、圧縮率と時間を並べる
  3. rsync -avn で 末尾スラッシュの有無を実演し、結果が変わるのを目で見る
  4. わざと CPU 負荷とディスク負荷をかけて、uptime → top → vmstat → iostat の数字を動かす
  5. 「重い」の切り分け順を1枚の分岐表にして、手元に残す

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
アーカイブ複数のファイルを1つのファイルにまとめたもの。まとめただけで、小さくはなっていない
圧縮データを小さくすること。まとめることとは別の作業。gzip などが担当する
tar bomb展開するとフォルダを作らずにカレントディレクトリへ大量のファイルをばらまくアーカイブ。事故のもと
負荷平均(load average)実行中+順番待ちのプロセスの平均数。1分・5分・15分の3つが出る。割合ではなく個数
スワップメモリが足りないとき、メモリの中身をディスクへ追い出す仕組み。使われ始めると急に遅くなる
wa(I/O wait)CPU がディスクの返事を待って何もしていない時間の割合。高い=CPUではなくディスクが原因
buff/cacheLinux が空きメモリを使って勝手に貯めているファイルの写し。必要になれば即座に手放すので、実質は空き
ドライラン(-n)実行せずに「何をするか」だけ表示するモード。rsync では必ず先にこれを打つ

準備 — 実験用のフォルダと道具

この記事は、消えて困らない実験用フォルダの中だけで完結させます。

bash
$ mkdir -p ~/arc-lab
$ cd ~/arc-lab
$ pwd
/home/ユーザー名/arc-lab

断りがない限り、以降のコマンドはこのフォルダの中で打ちます。 最後にフォルダごと消します。

使う道具をまとめて入れます。素の Ubuntu Server に入っていないものがあるためです。

bash
$ sudo apt update
$ sudo apt install -y bzip2 zstd zip unzip rsync sysstat htop iotop

入ったことを確かめます。

bash
$ tar --version | head -n 1
$ zstd --version
$ rsync --version | head -n 1
tar (GNU tar) 1.34
*** zstd command line interface 64-bits v1.4.8, by Yann Collet ***
rsync  version 3.2.7  protocol version 31

バージョンの数字は違って構いません。 3つとも何か返ってくれば準備完了です。

sysstat を入れると iostat が使えるようになります。 パッケージ名とコマンド名が違うので、apt install iostat では見つかりません。apt installの失敗は3種類しかない で書いた「名前が違う」のパターンです。

tar を、覚えるのをやめる

ここが今日の前半の要点です。 先に結論から書きます。

tar は圧縮しない。集めるだけ。 圧縮は、集めたあとに別のプログラムがやっている。

この1行を知らなかったので、覚えられませんでした。 tar を「圧縮コマンド」だと思っていると、-z や -J がなぜ必要なのか説明できないからです。説明できないものは、丸暗記するしかありません。

.tar と .tar.gz は、工程が違う

名前がそのまま工程を表しています。

拡張子何をしたか圧縮しているのは誰か
.tar集めただけ。小さくなっていない誰もしていない
.tar.gz(.tgz)集めて → gzip で圧縮gzip
.tar.bz2集めて → bzip2 で圧縮bzip2
.tar.xz集めて → xz で圧縮xz
.tar.zst集めて → zstd で圧縮zstd
.zip集めるのと圧縮を1つのプログラムがやるzip 自身

.tar.gz は「圧縮形式」ではありません。 .tar というファイルを作って、それを gzip にかけた結果です。だから拡張子が2段になっています。

確かめます。 まずネタになるファイルを作ります。

bash
$ cd ~/arc-lab
$ mkdir -p src/sub
$ echo "hello" > src/a.txt
$ echo "world" > src/sub/b.txt
$ ls -R src
src:
a.txt  sub

src/sub:
b.txt

集めるだけをやってみます。

bash
$ tar -cf plain.tar src
$ ls -l plain.tar
-rw-rw-r-- 1 user user 10240 Sep 20 10:12 plain.tar

中身は12バイトほどしかないのに、10240バイトになりました。 小さくなるどころか大きくなっています。

これが「集めるだけ」の証拠です。 tar は中身を512バイトの区切りで並べ、末尾に空白の詰め物を付けます。縮める処理が、どこにも入っていません。

次に、集めたものを別途 gzip にかけます。

bash
$ gzip -k plain.tar
$ ls -l plain.tar plain.tar.gz
-rw-rw-r-- 1 user user 10240 Sep 20 10:12 plain.tar
-rw-rw-r-- 1 user user   163 Sep 20 10:12 plain.tar.gz

163バイトになりました。 -k は「元のファイルを残す(keep)」です。付けないと plain.tar は消えます。

そして、これと同じものが tar -czf で一度に作れます。

bash
$ tar -czf oneshot.tar.gz src
$ ls -l oneshot.tar.gz

サイズはほぼ同じになります。 つまり -z は「gzip も呼んでおいて」という指示でしかありません。tar が圧縮しているのではなく、tar が gzip に渡しています。

オプション呼ばれるプログラム
-zgzip
-jbzip2
-Jxz
--zstdzstd

-z は zip ではありません。 ここを勘違いしていました。z は gzip の z です。

覚えるのは -c / -x / -t の3つだけ

残りは全部おまけです。 tar の1文字目に来る「何をするか」は、実質この3つしかありません。

文字意味覚え方
-c作る(create)create
-x展開する(extract)extract
-t中を見る(list)list

そして、必ず付ける相棒が -f です。

  • -f は「次に書くのがファイル名」という意味(file)
  • だから -f は必ず一番最後に置く。 -czf 名前 の並びが崩れないのはこのためです

型にすると、覚えるのはこの3行だけになります。

bash
$ tar -tf アーカイブ名                 # ① まず中を見る
$ tar -xf アーカイブ名 -C 展開先        # ② 展開する
$ tar -caf 作るファイル名 集める対象     # ③ 作る

③ の -a が効きます。 --auto-compress の略で、付けたファイル名の拡張子を見て、圧縮方法を自動で選びます。

bash
$ cd ~/arc-lab
$ tar -caf auto.tar.gz src
$ tar -caf auto.tar.xz src
$ tar -caf auto.tar.zst src
$ ls -l auto.tar.*
-rw-rw-r-- 1 user user 178 Sep 20 10:15 auto.tar.gz
-rw-rw-r-- 1 user user 216 Sep 20 10:15 auto.tar.xz
-rw-rw-r-- 1 user user 141 Sep 20 10:15 auto.tar.zst

-z も -J も --zstd も打っていません。 拡張子だけで切り替わりました。

-a を知ってから、圧縮方式のオプションを覚えるのをやめました。 tar -caf 名前.tar.gz 対象 の1本で済みます。名前を .tar.zst に変えるだけで方式が変わります。

展開も、実は方式を指定しなくて構いません。

bash
$ tar -tf auto.tar.xz
src/
src/a.txt
src/sub/
src/sub/b.txt

-J を付けていないのに読めました。 GNU tar はファイルの中身の先頭を見て、どの圧縮か自分で判定します。 つまり 展開側で圧縮方式を指定する必要は、ほぼありません。

やりたいこと打つもの
中を見るtar -tf 名前
展開するtar -xf 名前 -C 展開先
作るtar -caf 名前.tar.gz 対象

v(verbose、経過を出す)は好みで足します。 私は作るときだけ -cvaf にしています。展開時に -v を付けると、大量のファイル名が流れてエラーが埋もれるためです。

展開する前に、必ず -t で中身を見る

ここが今日いちばん実害のある話です。

tar の中身は、作った人が決めた構造で入っています。 そして tar -xf は、その構造をカレントディレクトリにそのまま吐き出します。

普通は、こうなっています。

src/
src/a.txt
src/sub/b.txt

先頭が全部 src/ で揃っています。 これなら展開しても src というフォルダが1つできるだけです。行儀のいいアーカイブです。

問題は、こうなっている場合です。

a.txt
b.txt
README
config.ini
...(200行)

フォルダで包まれていません。 これを展開すると、いま自分がいる場所に200個のファイルが直接ばらまかれます。 これが tar bomb です。

実際に作って、被害を見ます。

bash
$ cd ~/arc-lab
$ mkdir -p bomb-src
$ cd bomb-src
$ touch f01.txt f02.txt f03.txt f04.txt f05.txt
$ tar -caf ~/arc-lab/bomb.tar.gz *
$ cd ~/arc-lab

tar -caf ... * の * がポイントです。 フォルダ名ではなく中のファイルを直接指定したので、包みが付きません。

中を見ます。

bash
$ tar -tf bomb.tar.gz
f01.txt
f02.txt
f03.txt
f04.txt
f05.txt

先頭に共通のフォルダがありません。 これが危険な形です。

あえて散らかしてみます。 大事なファイルが1つ置いてある場所を用意します。

bash
$ mkdir -p ~/arc-lab/victim
$ cd ~/arc-lab/victim
$ echo "大事なメモ" > memo.txt
$ ls
memo.txt

ここで展開します。

bash
$ tar -xf ~/arc-lab/bomb.tar.gz
$ ls
f01.txt  f02.txt  f03.txt  f04.txt  f05.txt  memo.txt

memo.txt の隣に、5個が直接生えました。 5個ならまだ手で消せます。これが2000個で、しかも自分のファイルと名前が混ざっていたら、どれを消していいか分からなくなります。

しかも tar は、同名のファイルを黙って上書きします。 確かめます。

bash
$ cd ~/arc-lab/victim
$ echo "これは私が書いた内容" > f01.txt
$ cat f01.txt
$ tar -xf ~/arc-lab/bomb.tar.gz
$ cat f01.txt
これは私が書いた内容

そして展開後は、

(空。アーカイブの中の空ファイルで上書きされた)

警告も確認も出ません。 rmで消したものは戻らない と同じで、気づいたときには終わっています。

だから、-x の前に -t を打ちます。 見るのは1行目だけで足ります。 先頭に共通のフォルダ名が付いているかどうか。

先頭のフォルダだけを確認する型を作っておくと楽です。

bash
$ tar -tf bomb.tar.gz | head -n 3
f01.txt
f02.txt
f03.txt

種類が何個あるかを数えるなら、こう書けます。

bash
$ tar -tf bomb.tar.gz | cut -d/ -f1 | sort -u
f01.txt
f02.txt
f03.txt
f04.txt
f05.txt

cut -d/ -f1 は「/ で区切った1つ目」です(sortで10が9より前に来る で扱った道具です)。この出力が1行だけなら安全、行数が多ければ tar bomb と判断できます。

行儀のいいほうで確かめます。

bash
$ tar -tf auto.tar.gz | cut -d/ -f1 | sort -u
src

1行です。 展開しても src が1つできるだけだと、打つ前に分かります。

[スクリーンショット: 01_tar_t_bomb.png] tar -tf bomb.tar.gz | cut -d/ -f1 | sort -u が5行返り、tar -tf auto.tar.gz | cut -d/ -f1 | sort -u が1行しか返らない画面を撮ってください。この対比が「展開前に見る」の意味です。

-C で展開先を決める

中身が分からなくても、被害を出さない方法があります。 空のフォルダを作って、そこにだけ展開することです。

bash
$ cd ~/arc-lab
$ mkdir -p unpack
$ tar -xf bomb.tar.gz -C unpack
$ ls unpack
f01.txt  f02.txt  f03.txt  f04.txt  f05.txt

カレントディレクトリは汚れていません。

  • -C は「そのフォルダへ移動してから作業する」という意味(change directory)
  • 展開先のフォルダは、先に作っておく必要があります。 無いとエラーになります
bash
$ tar -xf bomb.tar.gz -C not-exist
tar: not-exist: Cannot open: No such file or directory
tar: Error is not recoverable: exiting now

このエラーは「フォルダを作れ」という意味です。 mkdir -p してから打ち直します。

私の型はこうなりました。 ①tar -tf で先頭を見る → ②空フォルダを作る → ③-C でそこに展開する。 中身が行儀よくても、空フォルダに入れて損はありません。

絶対パスで作られたアーカイブ

もう1段階まずいものがあります。 中身のパスが / から始まっているアーカイブです。

作ろうとすると、tar 自身が警告します。

bash
$ cd ~/arc-lab
$ tar -caf abs.tar.gz /home/$USER/arc-lab/src
tar: Removing leading `/' from member names

「先頭の / を取り除きました」と言っています。GNU tar は、既定で絶対パスを相対パスに直してから保存します。

中を見ると、/ が消えているのが分かります。

bash
$ tar -tf abs.tar.gz | head -n 2
home/ユーザー名/arc-lab/src/
home/ユーザー名/arc-lab/src/a.txt

なぜ消すのか。 もし / 付きのまま保存され、そのまま展開できてしまうと、展開した瞬間に本来のシステムの場所へ書き込まれるからです。設定ファイルの置き場所である /etc/ に上書きするアーカイブを、うっかり展開できてしまいます。

ただし、この警告に安心しきってはいけません。

  • -P(--absolute-names)を付けて作られたアーカイブは、/ を保ったまま入っています
  • 展開側でも -P を付けない限り展開時に先頭の / は落ちますが、../ を含むパスは油断できません

確認は、結局 -t です。

bash
$ tar -tf 受け取ったファイル | grep -E '^/|\.\./' | head

何も出なければ安全、出たら展開しない。grep で ^/(行頭のスラッシュ)と ../ を探しているだけです(2>&1 の順番で結果が変わる と同じ道具立てです)。

圧縮率と時間を、実際に測って比べる

「xz は小さい」「zstd は速い」と読んだことはありました。 ですが、自分の目で数字を並べたことがありませんでした。 ここで測ります。

まず、ネタになるデータを用意します。 実在するテキストの塊を使います。

bash
$ cd ~/arc-lab
$ mkdir -p bench
$ cp -r /usr/share/doc/. bench/ 2>/dev/null
$ du -sh bench
28M	bench

サイズは環境によって違います。 数MB以上あれば比較になります。極端に小さいと、どれも一瞬で終わって差が見えません。

測り方を決めます。 シェルの time を頭に付けると、かかった時間が出ます。

bash
$ cd ~/arc-lab
$ time tar -caf bench-gz.tar.gz bench
real	0m2.104s
user	0m1.985s
sys	0m0.212s
  • real は実際に待った時間(これを見ます)
  • user と sys は CPU が使われた時間

残りも同じように測ります。

bash
$ time tar -caf bench-bz2.tar.bz2 bench
bash
$ time tar -caf bench-xz.tar.xz bench
bash
$ time tar -caf bench-zst.tar.zst bench

xz は遅いです。 環境によっては1分以上かかります。止まったように見えても、待ってください。 どうしても待てないときは Ctrl + C で中断できます(できかけのファイルは消してください)。

並べて見ます。

bash
$ ls -l bench-*.tar.* | awk '{print $9, $5}'
$ du -sh bench
bench-bz2.tar.bz2 6712341
bench-gz.tar.gz 7431892
bench-xz.tar.xz 5238104
bench-zst.tar.zst 7102455
28M	bench

awk '{print $9, $5}' は「9列目と5列目だけ出す」です。ls -l の9列目がファイル名、5列目がバイト数にあたります。

手元で出た数字を表にしました。 この数字は環境で変わります。 大事なのは絶対値ではなく並び順です。

方式サイズかかった時間性格
gzip(.gz)大きめ速いどこでも展開できる。迷ったらこれ
bzip2(.bz2)中遅い今から選ぶ理由が薄い
xz(.xz)一番小さい一番遅い配布物向け。1回作って何万回展開されるもの
zstd(.zst)gzip と同等〜やや小一番速いことが多い毎日のバックアップ向け

[スクリーンショット: 02_compress_bench.png] 4方式の time の結果と、ls -l で並べたサイズが一緒に写っている画面を撮ってください。時間とサイズが逆向きに動いているのが見えます。

ここから読み取れることは、1つです。

圧縮は「時間」と「サイズ」の交換。 どちらが惜しいかで選ぶ。 「一番いい圧縮」は存在しない。

そして、圧縮率を自分で動かせます。 どの方式にもレベルがあります。

bash
$ cd ~/arc-lab
$ time tar -I 'gzip -1' -caf fast.tar.gz bench
$ time tar -I 'gzip -9' -caf slow.tar.gz bench
$ ls -l fast.tar.gz slow.tar.gz | awk '{print $9, $5}'

-I は「この命令に圧縮をやらせる」という意味です。-1 が最速・最弱、-9 が最遅・最強です。

数字はたいてい、こうなります。

fast.tar.gz 8021553
slow.tar.gz 7298844

時間は数倍違うのに、サイズは1割も変わりません。 これを見てから、バックアップは -1 側に寄せるようになりました。

zstd を使えるなら zstd にしています。 gzip -1 並みの速さで gzip -9 並みに縮むためです。 ただし、渡す相手の環境に zstd が無いと展開できません。 他人に渡すものは .tar.gz にしています。

zip と unzip — Windows とやり取りするとき

.tar.gz は、Windows の標準機能では開けません。 相手が Windows なら .zip を使います。

.zip は「集める」と「圧縮する」を1つのプログラムがやります。 そこが tar との構造の違いです。

作ります。

bash
$ cd ~/arc-lab
$ zip -r for-windows.zip src
$ ls -l for-windows.zip
  adding: src/ (stored 0%)
  adding: src/a.txt (stored 0%)
  adding: src/sub/ (stored 0%)
  adding: src/sub/b.txt (stored 0%)

-r は「フォルダの中も辿る」(recursive)です。これを忘れると、フォルダ名だけが入って中身が空になります。 tar は既定で中まで辿るので、ここが混乱しやすいところです。

中を見るのは -l(unzip -l)です。 tar -tf にあたります。

bash
$ unzip -l for-windows.zip
Archive:  for-windows.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  2026-09-20 10:22   src/
        6  2026-09-20 10:22   src/a.txt
        0  2026-09-20 10:22   src/sub/
        6  2026-09-20 10:22   src/sub/b.txt

展開先の指定は -d です。 tar の -C にあたります。文字が違うだけで、やることは同じです。

bash
$ mkdir -p unzipped
$ unzip -q for-windows.zip -d unzipped
$ ls unzipped
src

-q は「静かに」(quiet)です。

やりたいことtarzip / unzip
作るtar -caf 名前.tar.gz 対象zip -r 名前.zip 対象
中を見るtar -tf 名前unzip -l 名前
展開するtar -xf 名前 -C 先unzip 名前 -d 先

表にすると、覚えることが増えていないのが分かります。 「作る・見る・展開する」の3つは同じで、文字が違うだけです。

日本語のファイル名が化ける

ここが一番踏みやすい落とし穴です。

Windows で作られた zip の中の日本語ファイル名は、Linux で展開すると化けることがあります。 試せます。

bash
$ cd ~/arc-lab
$ mkdir -p jp && cd jp
$ touch "報告書.txt" "議事録.txt"
$ zip -r ../jp.zip .
$ cd ~/arc-lab
$ unzip -l jp.zip

Linux 同士なら、これは化けません。 化けるのは、Windows の古いソフトで作られた zip を Linux で開いたときです。

理由は圧縮ではなく、文字の表し方です。

zip の仕様には、ファイル名の文字コードを書く場所が長いあいだ無かった。 作った側は Shift_JIS(CP932)で書き、読む側は UTF-8 だと思って読む。 だから化ける。

壊れているのではありません。 文字化けは壊れたのではない — 文字コードとUTF-8 で扱ったのとまったく同じ現象です。同じバイト列を、違う対応表で読んでいるだけです。

Linux 側での対処は、読むときに対応表を指定することです。

bash
$ unzip -O cp932 -l jp.zip

-O は「ファイル名の文字コードはこれだと思って読め」という指定です。環境によっては -O が使えないビルドがあります。 そのときは -I を試すか、convmv を入れて展開後に名前を直します。

一番確実な対処は、作る側で決めることです。

bash
$ zip -r -UN=UTF8 for-windows.zip src

-UN=UTF8 は「ファイル名を UTF-8 で書き、そう書いたと印を付ける」という指定です。現在の Windows はこの印を読めます。

もっと確実なのは、日本語のファイル名を使わないことです。 私は、他人に渡すアーカイブの中身は半角英数字だけにしました。 文字コードの事故は、起きてからでは名前を直すしかなく、直す作業が一番面倒だからです。

差分バックアップの道具 — rsync

tar は「その瞬間を丸ごと固める」道具です。 毎日全部を固め直すのは無駄です。変わったところだけ運ぶのが rsync です。

rsync は「コピー」ではなく「同じ状態にする」道具。 相手に既にあるものは送らない。だから2回目以降が速い。

まず -n を付けて、実行しないで確かめる

rsync を打つ前に、必ずこれを覚えてください。

bash
$ rsync -avn 送り元 送り先
  • -a … アーカイブモード。中身も権限も更新時刻もそのまま運ぶ
  • -v … 何を運ぶか表示する(verbose)
  • -n … 実行しない(dry-run)。表示だけして、1バイトも書かない

-n を外すのは、表示された内容に納得してからです。 rsync は送り先を消す使い方(--delete)ができるため、打ち間違いが即データ消失になります。

末尾のスラッシュ1文字で、結果が変わる

これが rsync で一番有名な事故です。 実演します。

bash
$ cd ~/arc-lab
$ mkdir -p rs/src/sub
$ echo "a" > rs/src/a.txt
$ echo "b" > rs/src/sub/b.txt
$ mkdir -p rs/dst1 rs/dst2
$ ls -R rs

スラッシュ無しで、まず確認だけします。

bash
$ rsync -avn rs/src rs/dst1/
sending incremental file list
src/
src/a.txt
src/sub/
src/sub/b.txt

sent 152 bytes  received 25 bytes  354.00 bytes/sec

出力の先頭に src/ が付いています。

次に、送り元の末尾にスラッシュを付けます。

bash
$ rsync -avn rs/src/ rs/dst2/
sending incremental file list
./
a.txt
sub/
sub/b.txt

sent 140 bytes  received 27 bytes  334.00 bytes/sec

src/ が消えて、中身が直接並びました。

実際に流して、目で確かめます。

bash
$ rsync -a rs/src rs/dst1/
$ rsync -a rs/src/ rs/dst2/
$ find rs/dst1 rs/dst2
rs/dst1
rs/dst1/src
rs/dst1/src/a.txt
rs/dst1/src/sub
rs/dst1/src/sub/b.txt
rs/dst2
rs/dst2/a.txt
rs/dst2/sub
rs/dst2/sub/b.txt

dst1 にはフォルダごと、dst2 には中身だけが入りました。 打ったコマンドの違いは、スラッシュ1文字だけです。

書き方意味結果
rsync -a src dst/src というフォルダを dst の下へdst/src/a.txt
rsync -a src/ dst/src の中身を dst の下へdst/a.txt

覚え方はこれで定着しました。

末尾のスラッシュは「中身」という意味。 付ければ中身、付けなければ箱ごと。

[スクリーンショット: 03_rsync_slash.png] rsync -avn rs/src rs/dst1/ と rsync -avn rs/src/ rs/dst2/ の出力が並んで写っている画面を撮ってください。先頭に src/ が出るかどうかだけが違います。

送り先の末尾スラッシュは、どちらでも結果が変わりません。 変わるのは送り元だけです。ただし、私は両方に必ず付けるようにしました。 「付いているかどうか」を毎回考えるより、「送り元に付ける形しか書かない」と決めたほうが事故りません。

2回目が速いことを確かめる

bash
$ rsync -a --stats rs/src/ rs/dst2/ | grep -E 'Number of|Total transferred'
Number of files: 4
Number of created files: 0
Number of regular files transferred: 0
Total transferred file size: 0 bytes

転送は0件です。 送り先と中身が同じだと分かったので、何も送っていません。 ファイルを1つ変えて打ち直すと、そのファイルだけが転送されます。

bash
$ echo "変えた" >> rs/src/a.txt
$ rsync -a --stats rs/src/ rs/dst2/ | grep -E 'transferred'
Number of regular files transferred: 1
Total transferred file size: 12 bytes

1件だけになりました。 これが「差分バックアップ」の中身です。

--delete は、送り元に無いものを送り先から消します。 本当に鏡にしたいときだけ使います。必ず -n を付けて、消える一覧を読んでから外してください。

tar と rsync の使い分け

使う場面道具
その瞬間を1ファイルに固めて残したい(世代を取る、人に渡す)tar
2箇所を同じ状態に保ちたい(毎日、変わった分だけ)rsync

両方使うのが普通です。 私は rsync で毎日同期し、週に1回 tar で固める形にしました。

rsync の運び先が同じ VM の中では、「変わったところだけ運ぶ」ありがたみが分かりにくいものです。シンVPSのようにディスクを多く積む「スタンダードプラン」を持つ VPS を 1 台用意し、手元の VM から毎日 rsync で送って 2 回目以降の速さと転送量を見比べる方法があります。2026年9月1日改定後の料金(税込・月額換算)は大容量メモリプランの 2GB で 1 ヶ月契約 1,040 円〜36 ヶ月契約 950 円で、ストレージ増設オプションは後から解約できない点に注意が要ります。

「サーバーが重い」を切り分ける型

ここからが後半です。 前半と同じで、先に順番を固定してしまいます。

「重い」の切り分けは、6段階を上から順に。 考えて選ばない。 毎回同じ順で打つ。

順打つもの何が分かるか
1uptimeそもそも混んでいるのか。混んでいなければアプリ側の話
2top / htopCPU なのか、メモリなのか、犯人プロセスは誰か
3vmstat 1待ちの種類。CPU待ちか、ディスク待ちか、スワップか
4iostat -x 1 / iotopどのディスクが、誰のせいで詰まっているか
5ss -s / ss -tan接続が溜まっていないか。待ち行列があふれていないか
6journalctl -p err -bOSが何か言っていないか。OOM、I/Oエラー、サービスの落ち

この順番には理由があります。

  • 1 → 2 は「全体 → 個別」。全体が混んでいないのに top を眺めても、見るべき行が分かりません
  • 2 → 3 は「見えるもの → 見えないもの」。top は CPU とメモリを見せますが、ディスク待ちは見えにくい
  • 6 が最後なのは、ログは「原因の記録」であって「現在の状態」ではないから。先に状態、あとで記録

この順番は、障害対応は切り分けの順番がすべて で作った「止まった」の切り分けとは別物です。 あちらは 落ちたもの を探す型、こちらは 落ちていないのに遅いもの を探す型です。

わざと重くしてから、数字を見る

負荷がかかっていない状態で vmstat を見ても、何も学べません。 自分で重くします。

実験の前に、VM のスナップショットを取ってください。 本記事の負荷は元に戻せるものだけですが、戻せる状態を用意してから壊すのが、このサイトの原則です。

まず、平常時の値を控えます。

bash
$ uptime
$ nproc
 10:31:02 up 2 days,  3:12,  1 user,  load average: 0.02, 0.05, 0.01
2
  • load average の3つは、左から 1分・5分・15分の平均
  • nproc は CPU のコア数。この2つは必ずセットで見ます

負荷平均の読み方 — 割合ではなく個数

ここを誤解していました。 load average: 2.00 を見て「200%」だと思っていました。違います。

負荷平均は、実行中+順番待ちのプロセスの「個数」。 上限は100ではない。 8でも50でも出る。

だから、単体では意味が読めません。 コア数と比べて初めて意味が出ます。

負荷平均 と コア数読み方
負荷平均 < コア数余裕がある。全員すぐ動けている
負荷平均 ≒ コア数ちょうど埋まっている。これ以上増えると待ちが出る
負荷平均 > コア数待ち行列ができている。コア数の2倍なら、平均して半分が待っている

2コアで 2.00 なら満杯、8コアで 2.00 なら余裕です。同じ数字が正反対の意味になります。

そしてもう1つ、Linux 固有の重要な事実があります。

Linux の負荷平均には、ディスクの返事を待っているプロセスも入る。 だから CPU が暇でも、負荷平均だけが跳ね上がることがある。

これを知らないと、「負荷平均20なのに top の CPU が 5% しかない、計器が壊れている」で止まります。 壊れていません。ディスク待ちを数えているだけです。この場合、CPU を増やしても何も直りません。

3つの数字の並びも情報です。

並び読み方
1分 > 15分(例: 4.0, 1.5, 0.6)いま悪化中。原因はまだ動いている
1分 < 15分(例: 0.5, 2.0, 3.8)山は過ぎた。すでに終わった何かの残り
3つとも同じくらい高いずっとこの状態。恒常的に足りていない

「重い」と言われて駆けつけたとき、最初に見るのはここです。 すでに山を越えているなら、いま top を眺めても何も出ません。

CPU で重くする

yes コマンドを走らせます。 何もせず永遠に y を出し続けるだけのコマンドで、CPU を1コア分きっちり使います。

bash
$ nproc
$ yes > /dev/null &
$ yes > /dev/null &
$ jobs
[1] 3812
[2] 3813
[1]-  Running                 yes > /dev/null &
[2]+  Running                 yes > /dev/null &

> /dev/null は「出力を捨てる」、末尾の & は「後ろで動かす」です。これを付けないと画面が y で埋まります。

30秒ほど待ってから、uptime を見ます。

bash
$ uptime
 10:33:40 up 2 days,  3:14,  1 user,  load average: 1.84, 0.71, 0.25

1分の値だけが上がっています。 平均なので、すぐには最大値に届きません。 ここも大事な性質です。「負荷平均が低いから問題ない」は、始まったばかりの障害では通用しません。

top で犯人を見ます。

bash
$ top -b -n 1 | head -n 12
top - 10:34:02 up 2 days,  3:14,  1 user,  load average: 1.92, 0.83, 0.29
Tasks: 118 total,   3 running, 115 sleeping,   0 stopped,   0 zombie
%Cpu(s): 98.2 us,  1.5 sy,  0.0 ni,  0.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :   1975.4 total,    112.3 free,    486.1 used,   1377.0 buff/cache
MiB Swap:   2048.0 total,   2048.0 free,      0.0 used.
  PID USER      PR  NI  %CPU  %MEM     TIME+ COMMAND
 3812 user      20   0  99.7   0.0   1:38.12 yes
 3813 user      20   0  99.3   0.0   1:37.55 yes

-b -n 1 は「対話画面を出さずに1回だけ表示する」です。記事やログに貼るならこの形が便利です。普段は htop のほうが読みやすいです。

3行目の %Cpu(s) が今日の主役です。

記号意味高いときに疑うもの
usユーザー空間(アプリ本体)アプリの処理そのもの。犯人プロセスが top の上に出る
syカーネル空間システムコールが多すぎる。大量のファイル操作や通信
id何もしていない(idle)ここが高いのに遅いなら、CPU は原因ではない
waディスク待ちディスク。ここが主役の場合が多い
st他の仮想マシンに取られたクラウド側の混雑。自分では直せない

いまは us が98%です。 アプリが CPU を食い切っている、と読めます。

vmstat 1 — 待ちの種類を見る

top では分かりにくい「何を待っているか」を見ます。

bash
$ vmstat 1 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 2  0      0 114892  74320 1336104    0    0     3     8   62  103 98  2  0  0  0
 2  0      0 114892  74320 1336104    0    0     0     0   85  142 99  1  0  0  0
 2  0      0 114884  74320 1336104    0    0     0     0   79  133 98  2  0  0  0

vmstat 1 5 は「1秒ごとに5回」という意味です。1行目は起動からの平均なので読み捨てます。 2行目以降を見ます。

見る場所は5つだけです。

列意味判断
rCPU を待っているプロセス数コア数より大きい状態が続く=CPU不足
bI/O を待って止まっているプロセス数0でない状態が続く=ディスクが詰まっている
si / soスワップの読み / 書き(KB/秒)0以外が動いている=メモリ不足。最優先で対処
waディスク待ちの割合高い=CPUではなくディスク
csコンテキストスイッチ回数極端に多い=プロセスの切り替えで消耗している

いまは r が2、wa が0です。CPU の取り合いだけが起きていて、ディスクは暇。 数字が症状と一致しました。

CPU 負荷を止めます。

bash
$ kill %1 %2
$ jobs
$ uptime

kill %1 は「ジョブ番号1を止める」です。jobs が空になれば止まっています。

kill -9 から打たないのは、kill -9 を最初に打たない で書いた通りです。まず普通の kill です。

ディスクで重くする — wa を動かす

今度は wa を動かします。 ディスクに、キャッシュを使わせずに書き込みます。

bash
$ cd ~/arc-lab
$ dd if=/dev/zero of=./big.bin bs=1M count=512 oflag=dsync
512+0 records in
512+0 records out
536870912 bytes (537 MB, 512 MiB) copied, 41.2 s, 13.0 MB/s
  • if=/dev/zero … ゼロを無限に吐く読み元
  • of=./big.bin … 書き先。必ず実験用フォルダの中を指定してください
  • oflag=dsync … 1回ごとにディスクへ書き終わるまで待つ。これが wa を作ります

of= は絶対に間違えないでください。 デバイス名(/dev/sda など)を書くとディスクの中身が破壊されます。 必ず ./ で始まるファイル名にしてください。

別のターミナルをもう1つ開いて(VS CodeからVMを直接編集する で用意した接続でも構いません)、走っている最中に vmstat を見ます。

bash
$ vmstat 1 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  1      0  98244  74512 1349880    0    0     0 12284  912 1544  1  6 42 51  0
 0  2      0  97880  74512 1350104    0    0     0 13108  988 1602  1  7 38 54  0

さっきと、まるで違います。

  • b が1〜2(I/O を待って止まっているプロセスがいる)
  • bo が1万超(ブロックの書き出しが大量に起きている)
  • wa が50%前後(CPU は待つだけで何もしていない)
  • us は1%(アプリは何も計算していない)

この状態で「CPU が足りない」と判断すると、CPU を増やしても1ミリも速くなりません。

[スクリーンショット: 04_vmstat_wa.png] dd を走らせている最中の vmstat 1 で、wa が50前後・us が1桁になっている画面を撮ってください。CPU が忙しくないのに重い、が数字で見えます。

iostat と iotop — どのディスクか、誰のせいか

wa が高いと分かったら、次はディスクを名指しします。

bash
$ iostat -x 1 3
Device            r/s     w/s     rkB/s     wkB/s  aqu-sz  %util
sda              0.00  128.00      0.00  13108.00    1.02  98.40

見るのは2つです。

列意味
%utilそのディスクが働いていた時間の割合。100に近い=もう限界
aqu-sz待ち行列の平均の長さ。1を大きく超える=捌ききれていない

%util が98%。 このディスクが原因だと確定しました。

%util は SSD では読み方が変わります。 SSD は同時に複数の要求を処理できるので、%util 100% でもまだ余裕があることがあります。 aqu-sz と実際の待ち時間のほうが信用できます。

「誰のせいか」は iotop です。

bash
$ sudo iotop -o -b -n 3
  • -o … 実際に I/O しているプロセスだけ表示する
  • -b -n 3 … 対話画面を出さず3回表示する
Total DISK READ :       0.00 B/s | Total DISK WRITE :      12.48 M/s
   TID  PRIO  USER  DISK READ  DISK WRITE  COMMAND
  4211  be/4  user    0.00 B/s   12.48 M/s  dd if=/dev/zero of=./big.bin ...

dd が名指しされました。 sudo が要ります。 他人のプロセスの I/O は、一般ユーザーからは見えません。

dd が終わったら、作ったファイルを消します。

bash
$ ls -lh ~/arc-lab/big.bin
$ rm -f ~/arc-lab/big.bin
$ df -h /

df -h / で空き容量が戻ったことを確認してください。 消しても空き容量が戻らない で書いた通り、開いたままのプロセスがあると戻りません。

ss — 接続が溜まっていないか

Web サーバーが重いとき、詰まっているのがディスクではなく「接続」のことがあります。

bash
$ ss -s
Total: 214
TCP:   38 (estab 12, closed 14, orphaned 0, timewait 14)

まず総数を見ます。 ここが平常時の何倍にもなっていたら、接続が捌けずに溜まっています。

中身を見ます。

bash
$ ss -tan | head
State    Recv-Q  Send-Q   Local Address:Port    Peer Address:Port
LISTEN   0       511            0.0.0.0:80           0.0.0.0:*
ESTAB    0       0          192.168.1.50:22      192.168.1.10:52233
TIME-WAIT 0      0          192.168.1.50:80      203.0.113.9:41022
  • -t … TCP だけ / -a … 待ち受けも含める / -n … 名前を引かずに数字で出す(速い)
  • LISTEN 行の Send-Q は、待ち行列の上限。上の例では511
  • LISTEN 行の Recv-Q が0でない=アプリが受け取りきれずに溜まっている

状態ごとに数えると、傾向が一発で分かります。

bash
$ ss -tan | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn
     14 TIME-WAIT
     12 ESTAB
      6 LISTEN

sort | uniq -c は「数えて並べる」型です(sortで10が9より前に来る で作った型がそのまま使えます)。

目立つ状態疑うもの
TIME-WAIT が数万短い接続を大量に作っている。接続の使い回しができていない
ESTAB が異常に多い処理が終わらず掴んだまま。アプリ側かデータベース側で詰まっている
LISTEN の Recv-Q > 0アプリが受け取りに来ていない。ワーカーが足りない
SYN-RECV が多い相手からの応答が返っていない。ネットワークかファイアウォール(ufwで開けたのに繋がらない)

journalctl -p err — OS が何か言っていないか

最後にログです。 状態を全部見たあとに読みます。

bash
$ journalctl -p err -b --no-pager | tail -n 20
  • -p err … エラー以上だけ(priority)。情報ログを全部読む必要はありません
  • -b … 今回の起動以降だけ(boot)
  • --no-pager … ページャに入らず、そのまま出す

何も出なければ、OS は文句を言っていません。 それも情報です。

特に探すのは、この3つです。

bash
$ journalctl -b --no-pager | grep -iE 'oom|killed process|I/O error' | tail
出るもの意味
Out of memory: Killed process ...メモリ不足で OS がプロセスを殺した。落ちたプロセスは犯人とは限らない
I/O error / blk_update_requestディスクそのものが壊れかけている。設定では直らない
... entered failed stateサービスが落ちている(Afterは依存関係ではない)

症状ごとの分岐表

上の6段階を、症状から引ける形にまとめます。 これが今日の後半の成果物です。

見えている症状いちばん疑うもの次に打つもの
負荷平均が高い + us が高いアプリの計算そのものtop で上位プロセス → そのアプリのログ
負荷平均が高い + wa が高いディスクiostat -x 1 → sudo iotop -o
負荷平均が高い + sy が高いシステムコールの嵐(大量のファイル・通信)top で犯人 → strace -c -p PID
負荷平均が高いのに top の CPU は暇ディスク待ちを数えているvmstat 1 の b と wa
si / so が動いているメモリ不足でスワップ中free -h → top を %MEM で並べ替え
st が高い(クラウド)物理ホストが混んでいる自分では直せない。インスタンスを変える
どの数字も平常なのに遅いサーバーの外(DNS、相手先API、回線)ss -tan → 相手先への curl -w で時間を測る
突然だけ遅くなる定期処理(バックアップ、cron)journalctl --since でその時刻を見る

最後の行が地味に効きます。 「毎日3時だけ重い」は、ほぼ確実に誰かが仕掛けた定期処理です(cronは動かなくても何も言わない)。

メモリが足りないのか、キャッシュなのか

free -h を初めて見たとき、「空きが100MBしかない、もうだめだ」と思いました。 間違いでした。

bash
$ free -h
               total        used        free      shared  buff/cache   available
Mem:           1.9Gi       486Mi       112Mi       1.0Mi       1.3Gi       1.2Gi
Swap:          2.0Gi          0B       2.0Gi

free は112MiB しかありません。 でも available は1.2GiB あります。 この差が buff/cache です。

Linux は、空いているメモリを遊ばせない。 一度読んだファイルの写しを溜めておいて、次に読むときに速くする。 アプリが必要と言えば、その瞬間に手放す。

つまり buff/cache は、実質的に空きです。

見る場所意味
free本当に何も使っていない分。これが少なくても問題ない
buff/cacheキャッシュに使っている分。必要なら即返される
availableこれから使える見込み。見るのはここだけでいい

判断は、この2つだけです。

  1. available が total に対して十分あるか
  2. Swap の used が増えているか

available が数十MiBまで減っていて、Swap の used が増えていたら、本当のメモリ不足です。

スワップが動いているかは、vmstat の si / so が確実です。

bash
$ vmstat 1 3
  • si(swap in) … ディスクからメモリへ戻している
  • so(swap out) … メモリからディスクへ追い出している

Swap: used が0でなくても、si / so が0なら急ぎません。 過去に追い出されて、そのまま置いてあるだけです。いま動いているかどうかが分かるのは si / so だけです。

si / so が常時動いている状態は、他のどんなチューニングより優先して直します。 メモリがディスクに置き換わっている状態なので、すべてが数百倍遅くなります。

メモリを食っている犯人は、top を %MEM で並べ替えると出ます。

bash
$ ps aux --sort=-%mem | head -n 6
USER  PID %CPU %MEM    VSZ   RSS COMMAND
mysql 921  0.4 18.2 1284560 368204 /usr/sbin/mysqld
www-d 744  0.0  2.1  212344  42800 nginx: worker process

--sort=-%mem は「メモリ使用率の降順」です。RSS が「実際にメモリ上にある量(KB)」で、VSZ は「確保を予約した量」なので、大きくても慌てなくて構いません。

[スクリーンショット: 05_free_available.png] free -h の出力で free が少なく available が多い状態を撮ってください。この2つの差がキャッシュです。

ログをまとめて集める — 前半と後半が繋がるところ

ここで、前半の tar が効いてきます。

障害のときにいちばんやってはいけないのは、「調べる前に再起動する」こと。 再起動すると、原因の証拠がほとんど消えます。

再起動する前に、証拠を固めます。 何を保存するかを、先に決めておきます。

保存するもののチェックリスト

取るものコマンドなぜ必要か
その瞬間の全体像uptime、free -h、df -hあとから絶対に再現できない
プロセス一覧ps auxf犯人が生きているうちにしか撮れない
CPU / IO の推移vmstat 1 30、iostat -x 1 101回の値では傾向が読めない
接続の状態ss -tanp再起動で消える
その時間帯のログjournalctl --since ...全期間だと大きすぎて読めない
サービスの状態systemctl status サービス名落ちていたかどうかの証拠
設定ファイル該当ファイルをコピー直したあとでは「直す前」が消えている

収集を1本のスクリプトにする

障害の最中に、この一覧を思い出しながら打つのは無理です。 1本にまとめます。

bash
$ mkdir -p ~/arc-lab/collect
$ nano ~/arc-lab/collect.sh

次の内容を書きます。

bash
#!/bin/bash
  set -uo pipefail

  STAMP="$(date +%Y%m%d-%H%M%S)"
  OUT="$HOME/arc-lab/collect/$STAMP"
  mkdir -p "$OUT"

  {
    echo "=== date ==="; date
    echo "=== uptime ==="; uptime
    echo "=== nproc ==="; nproc
  } > "$OUT/00-summary.txt" 2>&1

  free -h            > "$OUT/01-free.txt"     2>&1
  df -h              > "$OUT/02-df.txt"       2>&1
  ps auxf            > "$OUT/03-ps.txt"       2>&1
  vmstat 1 30        > "$OUT/04-vmstat.txt"   2>&1
  iostat -x 1 10     > "$OUT/05-iostat.txt"   2>&1
  ss -tanp           > "$OUT/06-ss.txt"       2>&1
  journalctl -p err -b --no-pager > "$OUT/07-journal-err.txt" 2>&1
  journalctl --since "-30 min" --no-pager     > "$OUT/08-journal-30min.txt" 2>&1

  tar -caf "$HOME/arc-lab/collect-$STAMP.tar.gz" -C "$OUT/.." "$STAMP"
  echo "保存しました: $HOME/arc-lab/collect-$STAMP.tar.gz"

書けたら Ctrl + O → Enter → Ctrl + X で保存します。

実行できるようにして、走らせます。

bash
$ chmod +x ~/arc-lab/collect.sh
$ ~/arc-lab/collect.sh
保存しました: /home/ユーザー名/arc-lab/collect-20260920-104512.tar.gz

vmstat 1 30 と iostat -x 1 10 があるので、40秒ほどかかります。 待つ時間そのものが、推移を撮っている時間です。

中身を、覚えたばかりの型で確かめます。

bash
$ tar -tf ~/arc-lab/collect-*.tar.gz
20260920-104512/
20260920-104512/00-summary.txt
20260920-104512/01-free.txt
...

先頭が全部、時刻のフォルダで揃っています。 行儀のいいアーカイブになりました。-C "$OUT/.." と "$STAMP" の組み合わせで、この形を作っています。

スクリプトの書き方は 空白入りのファイル名でforが割れる の通りです。 変数は全部 " で囲み、set -uo pipefail を付けています。 set -e を付けていないのは、途中のコマンドが1つ失敗しても、残りの証拠を集め続けてほしいからです。目的が違えば、外す判断もあります。

journalctl --since で、その時間帯だけ切り出す

「昨日の夜に重かった」と言われたときは、全期間を読みません。

bash
$ journalctl --since "2026-09-19 21:00" --until "2026-09-19 23:00" --no-pager | wc -l
1842

行数を先に数えます。 数万行なら、まずエラーだけに絞ります。

bash
$ journalctl --since "2026-09-19 21:00" --until "2026-09-19 23:00" -p err --no-pager

相対指定もできます。

bash
$ journalctl --since "-1 hour" --no-pager | tail -n 40
$ journalctl --since yesterday --until today -p warning --no-pager | wc -l
書き方意味
--since "-30 min"30分前から
--since yesterday昨日の0時から
--since "2026-09-19 21:00"時刻を直接指定
-u サービス名そのサービスの分だけ
-p errエラー以上だけ

journalctl は、再起動すると読めなくなることがあります。 既定では、メモリ上にしか保持しない設定の環境があるためです。永続化されているかは、/var/log/journal があるかで判断できます。 無ければ sudo mkdir -p /var/log/journal で作って再起動すると残るようになります。

つまずいたところ

tar を「圧縮コマンド」だと思っていたのが、全部の原因でした。 そう思っている限り、-z は「なぜか付ける文字」でしかありません。集めるのと圧縮するのが別だと知った途端、拡張子が工程の記録に見えるようになりました。 覚えられなかったのは記憶力の問題ではなく、意味が無い状態で覚えようとしていたからです。

-a(--auto-compress)を、この記事を書くまで知りませんでした。 何十回 tar を検索しても、出てくるのは -czf の例ばかりでした。検索は「みんなが書いていること」を返すので、みんなが知らないものは出てきません。 man tar を最初から読んだら、20分で見つかりました。 公式ドキュメントは読まずに引く で書いた通りです。

tar bomb は、実際に踏んでから知りました。 ホームディレクトリで展開して、自分のファイルの中に数十個の見知らぬファイルが混ざりました。 消そうとして、どれが元からあったものか分からなくなりました。 結局、混ざったものを1つずつ確認して消すのに30分かかりました。 tar -tf は3秒です。

rsync の末尾スラッシュは、「知っている」つもりで間違えました。 頭では分かっているのに、急いでいるときに src と src/ を打ち分けられませんでした。 -n を必ず先に打つ、と決めてから間違えなくなりました。 理解ではなく手順で防ぎました。

負荷平均を「%」だと思っていました。 load average: 8.20 を見て「820%?」と混乱し、そこで思考が止まりました。個数だと知り、コア数と比べるものだと知って初めて、数字が読めるようになりました。 そして、ディスク待ちが入ることを知らなかったせいで、「CPU は暇なのに負荷平均が高い」を計器の故障だと思い込んでいました。

free -h の free を見て焦るのも、長いことやっていました。 見るのは available の1列だけだと分かってからは、free -h を打つ回数そのものが減りました。見る場所が決まると、打つ回数が減ります。

そして一番痛かったのは、「重い」と言われて top を開き、眺めて、閉じたことです。 何を探しているか決めていなかったので、どんな数字が出ても判断できませんでした。 順番を紙に書いてから、top の3行目を必ず読むようになりました。 道具を増やしたのではなく、順番を1つ決めただけです。

後片づけ

この記事で作ったものを消します。

まず、負荷をかけたものが残っていないか確認します。

bash
$ jobs
$ pgrep -a yes
$ pgrep -a dd

何か出たら止めます。

bash
$ pkill yes
$ pkill dd
$ pgrep -a yes

pgrep -a が何も返さなければ止まっています。

pkill dd は、名前が dd のプロセスを全部止めます。 他に大事な dd を動かしていないことを確認してから打ってください。

次に、実験用フォルダを消します。 消す前に必ず中身を見ます。

bash
$ cd ~
$ ls ~/arc-lab
$ du -sh ~/arc-lab

サイズを確認してから消します。

bash
$ rm -rf ~/arc-lab
$ ls ~ | grep arc-lab

何も出なければ消えています。

空き容量が戻ったことを確かめます。

bash
$ df -h /

戻っていなければ、まだファイルを開いたままのプロセスがいます(消しても空き容量が戻らない)。

入れた道具は、残しておくことをおすすめします。 どれも障害のときに使うものです。消したいときはこれです。

bash
$ sudo apt remove iotop htop sysstat zstd
$ sudo apt autoremove

rsync と zip / unzip は残してください。 これから頻繁に使います。

rm -rf は、ホームディレクトリの中の、自分で作ったフォルダにだけ使います。

まとめ

  • tar は集めるだけで、圧縮していない。 .tar.gz は「集めたものを gzip にかけた」という工程の記録
  • 覚えるのは -c(作る)/ -x(展開)/ -t(見る)の3つ。 -f は「次がファイル名」なので必ず最後
  • -a(--auto-compress)を使えば、圧縮方式を覚える必要が無い。 拡張子で切り替わる
  • 展開の前に必ず tar -tf。 | cut -d/ -f1 | sort -u が1行なら安全、複数行なら tar bomb
  • 展開は空フォルダを作って -C で入れる。 中身が行儀よくても、そうする
  • 絶対パスは GNU tar が既定で落とすが、頼り切らない。 grep -E '^/|\.\./' で確認する
  • 圧縮は時間とサイズの交換。 配る物は xz、毎日のバックアップは zstd か gzip -1、人に渡すなら .tar.gz
  • zip は -r が要る。 中を見るのは unzip -l、展開先は -d。やることは tar と同じ3つ
  • zip の日本語ファイル名の化けは、圧縮の問題ではなく文字コードの問題。 作る側で -UN=UTF8、確実なのは日本語名を使わないこと
  • rsync は必ず -avn から。 表示に納得してから -n を外す
  • 末尾スラッシュは「中身」の意味。 付ければ中身、付けなければ箱ごと。変わるのは送り元だけ
  • 「重い」は6段階で上から順に。 uptime → top → vmstat 1 → iostat / iotop → ss → journalctl -p err
  • 負荷平均は割合ではなく個数。 コア数と比べて初めて意味が出る。 Linux ではディスク待ちも数に入る
  • vmstat は5列だけ見る。 r(CPU待ち)、b(I/O待ち)、si / so(スワップ)、wa(ディスク待ち)
  • wa が高いなら CPU を増やしても直らない。 iostat -x の %util と aqu-sz、sudo iotop -o で名指しする
  • free -h は available だけ見る。 buff/cache は実質空き。 スワップは used ではなく si / so が動いているか
  • 再起動する前に証拠を固める。 収集はスクリプト1本にして、tar で1ファイルにまとめる
  • ログは journalctl --since で時間帯を切る。 全部読もうとすると読めない

この記事の前半と後半は、別の話に見えて同じことでした。 どちらも「毎回考えていたことを、考えなくていい形にした」だけです。tar は3つ、切り分けは6段階。 判断を減らすほど、急いでいるときに間違えなくなります。


【深掘り】Linux は、残り1本(次の記事の nano と Vim)で終わりです。

ファイル操作から始めて、検索、パイプ、systemd、ディスク、権限、プロセス、テキスト処理、パッケージ、IPとルーティング、ファイアウォール、シェルスクリプト、そしてアーカイブと切り分けまで来ました。本線のLinuxの回で「そう書くもの」として通り過ぎたものを、ひとつずつ壊しながら確かめ直した記録です。 全部を覚えている必要はありません。「あれはどこかで壊してみた」と思い出せれば、そのとき戻ってくれば足ります。 次の1本を読んだら、本線の順路に戻ってください。このコースは、必要になったときに引く場所として残しておきます。

参考リンク


次に読む

この記事は 【深掘り】Linux の 17 / 18 本目です。

記事
← 前の記事名前空間とcgroups — コンテナの正体はカーネルの2機能
→ 次の記事nanoとVimでサーバーのファイルを直す — Vimから出られないのは仕様

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Linux — Archiving & Troubleshooting
  • tar / zip / rsync
  • 「重い」を切り分ける順番

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次