辞書順では10が9より前に来ます。cut・awk・sort・uniqでログを集計しながら確かめます。
前回: find・locate・whichで探す — 3部構成で組み立てる これは深掘りです。本線の順路ではありません。 サーバーの中身はテキスト — grep・sed・awkとvim の続きとして、そこで
{print $1}とsort | uniq -cだけ触れた道具を、正面から並べ直します。飛ばしても本線は進めます。この記事のコマンドは、すべて Ubuntu の中で打ちます。 Windows の PowerShell ではありません。
nginx を立ててから、こういう時間が増えました。
ログを開いて、上から1行ずつ目で追っている。
「たぶん同じIPが何回も来ている」と思って、画面をスクロールして、数を頭の中で数えて、途中で分からなくなってもう一度スクロールする。200行でこれです。 本番のログは1日で数万行になります。
本線のテキスト処理の回で、この形は一度書きました。
これで「一番多いIP」は出ます。 ただ、あのときは「こう書けば出る」という型として渡しました。sort がなぜ2回出てくるのか、なぜ -nr なのか、uniq の前に sort が要るのはなぜか、説明していません。
そして、型を1つ覚えただけでは、少し違うことを聞かれた瞬間に止まります。
- 「404 だけの件数は?」
- 「1リクエストあたりの平均バイト数は?」
- 「そのIPは社内のどのPCか、別の表と突き合わせて出して」
どれも、目でやると10分かかり、道具を知っていると1行です。
道具を10個知ると、目で追っていた作業が1行になる。
この記事でやるのは、その10個をそろえることです。grep と sed は本線でやったので、残りの「切る・数える・並べる・貼る」を埋めます。
対象レベル: 中級〜上級 / 区分: 発展
この記事でわかること
cutとawkは同じではないこと。cutの区切りは1文字固定で、空白が2個並ぶと壊れるsortは既定で「文字として」比べること。だから10が9より前に来るuniqは隣り合う行しか見ないこと。だからsortしてからでないと数を間違えるjoinは事前ソートが必須で、しかも黙って行を落とすこと- ロケール(
LC_ALL)でsortの結果が変わること。速さも変わる
この記事でやること
seqとawkで、練習用のアクセスログ200行を自分で作る- 同じデータに
cutとawkを両方かけて、結果が違うところを見る awkを「条件 { 処理 }」として読み直し、合計と平均を出すsortの-n-h-k-t-r-uと、uniqの-c-d-uを1つずつ試す- よく使う集計3つを1行で書き、そのあと1段ずつ分解して確かめる
先に知る言葉
この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。
| 言葉 | 意味 |
|---|---|
| 区切り文字(デリミタ) | 1行を列に分けるときの目印。空白・カンマ・コロンなど。cut -d や awk -F で指定する |
| フィールド | 区切り文字で分けたあとの、それぞれの列。awk では左から $1 $2 … |
| 辞書順(文字列比較) | 1文字目から順に文字コードで比べる並べ方。数字の大小とは違う結果になる |
| 連想配列 | 番号ではなく文字をキーにして値を覚えられる入れ物。awk の count["1.2.3.4"] がこれ |
| ロケール | 言語と文字の扱いの設定。並べ替えの順番もここで決まる。LC_ALL で一時的に変えられる |
| 標準エラー | コマンドが警告やエラーを出す口。パイプの先には流れず、画面にだけ混ざる |
練習用のログを、自分で作る
他人のログや、サーバーに元から入っているログは使いません。 環境ごとに中身が違い、記事と同じ結果になりません。自分で作れば、誰の環境でも1文字まで同じになります。
作業用のフォルダを1つ作って、その中だけで作業します。
seq で連番を作る
1
2
3
4
5
seq は連番を出すだけのコマンドです。 これを awk に流し込んで、1行ずつログの形に変換します。
awk でログの形に変える
そのまま貼り付けてください。中身は次の節から説明します。
乱数を使っていません。 n を 12・13・11 で割った余りで選んでいるだけなので、何回実行しても、誰の環境でも、まったく同じ200行ができます。乱数にすると記事の出力例と合わなくなるので、わざと外しています。
できたか確認します。
200 access.log
192.168.1.10 - - [18/Sep/2026:10:00:01 +0900] "GET /index.html HTTP/1.1" 200 237
192.168.1.10 - - [18/Sep/2026:10:00:02 +0900] "GET /index.html HTTP/1.1" 200 374
192.168.1.10 - - [18/Sep/2026:10:00:03 +0900] "GET /index.html HTTP/1.1" 200 511
200 access.log と出れば成功です。 違う数字が出たら、貼り付けの途中で改行が抜けています。rm access.log してから貼り直してください。
1行の形は、本線と同じです。
| 位置 | 中身 |
|---|---|
| 1列目 | どのIPから来たか |
| 4〜5列目 | 日時 |
| 7列目 | どのページを見に来たか |
| 9列目 | 結果の番号(200 成功 / 301 移動 / 404 無い / 500 サーバー側の故障) |
| 10列目 | 送ったバイト数 |
この1本のファイルだけで、この記事の全部をやります。
列で切る — cut と awk は同じではない
「1列目だけ欲しい」には、2通りの書き方があります。
192.168.1.10
192.168.1.10
192.168.1.10
同じ結果です。 ここまでは、どちらでも構いません。
読み方はこうです。
| 書き方 | 意味 |
|---|---|
cut -d' ' -f1 | -d で区切り文字を指定(ここは空白1個)、-f で何列目かを指定 |
awk '{print $1}' | 空白で区切って、1つ目を表示 |
cut は複数の列も、範囲も指定できます。
192.168.1.10 /index.html 200
192.168.1.10 /index.html 200
192.168.1.10 /index.html 200
200 237
200 374
200 511
-f1,7,9 はカンマ区切りで飛び飛び、-f9-10 はハイフンで範囲です。文字数で切る -c もあります。
192.168.1.10
192.168.1.10
桁が揃っているデータなら、これが一番速いです。
空白が2個並んだ瞬間に壊れる
ここからが本題です。 集計結果を、いったんファイルに落とします。
84 192.168.1.10
51 203.0.113.7
33 192.168.1.22
16 198.51.100.9
16 198.51.100.4
このファイルから「件数だけ」を取り出します。 件数は1列目なので、素直に書くとこうなります。
何も出ません。 空行が5行出るだけです。
awk なら出ます。
84
51
33
16
16
同じ「1列目」を指定したのに、結果が違います。
理由: 区切りが「1文字」か「区切りのかたまり」か
ip-count.txt の中身を、空白が見える形で表示します。
84 192.168.1.10$
51 203.0.113.7$
cat -A は、行末を $ で、タブを ^I で表示します。 先頭に空白が5個並んでいるのが見えます。uniq -c が件数の桁を揃えるために、右詰めで空白を詰めているからです。
ここで両者の考え方が分かれます。
| 区切りの扱い | 先頭に空白が5個あるとき | |
|---|---|---|
cut -d' ' | 空白1個ごとに1つの区切り | 1〜5列目がすべて空文字。件数は6列目になる |
awk | 連続した空白をまとめて1つの区切り。行頭・行末の空白は無視 | 件数が素直に $1 |
確かめます。
84
51
33
16
16
6列目を指定すると出ました。 cut が壊れていたのではなく、「空白が5個あるので、空の列が5つある」と正しく数えていただけです。
cutは区切り文字が1文字固定。awkは連続する空白をまとめる。 人が読むために整形されたテキスト(桁揃え・インデント)は、cutでは切れません。 逆に、,や:できっちり1個ずつ区切られたデータはcutのほうが速く、書くのも短いです。
使い分け
| 場面 | 使うもの |
|---|---|
CSV、: 区切りのユーザー一覧、桁が固定のデータ | cut |
| 空白の数が揃っていないテキスト、コマンドの出力 | awk |
| 条件で行を選びたい、計算したい | awk(cut にはできない) |
どうしても cut を使いたいときは、先に空白を潰します。
84
51
33
16
16
tr -s ' ' は「連続する空白を1個にまとめる」という意味です。ただし先頭の空白も1個は残るので、-f1 ではなく -f2 になります。この面倒さが、awk を使う理由そのものです。
[スクリーンショット: 01_cut_vs_awk.png] cut -d' ' -f1 ip-count.txt と awk '{print $1}' ip-count.txt を続けて実行した画面を撮ってください。同じ「1列目」なのに、片方が空になっているのが要点です。
awk は「条件 { 処理 }」でできている
本線では {print $1} だけを渡しました。awk の文法は、実はこれだけです。
awk '条件 { 処理 }' ファイル
- 条件を省くと、全行が対象(本線でやった
{print $1}がこれ) - 処理を省くと、条件に合った行をそのまま表示
203.0.113.7 - - [18/Sep/2026:10:00:07 +0900] "GET /login HTTP/1.1" 404 1059
192.168.1.22 - - [18/Sep/2026:10:00:08 +0900] "GET /login HTTP/1.1" 404 1196
203.0.113.7 - - [18/Sep/2026:10:00:18 +0900] "GET /style.css HTTP/1.1" 404 2566
{print $0} を書かなくても出ます。 これは grep 404 とほぼ同じに見えますが、決定的に違います。
37
36
1件ずれました。 grep は行のどこかに 404 があれば拾うので、送ったバイト数が 404 の行まで数えています。awk は「9列目が 404 の行」しか拾いません。
grepは行を探す。awkは列を見る。 ステータスコードのような列の意味が決まっているものは、awkで列を指定するのが正しい形です。
覚える変数は4つ
| 変数 | 意味 |
|---|---|
$1 $2 … | 左から数えた列。$0 は行全体 |
NF | その行の列数(Number of Fields)。$NF は一番右の列 |
NR | いま何行目か(Number of Records)。END の中では総行数 |
FS | 区切り文字。-F で外から指定できる |
1 10 237
2 10 374
3 10 511
「行番号・列数・一番右の列」が出ました。$NF は「10列目」と書かなくてよいので、列数が行ごとに違うデータで効きます。
NF は、壊れた行を探すのにも使えます。
何も出なければ、200行すべてが10列です。解析を始める前に、形が揃っているか確かめる1行として使えます。
BEGIN と END
| ブロック | いつ動くか |
|---|---|
BEGIN { } | 1行も読む前に1回 |
END { } | 全行を読み終わったあとに1回 |
合計と平均を出します。
合計: 316700
平均: 1583.5
変数は宣言しなくていい(sum は 0 から始まります)、END の中の NR は総行数になる。この2つを知っていれば平均が出せます。
条件と組み合わせれば、絞ってから平均が出せます。
成功 128 件 平均 1307.6 バイト
printf は print と違って改行を自分で書きます(\n)。%d が整数、%.1f が小数第1位まで、%s が文字です。桁を揃えて出したいときだけ使えば十分です。
BEGIN は、見出しを付けたり、区切り文字を指定したりするのに使います。
-F で区切り文字を変える
空白以外で区切られたデータには -F を付けます。まず、カンマ区切りのファイルを作ります。
192.168.1.10,200
192.168.1.10,200
192.168.1.10,200
tr ' ' ',' は「空白を全部カンマに置き換える」です。tr は1文字を1文字に置き換えるだけの道具で、sed より単純なぶん速く、書き間違えにくいです。
これを awk -F, で読みます。
128 200
36 404
18 500
18 301
count[$2]++ が連想配列です。 「$2 の値をキーにして、1ずつ足す」という意味で、これだけで集計ができます。
for (c in count)の順番は決まっていません。 出てくる順番はawkの実装(Ubuntu 既定のmawkと、gawk)で変わります。だから最後にsortに流しています。awkの出力順を当てにしないでください。
同じことを、区切りを指定せずに元のログへ直接書けます。
84 192.168.1.10
51 203.0.113.7
33 192.168.1.22
16 198.51.100.9
16 198.51.100.4
sort | uniq -c を使わずに、同じ集計ができました。 行数が多いときは、並べ替えないぶんこちらが速いです。ただし読んで分かりやすいのは sort | uniq -c なので、私は普段そちらを使います。
[スクリーンショット: 02_awk_sum.png] awk '{sum += $10} END {print "合計:", sum; print "平均:", sum/NR}' access.log の結果を撮ってください。
sort の罠 — 10 が 9 より前に来る
sort は、何も指定しないと「文字として」比べます。
1
10
11
12
2
3
4
5
6
7
8
9
10 11 12 が 2 より前に来ました。
理由は単純で、1文字目から順に比べているからです。10 と 2 を比べるとき、1文字目が 1 と 2 なので、1 のほうが小さい。そこで決着がついて、2文字目は見ません。
これは
sortのバグではなく、既定が「辞書順」だというだけです。 電話帳で「あきら」が「あさひ」より前に来るのと同じ理屈で並べています。
数字として並べたいなら -n を付けます。
1
2
3
4
5
6
7
8
9
10
11
12
本線で sort -nr と書いていた -n は、これです。 付け忘れると、9件のIPが、10件のIPより上に来ます。 そしてエラーは出ません。黙って間違った順に並びます。
-h — 1G と 900K を正しく並べる
サイズの表記には K M G が付きます。これは -n でも正しく並びません。
10M
1G
2M
512K
900K
めちゃくちゃです。 -h(human-readable)を付けます。
512K
900K
2M
10M
1G
du -h や ls -lh の結果を並べ替えるときは、必ず -h です。「容量を食っているフォルダを探す」ときに必ず要ります。
-k — 何列目で並べるか
-k は「何列目をキーにするか」です。
84 192.168.1.10
33 192.168.1.22
16 198.51.100.4
16 198.51.100.9
51 203.0.113.7
2列目(IP)の文字順に並びました。
-k2は「2列目だけ」ではなく「2列目から行末まで」という意味です。 2列目だけで比べたいときは-k2,2と書きます。「並べたつもりが、後ろの列まで比較に入っていた」は、ここが原因です。
列ごとに指定を変えられます。
16 198.51.100.4
16 198.51.100.9
33 192.168.1.22
51 203.0.113.7
84 192.168.1.10
-k1,1n は「1列目だけを数値として」という意味です。n を -k の指定の後ろに直接付けられます。
2段階の並べ替えも書けます。
「まず件数の多い順、同じ件数ならIPの文字順」です。同点をどう並べるかを決めておくと、実行するたびに順番が変わることがなくなります。
-t — 区切り文字を指定する
sort の既定の区切りも空白です。CSV なら -t で変えます。
192.168.1.10,200
198.51.100.4,301
203.0.113.7,404
192.168.1.22,500
-t, でカンマ区切り、-k2,2 で2列目、-u で「キーが同じ行は1つだけ残す」。結果として「出てきたステータスコードの一覧」になりました。
-uは-kと組み合わせると「指定したキーが同じ行」を落とします。 行全体が同じでなくても落ちます。上の結果でIPがバラバラなのはそのためです。便利ですが、消える行があることを分かって使ってください。
まとめ
| 指定 | 意味 | 忘れると |
|---|---|---|
-n | 数値として比べる | 10 が 9 より前に来る |
-h | K M G を理解して比べる | 1G が 2M より前に来る |
-r | 逆順(大きい順) | 上位が下に埋もれる |
-k2,2 | 2列目だけをキーにする | 後ろの列まで比較に混ざる |
-t, | 区切り文字を変える | カンマ区切りが1列扱いになる |
-u | キーが同じ行を1つだけ残す | — |
[スクリーンショット: 03_sort_number.png] sort nums.txt と sort -n nums.txt を続けて実行した画面を撮ってください。10 が 2 より前に来ているほうが写っているのが要点です。
uniq は隣り合う行しか見ない
uniq の思い込みを、ここで潰します。
4 192.168.1.10
3 203.0.113.7
2 192.168.1.22
1 198.51.100.4
1 198.51.100.9
「一番多いIPは4件」…にはなっていません。 本当は84件です。
uniq は、いま読んだ行と、その1つ前の行しか比べません。 同じIPがログの後ろのほうにもう一度出てきても、間に別のIPが挟まっていれば、別のかたまりとして数え直します。
だから、先に sort で同じ行を隣同士に集めます。
84 192.168.1.10
33 192.168.1.22
16 198.51.100.4
16 198.51.100.9
51 203.0.113.7
これが正しい件数です。
sort | uniqはセットで書く。 例外は「もともと並んでいると分かっているファイル」だけです。uniq単体は、エラーを出しません。 少ない数字を、それらしく返してきます。気づけないのが一番こわい種類の間違いです。
-c -d -u の使い分け
小さいファイルで見ると分かりやすいです。
3 sato
2 suzuki
1 tanaka
1 yamada
sato
suzuki
tanaka
yamada
| 指定 | 出るもの | 使う場面 |
|---|---|---|
-c | 件数を頭に付けて、重複をまとめる | ランキング |
-d | 2回以上出た行だけ | 重複を探す(IDの重複、設定の二重定義) |
-u | 1回しか出なかった行だけ | 例外を探す(1回だけ来たIP、1回だけ出たエラー) |
-i | 大文字小文字を区別しない | 表記ゆれのあるログ |
-d と -u は、-c より使う場面が具体的です。 「重複を見つけたい」は -d、「珍しいものを見つけたい」は -u。
行を切り出す
列の次は、行です。
head と tail
head は先頭から、tail は末尾から。既定はどちらも10行です。
tail には、先頭を捨てる書き方もあります。
192.168.1.10 - - [18/Sep/2026:10:00:03 +0900] "GET /index.html HTTP/1.1" 200 511
192.168.1.10 - - [18/Sep/2026:10:00:04 +0900] "GET /style.css HTTP/1.1" 200 648
-n +3 は「3行目から最後まで」です。CSV の見出し行を捨てるときの定番です。
tail -f — 増える行を見張る
ログを見るときに、一番使います。
自分で追記して確かめます。
最初に3行が出て、そのまま止まったように見えます。 3秒待つと、こう増えます。
192.168.1.10 - - [18/Sep/2026:10:00:01 +0900] "GET /index.html HTTP/1.1" 200 237
192.168.1.10 - - [18/Sep/2026:10:00:02 +0900] "GET /index.html HTTP/1.1" 200 374
192.168.1.10 - - [18/Sep/2026:10:00:03 +0900] "GET /index.html HTTP/1.1" 200 511
あとから追記された行
Ctrl + C で抜けてください。 tail -f は自分では終わりません。
( ... ) &は「カッコの中を裏で動かす」書き方です。ここでは「3秒後に追記する係を裏に置いた」とだけ分かれば十分です。
tail -f をパイプに繋ぐと、しばらく何も出ないことがあります。 これはパイプとリダイレクトの回で書いたバッファリングです。grep --line-buffered を使ってください。
sed -n で範囲を抜く
本線で少しだけ触れた形を、もう一度。
198.51.100.4 - - [18/Sep/2026:10:00:10 +0900] "GET /admin HTTP/1.1" 301 1470
198.51.100.9 - - [18/Sep/2026:10:00:11 +0900] "GET /about.html HTTP/1.1" 200 1607
192.168.1.10 - - [18/Sep/2026:10:00:12 +0900] "GET /favicon.ico HTTP/1.1" 200 1744
192.168.1.10 - - [18/Sep/2026:10:00:13 +0900] "GET /index.html HTTP/1.1" 200 1881
-n が「勝手に出すな」、p が「この行は出せ」。エラーが「157行目」と言ってきたときに、その周りだけ見るのに使います。
head と tail を繋いでも同じことができます。
結果は同じですが、sed -n のほうが行番号をそのまま書けるぶん間違えにくいです。
nl で行番号を付ける
1 sato
2 suzuki
3 sato
4 tanaka
5 suzuki
6 sato
7 yamada
cat -n とほぼ同じですが、nl は空行に番号を振らないのが既定です。設定ファイルを人に見せて「何行目を直して」と伝えるときに使います。
wc で数える
200 2000 16015 access.log
左から「行数・単語数・バイト数」です。覚えるのはこの3つの指定です。
| 指定 | 数えるもの |
|---|---|
-l | 行数 |
-w | 単語数 |
-c | バイト数 |
-l 以外を使う場面は少ないですが、wc -c は「ファイルが空かどうか」を機械的に判定するのに使えます。
列を貼る・混ぜる
paste — 2つのファイルを横に並べる
192.168.1.10 84
203.0.113.7 51
192.168.1.22 33
198.51.100.9 16
198.51.100.4 16
paste は行番号だけで貼り合わせます。 1行目と1行目、2行目と2行目。中身は一切見ません。
区切りを変えるなら -d です。
192.168.1.10,84
203.0.113.7,51
192.168.1.22,33
198.51.100.9,16
198.51.100.4,16
paste は速くて単純ですが、「行がずれていたら黙って間違った組み合わせを作る」のが弱点です。中身で突き合わせたいなら join です。
join — キーで突き合わせる。事前ソートが必須
IPと持ち主の対応表を作ります。
まず、失敗するほうをやります。 件数の多い順のまま突き合わせてみます。
192.168.1.10 84 office-pc
join: bad.txt:3: is not sorted: 192.168.1.22 33
203.0.113.7 51 unknown
join: input is not in sorted order
5行あるはずが、2行しか出ていません。 そして、「並んでいない」という警告は出ているのに、コマンド自体は結果を返します。
joinの最大の罠がこれです。 止まらない。落ちた行の一覧も出ない。 警告を読み飛ばすと、行が減ったことに気づかないまま集計を続けることになります。
正しくは、両方のファイルを、突き合わせるキーで並べてから渡します。
192.168.1.10 84 office-pc
192.168.1.22 33 office-note
198.51.100.4 16 guest-a
198.51.100.9 16 guest-b
203.0.113.7 51 unknown
5行そろいました。 「どのPCが何回アクセスしてきたか」が1つの表になりました。
sort -o hosts.txt hosts.txt は「並べ替えた結果を同じファイルに書く」という書き方です。パイプの回で見たとおり、sort hosts.txt > hosts.txt と書くとファイルが空になります。 sort にだけは、それを安全にやる -o があります。
キーが1列目でないときは、番号を指定します。
-1 が左のファイルの何列目、-2 が右のファイルの何列目。既定はどちらも1列目です。
joinを使うときのチェックリスト 1. 両方のファイルをキー列でsortしたか 2. 両方を同じロケールでsortしたか(次の節で扱います) 3. 結果の行数が、期待した行数と一致するか(wc -lで必ず数える)
[スクリーンショット: 04_join.png] ソート前の join bad.txt hosts.txt と、ソート後の join counts-by-ip.txt hosts.txt を続けて実行した画面を撮ってください。行数が違うのが要点です。
tr — 1文字を1文字に置き換える
192_168_1_10
192168110
192.168.1.10 - - [18/SEP/2026:10:00:01 +0900] "GET /INDEX.HTML HTTP/1.1" 200 237
| 書き方 | 意味 |
|---|---|
tr 'a' 'b' | a を b に置き換える |
tr -d 'x' | x を消す |
tr -s ' ' | 連続する空白を1個にまとめる |
tr 'a-z' 'A-Z' | 小文字を大文字に |
tr はファイル名を引数に取れません。 必ず < かパイプで流し込みます。Windows で作ったファイルの改行コードを落とす tr -d '\r' が、実務では一番使う場面です。
tee — 途中経過をファイルに残す
84 192.168.1.10
51 203.0.113.7
33 192.168.1.22
200 sorted-ip.txt
tee は、流れてきたものをファイルに書きながら、そのまま右へ流します。 長いパイプで「途中で何がおかしくなったか」を見るときに挟みます。詳しくはパイプとリダイレクトの回で扱いました。
ファイルを分ける・空白を整える
split — 大きいファイルを分割する
part_aa part_ab part_ac part_ad
60 part_aa
60 part_ab
60 part_ac
20 part_ad
200 total
-l 60 は「60行ずつ」、part_ は作るファイル名の頭です。-b 10M と書けばバイト数で分けられます。
巨大なログをエディタで開けないときや、添付ファイルの上限に引っかかるときに使います。戻すのは cat です。
200 joined.log
part_aa part_ab … という名前が、辞書順に並ぶように作られているので、cat part_a* でそのまま元に戻ります。
column -t — 桁を揃えて読む
192.168.1.10 84 office-pc
192.168.1.22 33 office-note
198.51.100.4 16 guest-a
198.51.100.9 16 guest-b
203.0.113.7 51 unknown
列が揃って、一気に読めるようになりました。
column が入っていないと言われたら、入れます。
column -tは「人が読む」ためだけに使ってください。 空白を足して桁を揃えるので、この出力をもう一度cut -d' 'に流すと、この記事の山場①と同じことが起きます。 整形は、パイプの一番最後です。
expand / unexpand — タブと空白を入れ替える
a^Ibb^Iccc$
a bb ccc$
^I がタブです。 expand はタブを空白に、unexpand は空白をタブに変えます。
「見た目は揃っているのに cut で切れない」とき、正体はタブであることがよくあります。cat -A で見て ^I が出たらタブ。cut -f は既定の区切りがタブなので、その場合は -d を付けないほうが動きます。
定番の組み合わせ3つ
ここまでの道具を、実際の形にします。 まず1行を丸ごと出して、そのあと1段ずつ分解します。
1. アクセス数の多いIP順
84 192.168.1.10
51 203.0.113.7
33 192.168.1.22
1段ずつ、途中で切って確かめます。
192.168.1.10
192.168.1.10
192.168.1.10
1段目: IPの列だけにする。 200行の「IPだけのリスト」になりました。
2段目: 並べ替える。 見た目はあまり変わりませんが、同じIPが全部隣同士に集まりました。 uniq はこれが無いと数えられません。
3段目: まとめて数える。 5行になりました。ただしIPの文字順で、多い順ではありません。
4段目: 件数の数字で、大きい順に並べ直す。 ここで -n を忘れると、84 より 16 が上に来ます。
5段目の head -n 3 は、上位3件だけ残す。 以上です。
sortが2回出てくる理由が、これで分かります。 1回目はuniqのための下ごしらえ(同じものを隣に集める)、2回目は結果を読むための並べ替え(件数の多い順)。目的がまったく違います。
2. エラー行だけ抜いて件数を出す
36 404
18 500
分解します。
404
404
404
1段目: 「9列目が400以上の行の、9列目」だけを出す。 grep では「400以上」は書けません。数の比較ができるのが awk を使う理由です。
あとは1つ目と同じ、sort | uniq -c | sort -nr です。
どのIPがエラーを出しているかも、列を変えるだけです。
21 192.168.1.10
18 203.0.113.7
9 192.168.1.22
3 198.51.100.9
3 198.51.100.4
さらに、エラーになったURLとの組み合わせで見ます。
12 404 /index.html
9 404 /style.css
6 500 /index.html
print に2つ並べると、その組み合わせで数えられます。 「どのページで、どのエラーが、何件」。これが実際の障害調査の1行目です。
3. 重複行を見つける
設定ファイルの二重定義や、IDの重複を探す形です。
sato
suzuki
「2回以上出たものだけ」です。件数も欲しいなら -c を足します。
3 sato
2 suzuki
逆に「1回しか出ていないもの」は -u です。
tanaka
yamada
ログで言えば「1回だけアクセスしてきたIP」で、珍しいものを探すのに使います。
何も出なければ、全部のIPが2回以上来ているということです。
ロケールで結果が変わる
最後に、知らないと原因が絶対に分からないものを1つ。
Apple
Banana
apple
banana
cherry
apple
Apple
banana
Banana
cherry
同じファイル、同じコマンド、結果が違います。
| 指定 | 並べ方 |
|---|---|
LC_ALL=C | 文字コードの番号順。大文字(A は 65)が小文字(a は 97)より全部先 |
LC_ALL=en_US.UTF-8 | 人間の辞書順。大文字小文字をまとめて a A b B と並べる |
もし2つの結果が同じだったら、
en_US.UTF-8がその環境に用意されていません。確認と追加はこうします。locale -a | grep -i en_US sudo locale-gen en_US.UTF-8無いロケールを指定しても、
sortはエラーを出さずにCとして動きます。 これも「黙って結果が変わる」側です。
いまの自分の設定は locale で見えます。
ここで効いているのが LC_COLLATE(並べ替えの規則)です。
なぜこれが事故になるか
さっきの join です。
- 自分の端末(
en_US.UTF-8)でファイルAをsortした - スクリプトの中(
C)でファイルBをsortした joinに渡した → 「並んでいない」と言われて、行が黙って落ちた
両方とも sort はしています。 それでも合わないのは、並べ方の規則が違うからです。
スクリプトの中で
sortを使うときは、LC_ALL=Cを明示してください。LC_ALL=C sort a.txt > a-sorted.txt LC_ALL=C sort b.txt > b-sorted.txt LC_ALL=C join a-sorted.txt b-sorted.txt人が読むために並べるときはロケールのまま、機械が突き合わせるために並べるときは
C。 この使い分けが、joinとuniqの事故を丸ごと消します。
速さも変わる
LC_ALL=C は、文字を1バイトずつ番号で比べるだけなので、多言語の並べ替え規則を解釈する処理を丸ごと飛ばします。 その分速くなります。
自分で測れます。
出力例は載せません。 差はCPUとロケール設定で大きく変わるので、自分の環境で出た数字を見てください。 比べるのは real の行です。差が出なければ、その環境の既定ロケールが元から C 系だったということです。
[スクリーンショット: 05_locale_sort.png] LC_ALL=C sort case.txt と LC_ALL=en_US.UTF-8 sort case.txt を続けて実行した画面を撮ってください。同じファイルで並び順が違うのが要点です。
つまずいたところ
cut -d' ' -f1 が空を返すのを、ファイルが壊れていると思いました。 cat すると中身は見えているので、余計に混乱しました。cat -A で行頭の空白5個を見るまで、「空の列が5つある」という発想がありませんでした。 cut は正しく動いていて、間違っていたのは私の「1列目」の数え方でした。
uniq -c を sort 無しで打って、そのまま報告しかけました。 出た数字が小さすぎる気はしたのですが、エラーが出ないので合っていると思いました。 本線で「セットで書く」と自分で書いたのに、破っています。uniq が黙って少ない数を返すのは、本当に危ないです。
join で行が消えたのに、しばらく気づきませんでした。 警告は画面に出ていたのですが、結果の行が流れる間に混ざっていたので読み飛ばしていました。いまは join のあとに必ず wc -l で行数を数えるようにしています。パイプの回でやったとおり、警告は標準エラーなのでパイプの先には流れません。 画面でだけ混ざります。
sort -k2 を「2列目で並べる」と読んでいました。 正しくは「2列目から行末まで」です。IPで並べたつもりが、後ろのホスト名まで比較に入っていて、似たIPの順番が思ったのと違うことがありました。-k2,2 と2回書くのが正解です。
同じスクリプトが、自分の端末では通ってサーバーでは行が減りました。 原因はロケールでした。コマンドもファイルも同じで、環境変数だけが違うという壊れ方は、疑うところを知らないと絶対に見つかりません。LC_ALL=C を書いておけば起きなかったものです。
column -t の結果を、そのまま次のコマンドに流して壊しました。 読みやすくするために空白を足したのだから、当然そこで切れなくなります。整形は最後にする、と体で覚えました。
後片づけ
この記事で作ったものを消します。
消す前に必ず ls で中身を確認します。 access.log ip-count.txt part_aa などが並んでいるはずです。パスを打ち間違えたまま rm -rf を打つのが、一番よくある事故だからです。
消えたことを確かめます。
何も出なければ消えています。
tail -f の裏で動かした処理が残っていないかも見ておきます。
何も出なければ大丈夫です。 残っていたら kill %1 で止められます。
rm -rf は、ホームディレクトリの中の、自分で作ったフォルダにだけ使います。 ファイル操作の回で書いたとおり、消したものは戻りません。
まとめ
cutは区切り文字が1文字固定、awkは連続する空白をまとめる。 桁揃えされたテキストはcutでは切れず、空の列が並ぶだけ。CSV はcut、コマンドの出力はawkawkは「条件 { 処理 }」の2つしかない。 条件を省けば全行、処理を省けばその行をそのまま表示- 覚える変数は
$1/$NF/NR/FSの4つ。ENDの中のNRは総行数なので、sum/NRで平均が出る grep 404とawk '$9 == 404'は違う。grepは行のどこかを見るので、バイト数が404の行まで拾うsortの既定は辞書順。 だから10が9より前に来る。数字は-n、K M Gは-h、列指定は-k2,2(-k2は行末まで)uniqは隣り合う行しか見ない。sortを忘れてもエラーは出ず、少ない数字が返る。-dは重複を、-uは例外を探す道具joinは事前ソートが必須で、合わない行を黙って落とす。 警告は標準エラーに出るだけ。あとでwc -lで行数を数えるpasteは行番号だけで貼るので、ずれていても気づかない。 中身で突き合わせるのはjoincolumn -tとexpandは「人が読む」ための整形。 パイプの一番最後に置く- ロケールで
sortの結果が変わる。 機械が突き合わせるために並べるときはLC_ALL=C。速さも上がる
共通しているのは、「間違ってもエラーが出ない」道具ばかりだということです。 cut は空を返し、uniq は少ない数を返し、join は黙って行を落とし、sort はそれらしく並べます。だから、数を数えて確かめる癖のほうが、コマンドを覚えることより先でした。
ログを目で追う時間は、これでほとんど無くなりました。
参考リンク
- roadmap.sh — Linux
- GNU Coreutils — sort invocation
- GNU Coreutils — uniq invocation
- GNU Coreutils — cut invocation
- GNU Coreutils — join invocation
- GNU Coreutils — paste invocation
- GNU Coreutils — split invocation
- GNU Coreutils — tr invocation
- GNU Awk User’s Guide
- The Open Group Base Specifications — awk
次に読む
この記事は 【深掘り】Linux の 3 / 18 本目です。
上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。
全体の順路は はじめに にあります。
roadmap.sh のどこをやっているか
- awk / cut / sort / uniq / paste / join
- ログを1行で集計する型
この記事は、上の項目を実際に手を動かして確かめる回です。

コメント