テキスト処理 cut・awk・sort・uniq — 10が9より前に来る

Linuxのテキスト処理。文字列の書類と整列したデータカード、集計用の電卓。

辞書順では10が9より前に来ます。cut・awk・sort・uniqでログを集計しながら確かめます。

前回: find・locate・whichで探す — 3部構成で組み立てる これは深掘りです。本線の順路ではありません。 サーバーの中身はテキスト — grep・sed・awkとvim の続きとして、そこで {print $1} と sort | uniq -c だけ触れた道具を、正面から並べ直します。飛ばしても本線は進めます。

この記事のコマンドは、すべて Ubuntu の中で打ちます。 Windows の PowerShell ではありません。

nginx を立ててから、こういう時間が増えました。

ログを開いて、上から1行ずつ目で追っている。

「たぶん同じIPが何回も来ている」と思って、画面をスクロールして、数を頭の中で数えて、途中で分からなくなってもう一度スクロールする。200行でこれです。 本番のログは1日で数万行になります。

本線のテキスト処理の回で、この形は一度書きました。

bash
$ awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 3

これで「一番多いIP」は出ます。 ただ、あのときは「こう書けば出る」という型として渡しました。sort がなぜ2回出てくるのか、なぜ -nr なのか、uniq の前に sort が要るのはなぜか、説明していません。

そして、型を1つ覚えただけでは、少し違うことを聞かれた瞬間に止まります。

  • 「404 だけの件数は?」
  • 「1リクエストあたりの平均バイト数は?」
  • 「そのIPは社内のどのPCか、別の表と突き合わせて出して」

どれも、目でやると10分かかり、道具を知っていると1行です。

道具を10個知ると、目で追っていた作業が1行になる。

この記事でやるのは、その10個をそろえることです。grep と sed は本線でやったので、残りの「切る・数える・並べる・貼る」を埋めます。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • cut と awk は同じではないこと。cut の区切りは1文字固定で、空白が2個並ぶと壊れる
  • sort は既定で「文字として」比べること。だから 10 が 9 より前に来る
  • uniq は隣り合う行しか見ないこと。だから sort してからでないと数を間違える
  • join は事前ソートが必須で、しかも黙って行を落とすこと
  • ロケール(LC_ALL)で sort の結果が変わること。速さも変わる

この記事でやること

  1. seq と awk で、練習用のアクセスログ200行を自分で作る
  2. 同じデータに cut と awk を両方かけて、結果が違うところを見る
  3. awk を「条件 { 処理 }」として読み直し、合計と平均を出す
  4. sort の -n -h -k -t -r -u と、uniq の -c -d -u を1つずつ試す
  5. よく使う集計3つを1行で書き、そのあと1段ずつ分解して確かめる

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
区切り文字(デリミタ)1行を列に分けるときの目印。空白・カンマ・コロンなど。cut -d や awk -F で指定する
フィールド区切り文字で分けたあとの、それぞれの列。awk では左から $1 $2 …
辞書順(文字列比較)1文字目から順に文字コードで比べる並べ方。数字の大小とは違う結果になる
連想配列番号ではなく文字をキーにして値を覚えられる入れ物。awk の count["1.2.3.4"] がこれ
ロケール言語と文字の扱いの設定。並べ替えの順番もここで決まる。LC_ALL で一時的に変えられる
標準エラーコマンドが警告やエラーを出す口。パイプの先には流れず、画面にだけ混ざる

練習用のログを、自分で作る

他人のログや、サーバーに元から入っているログは使いません。 環境ごとに中身が違い、記事と同じ結果になりません。自分で作れば、誰の環境でも1文字まで同じになります。

作業用のフォルダを1つ作って、その中だけで作業します。

bash
$ mkdir -p ~/text-lab
$ cd ~/text-lab

seq で連番を作る

bash
$ seq 1 5
1
2
3
4
5

seq は連番を出すだけのコマンドです。 これを awk に流し込んで、1行ずつログの形に変換します。

awk でログの形に変える

そのまま貼り付けてください。中身は次の節から説明します。

bash
$ seq 1 200 | awk '
  BEGIN {
    split("192.168.1.10 192.168.1.10 192.168.1.10 192.168.1.10 192.168.1.10 203.0.113.7 203.0.113.7 203.0.113.7 192.168.1.22 192.168.1.22 198.51.100.4 198.51.100.9", ip, " ")
    split("/index.html /index.html /index.html /index.html /style.css /style.css /style.css /login /login /api/items /admin /about.html /favicon.ico", path, " ")
    split("200 200 200 200 200 200 200 404 404 500 301", code, " ")
  }
  {
    n = $1
    printf "%s - - [18/Sep/2026:10:%02d:%02d +0900] \"GET %s HTTP/1.1\" %s %d\n", ip[n%12+1], int(n/60), n%60, path[n%13+1], code[n%11+1], (n*137)%3000+100
  }' > access.log

乱数を使っていません。 n を 12・13・11 で割った余りで選んでいるだけなので、何回実行しても、誰の環境でも、まったく同じ200行ができます。乱数にすると記事の出力例と合わなくなるので、わざと外しています。

できたか確認します。

bash
$ wc -l access.log
$ head -n 3 access.log
200 access.log
192.168.1.10 - - [18/Sep/2026:10:00:01 +0900] "GET /index.html HTTP/1.1" 200 237
192.168.1.10 - - [18/Sep/2026:10:00:02 +0900] "GET /index.html HTTP/1.1" 200 374
192.168.1.10 - - [18/Sep/2026:10:00:03 +0900] "GET /index.html HTTP/1.1" 200 511

200 access.log と出れば成功です。 違う数字が出たら、貼り付けの途中で改行が抜けています。rm access.log してから貼り直してください。

1行の形は、本線と同じです。

位置中身
1列目どのIPから来たか
4〜5列目日時
7列目どのページを見に来たか
9列目結果の番号(200 成功 / 301 移動 / 404 無い / 500 サーバー側の故障)
10列目送ったバイト数

この1本のファイルだけで、この記事の全部をやります。

列で切る — cut と awk は同じではない

「1列目だけ欲しい」には、2通りの書き方があります。

bash
$ cut -d' ' -f1 access.log | head -n 3
$ awk '{print $1}' access.log | head -n 3
192.168.1.10
192.168.1.10
192.168.1.10

同じ結果です。 ここまでは、どちらでも構いません。

読み方はこうです。

書き方意味
cut -d' ' -f1-d で区切り文字を指定(ここは空白1個)、-f で何列目かを指定
awk '{print $1}'空白で区切って、1つ目を表示

cut は複数の列も、範囲も指定できます。

bash
$ cut -d' ' -f1,7,9 access.log | head -n 3
192.168.1.10 /index.html 200
192.168.1.10 /index.html 200
192.168.1.10 /index.html 200
bash
$ cut -d' ' -f9-10 access.log | head -n 3
200 237
200 374
200 511

-f1,7,9 はカンマ区切りで飛び飛び、-f9-10 はハイフンで範囲です。文字数で切る -c もあります。

bash
$ cut -c1-12 access.log | head -n 2
192.168.1.10
192.168.1.10

桁が揃っているデータなら、これが一番速いです。

空白が2個並んだ瞬間に壊れる

ここからが本題です。 集計結果を、いったんファイルに落とします。

bash
$ awk '{print $1}' access.log | sort | uniq -c | sort -nr > ip-count.txt
$ cat ip-count.txt
     84 192.168.1.10
     51 203.0.113.7
     33 192.168.1.22
     16 198.51.100.9
     16 198.51.100.4

このファイルから「件数だけ」を取り出します。 件数は1列目なので、素直に書くとこうなります。

bash
$ cut -d' ' -f1 ip-count.txt



何も出ません。 空行が5行出るだけです。

awk なら出ます。

bash
$ awk '{print $1}' ip-count.txt
84
51
33
16
16

同じ「1列目」を指定したのに、結果が違います。

理由: 区切りが「1文字」か「区切りのかたまり」か

ip-count.txt の中身を、空白が見える形で表示します。

bash
$ head -n 2 ip-count.txt | cat -A
     84 192.168.1.10$
     51 203.0.113.7$

cat -A は、行末を $ で、タブを ^I で表示します。 先頭に空白が5個並んでいるのが見えます。uniq -c が件数の桁を揃えるために、右詰めで空白を詰めているからです。

ここで両者の考え方が分かれます。

区切りの扱い先頭に空白が5個あるとき
cut -d' '空白1個ごとに1つの区切り1〜5列目がすべて空文字。件数は6列目になる
awk連続した空白をまとめて1つの区切り。行頭・行末の空白は無視件数が素直に $1

確かめます。

bash
$ cut -d' ' -f6 ip-count.txt
84
51
33
16
16

6列目を指定すると出ました。 cut が壊れていたのではなく、「空白が5個あるので、空の列が5つある」と正しく数えていただけです。

cut は区切り文字が1文字固定。awk は連続する空白をまとめる。 人が読むために整形されたテキスト(桁揃え・インデント)は、cut では切れません。 逆に、, や : できっちり1個ずつ区切られたデータは cut のほうが速く、書くのも短いです。

使い分け

場面使うもの
CSV、: 区切りのユーザー一覧、桁が固定のデータcut
空白の数が揃っていないテキスト、コマンドの出力awk
条件で行を選びたい、計算したいawk(cut にはできない)

どうしても cut を使いたいときは、先に空白を潰します。

bash
$ tr -s ' ' < ip-count.txt | cut -d' ' -f2
84
51
33
16
16

tr -s ' ' は「連続する空白を1個にまとめる」という意味です。ただし先頭の空白も1個は残るので、-f1 ではなく -f2 になります。この面倒さが、awk を使う理由そのものです。

[スクリーンショット: 01_cut_vs_awk.png] cut -d' ' -f1 ip-count.txt と awk '{print $1}' ip-count.txt を続けて実行した画面を撮ってください。同じ「1列目」なのに、片方が空になっているのが要点です。

awk は「条件 { 処理 }」でできている

本線では {print $1} だけを渡しました。awk の文法は、実はこれだけです。

awk '条件 { 処理 }' ファイル
  • 条件を省くと、全行が対象(本線でやった {print $1} がこれ)
  • 処理を省くと、条件に合った行をそのまま表示
bash
$ awk '$9 == 404' access.log | head -n 3
203.0.113.7 - - [18/Sep/2026:10:00:07 +0900] "GET /login HTTP/1.1" 404 1059
192.168.1.22 - - [18/Sep/2026:10:00:08 +0900] "GET /login HTTP/1.1" 404 1196
203.0.113.7 - - [18/Sep/2026:10:00:18 +0900] "GET /style.css HTTP/1.1" 404 2566

{print $0} を書かなくても出ます。 これは grep 404 とほぼ同じに見えますが、決定的に違います。

bash
$ grep -c 404 access.log
$ awk '$9 == 404' access.log | wc -l
37
36

1件ずれました。 grep は行のどこかに 404 があれば拾うので、送ったバイト数が 404 の行まで数えています。awk は「9列目が 404 の行」しか拾いません。

grep は行を探す。awk は列を見る。 ステータスコードのような列の意味が決まっているものは、awk で列を指定するのが正しい形です。

覚える変数は4つ

変数意味
$1 $2 …左から数えた列。$0 は行全体
NFその行の列数(Number of Fields)。$NF は一番右の列
NRいま何行目か(Number of Records)。END の中では総行数
FS区切り文字。-F で外から指定できる
bash
$ awk 'NR <= 3 {print NR, NF, $NF}' access.log
1 10 237
2 10 374
3 10 511

「行番号・列数・一番右の列」が出ました。$NF は「10列目」と書かなくてよいので、列数が行ごとに違うデータで効きます。

NF は、壊れた行を探すのにも使えます。

bash
$ awk 'NF != 10' access.log

何も出なければ、200行すべてが10列です。解析を始める前に、形が揃っているか確かめる1行として使えます。

BEGIN と END

ブロックいつ動くか
BEGIN { }1行も読む前に1回
END { }全行を読み終わったあとに1回

合計と平均を出します。

bash
$ awk '{sum += $10} END {print "合計:", sum; print "平均:", sum/NR}' access.log
合計: 316700
平均: 1583.5

変数は宣言しなくていい(sum は 0 から始まります)、END の中の NR は総行数になる。この2つを知っていれば平均が出せます。

条件と組み合わせれば、絞ってから平均が出せます。

bash
$ awk '$9 == 200 {sum += $10; n++} END {printf "成功 %d 件 平均 %.1f バイト\n", n, sum/n}' access.log
成功 128 件 平均 1307.6 バイト

printf は print と違って改行を自分で書きます(\n)。%d が整数、%.1f が小数第1位まで、%s が文字です。桁を揃えて出したいときだけ使えば十分です。

BEGIN は、見出しを付けたり、区切り文字を指定したりするのに使います。

-F で区切り文字を変える

空白以外で区切られたデータには -F を付けます。まず、カンマ区切りのファイルを作ります。

bash
$ cut -d' ' -f1,9 access.log | tr ' ' ',' > ipcode.csv
$ head -n 3 ipcode.csv
192.168.1.10,200
192.168.1.10,200
192.168.1.10,200

tr ' ' ',' は「空白を全部カンマに置き換える」です。tr は1文字を1文字に置き換えるだけの道具で、sed より単純なぶん速く、書き間違えにくいです。

これを awk -F, で読みます。

bash
$ awk -F, '{count[$2]++} END {for (c in count) print count[c], c}' ipcode.csv | sort -nr
128 200
36 404
18 500
18 301

count[$2]++ が連想配列です。 「$2 の値をキーにして、1ずつ足す」という意味で、これだけで集計ができます。

for (c in count) の順番は決まっていません。 出てくる順番は awk の実装(Ubuntu 既定の mawk と、gawk)で変わります。だから最後に sort に流しています。 awk の出力順を当てにしないでください。

同じことを、区切りを指定せずに元のログへ直接書けます。

bash
$ awk '{count[$1]++} END {for (ip in count) print count[ip], ip}' access.log | sort -nr
84 192.168.1.10
51 203.0.113.7
33 192.168.1.22
16 198.51.100.9
16 198.51.100.4

sort | uniq -c を使わずに、同じ集計ができました。 行数が多いときは、並べ替えないぶんこちらが速いです。ただし読んで分かりやすいのは sort | uniq -c なので、私は普段そちらを使います。

[スクリーンショット: 02_awk_sum.png] awk '{sum += $10} END {print "合計:", sum; print "平均:", sum/NR}' access.log の結果を撮ってください。

sort の罠 — 10 が 9 より前に来る

sort は、何も指定しないと「文字として」比べます。

bash
$ seq 1 12 > nums.txt
$ sort nums.txt
1
10
11
12
2
3
4
5
6
7
8
9

10 11 12 が 2 より前に来ました。

理由は単純で、1文字目から順に比べているからです。10 と 2 を比べるとき、1文字目が 1 と 2 なので、1 のほうが小さい。そこで決着がついて、2文字目は見ません。

これは sort のバグではなく、既定が「辞書順」だというだけです。 電話帳で「あきら」が「あさひ」より前に来るのと同じ理屈で並べています。

数字として並べたいなら -n を付けます。

bash
$ sort -n nums.txt
1
2
3
4
5
6
7
8
9
10
11
12

本線で sort -nr と書いていた -n は、これです。 付け忘れると、9件のIPが、10件のIPより上に来ます。 そしてエラーは出ません。黙って間違った順に並びます。

-h — 1G と 900K を正しく並べる

サイズの表記には K M G が付きます。これは -n でも正しく並びません。

bash
$ printf '900K\n2M\n10M\n1G\n512K\n' > sizes.txt
$ sort sizes.txt
10M
1G
2M
512K
900K

めちゃくちゃです。 -h(human-readable)を付けます。

bash
$ sort -h sizes.txt
512K
900K
2M
10M
1G

du -h や ls -lh の結果を並べ替えるときは、必ず -h です。「容量を食っているフォルダを探す」ときに必ず要ります。

-k — 何列目で並べるか

-k は「何列目をキーにするか」です。

bash
$ sort -k2 ip-count.txt
     84 192.168.1.10
     33 192.168.1.22
     16 198.51.100.4
     16 198.51.100.9
     51 203.0.113.7

2列目(IP)の文字順に並びました。

-k2 は「2列目だけ」ではなく「2列目から行末まで」という意味です。 2列目だけで比べたいときは -k2,2 と書きます。「並べたつもりが、後ろの列まで比較に入っていた」は、ここが原因です。

列ごとに指定を変えられます。

bash
$ sort -k1,1n ip-count.txt
     16 198.51.100.4
     16 198.51.100.9
     33 192.168.1.22
     51 203.0.113.7
     84 192.168.1.10

-k1,1n は「1列目だけを数値として」という意味です。n を -k の指定の後ろに直接付けられます。

2段階の並べ替えも書けます。

bash
$ sort -k1,1nr -k2,2 ip-count.txt

「まず件数の多い順、同じ件数ならIPの文字順」です。同点をどう並べるかを決めておくと、実行するたびに順番が変わることがなくなります。

-t — 区切り文字を指定する

sort の既定の区切りも空白です。CSV なら -t で変えます。

bash
$ sort -t, -k2,2 -u ipcode.csv
192.168.1.10,200
198.51.100.4,301
203.0.113.7,404
192.168.1.22,500

-t, でカンマ区切り、-k2,2 で2列目、-u で「キーが同じ行は1つだけ残す」。結果として「出てきたステータスコードの一覧」になりました。

-u は -k と組み合わせると「指定したキーが同じ行」を落とします。 行全体が同じでなくても落ちます。上の結果でIPがバラバラなのはそのためです。便利ですが、消える行があることを分かって使ってください。

まとめ

指定意味忘れると
-n数値として比べる10 が 9 より前に来る
-hK M G を理解して比べる1G が 2M より前に来る
-r逆順(大きい順)上位が下に埋もれる
-k2,22列目だけをキーにする後ろの列まで比較に混ざる
-t,区切り文字を変えるカンマ区切りが1列扱いになる
-uキーが同じ行を1つだけ残す—

[スクリーンショット: 03_sort_number.png] sort nums.txt と sort -n nums.txt を続けて実行した画面を撮ってください。10 が 2 より前に来ているほうが写っているのが要点です。

uniq は隣り合う行しか見ない

uniq の思い込みを、ここで潰します。

bash
$ awk '{print $1}' access.log | uniq -c | head -n 5
      4 192.168.1.10
      3 203.0.113.7
      2 192.168.1.22
      1 198.51.100.4
      1 198.51.100.9

「一番多いIPは4件」…にはなっていません。 本当は84件です。

uniq は、いま読んだ行と、その1つ前の行しか比べません。 同じIPがログの後ろのほうにもう一度出てきても、間に別のIPが挟まっていれば、別のかたまりとして数え直します。

だから、先に sort で同じ行を隣同士に集めます。

bash
$ awk '{print $1}' access.log | sort | uniq -c
     84 192.168.1.10
     33 192.168.1.22
     16 198.51.100.4
     16 198.51.100.9
     51 203.0.113.7

これが正しい件数です。

sort | uniq はセットで書く。 例外は「もともと並んでいると分かっているファイル」だけです。 uniq 単体は、エラーを出しません。 少ない数字を、それらしく返してきます。気づけないのが一番こわい種類の間違いです。

-c -d -u の使い分け

小さいファイルで見ると分かりやすいです。

bash
$ printf 'sato\nsuzuki\nsato\ntanaka\nsuzuki\nsato\nyamada\n' > users.txt
$ sort users.txt | uniq -c
      3 sato
      2 suzuki
      1 tanaka
      1 yamada
bash
$ sort users.txt | uniq -d
sato
suzuki
bash
$ sort users.txt | uniq -u
tanaka
yamada
指定出るもの使う場面
-c件数を頭に付けて、重複をまとめるランキング
-d2回以上出た行だけ重複を探す(IDの重複、設定の二重定義)
-u1回しか出なかった行だけ例外を探す(1回だけ来たIP、1回だけ出たエラー)
-i大文字小文字を区別しない表記ゆれのあるログ

-d と -u は、-c より使う場面が具体的です。 「重複を見つけたい」は -d、「珍しいものを見つけたい」は -u。

行を切り出す

列の次は、行です。

head と tail

bash
$ head -n 3 access.log
$ tail -n 3 access.log

head は先頭から、tail は末尾から。既定はどちらも10行です。

tail には、先頭を捨てる書き方もあります。

bash
$ tail -n +3 access.log | head -n 2
192.168.1.10 - - [18/Sep/2026:10:00:03 +0900] "GET /index.html HTTP/1.1" 200 511
192.168.1.10 - - [18/Sep/2026:10:00:04 +0900] "GET /style.css HTTP/1.1" 200 648

-n +3 は「3行目から最後まで」です。CSV の見出し行を捨てるときの定番です。

tail -f — 増える行を見張る

ログを見るときに、一番使います。

自分で追記して確かめます。

bash
$ head -n 3 access.log > live.log
$ ( sleep 3; echo "あとから追記された行" >> live.log ) &
$ tail -f live.log

最初に3行が出て、そのまま止まったように見えます。 3秒待つと、こう増えます。

192.168.1.10 - - [18/Sep/2026:10:00:01 +0900] "GET /index.html HTTP/1.1" 200 237
192.168.1.10 - - [18/Sep/2026:10:00:02 +0900] "GET /index.html HTTP/1.1" 200 374
192.168.1.10 - - [18/Sep/2026:10:00:03 +0900] "GET /index.html HTTP/1.1" 200 511
あとから追記された行

Ctrl + C で抜けてください。 tail -f は自分では終わりません。

( ... ) & は「カッコの中を裏で動かす」書き方です。ここでは「3秒後に追記する係を裏に置いた」とだけ分かれば十分です。

tail -f をパイプに繋ぐと、しばらく何も出ないことがあります。 これはパイプとリダイレクトの回で書いたバッファリングです。grep --line-buffered を使ってください。

sed -n で範囲を抜く

本線で少しだけ触れた形を、もう一度。

bash
$ sed -n '10,13p' access.log
198.51.100.4 - - [18/Sep/2026:10:00:10 +0900] "GET /admin HTTP/1.1" 301 1470
198.51.100.9 - - [18/Sep/2026:10:00:11 +0900] "GET /about.html HTTP/1.1" 200 1607
192.168.1.10 - - [18/Sep/2026:10:00:12 +0900] "GET /favicon.ico HTTP/1.1" 200 1744
192.168.1.10 - - [18/Sep/2026:10:00:13 +0900] "GET /index.html HTTP/1.1" 200 1881

-n が「勝手に出すな」、p が「この行は出せ」。エラーが「157行目」と言ってきたときに、その周りだけ見るのに使います。

head と tail を繋いでも同じことができます。

bash
$ head -n 13 access.log | tail -n 4

結果は同じですが、sed -n のほうが行番号をそのまま書けるぶん間違えにくいです。

nl で行番号を付ける

bash
$ nl users.txt
     1  sato
     2  suzuki
     3  sato
     4  tanaka
     5  suzuki
     6  sato
     7  yamada

cat -n とほぼ同じですが、nl は空行に番号を振らないのが既定です。設定ファイルを人に見せて「何行目を直して」と伝えるときに使います。

wc で数える

bash
$ wc access.log
  200  2000 16015 access.log

左から「行数・単語数・バイト数」です。覚えるのはこの3つの指定です。

指定数えるもの
-l行数
-w単語数
-cバイト数

-l 以外を使う場面は少ないですが、wc -c は「ファイルが空かどうか」を機械的に判定するのに使えます。

列を貼る・混ぜる

paste — 2つのファイルを横に並べる

bash
$ awk '{print $2}' ip-count.txt > a-ip.txt
$ awk '{print $1}' ip-count.txt > a-count.txt
$ paste a-ip.txt a-count.txt
192.168.1.10  84
203.0.113.7  51
192.168.1.22  33
198.51.100.9  16
198.51.100.4  16

paste は行番号だけで貼り合わせます。 1行目と1行目、2行目と2行目。中身は一切見ません。

区切りを変えるなら -d です。

bash
$ paste -d, a-ip.txt a-count.txt
192.168.1.10,84
203.0.113.7,51
192.168.1.22,33
198.51.100.9,16
198.51.100.4,16

paste は速くて単純ですが、「行がずれていたら黙って間違った組み合わせを作る」のが弱点です。中身で突き合わせたいなら join です。

join — キーで突き合わせる。事前ソートが必須

IPと持ち主の対応表を作ります。

bash
$ printf '192.168.1.10 office-pc\n192.168.1.22 office-note\n198.51.100.4 guest-a\n198.51.100.9 guest-b\n203.0.113.7 unknown\n' > hosts.txt
$ cat hosts.txt

まず、失敗するほうをやります。 件数の多い順のまま突き合わせてみます。

bash
$ awk '{print $2, $1}' ip-count.txt > bad.txt
$ join bad.txt hosts.txt
192.168.1.10 84 office-pc
join: bad.txt:3: is not sorted: 192.168.1.22 33
203.0.113.7 51 unknown
join: input is not in sorted order

5行あるはずが、2行しか出ていません。 そして、「並んでいない」という警告は出ているのに、コマンド自体は結果を返します。

join の最大の罠がこれです。 止まらない。落ちた行の一覧も出ない。 警告を読み飛ばすと、行が減ったことに気づかないまま集計を続けることになります。

正しくは、両方のファイルを、突き合わせるキーで並べてから渡します。

bash
$ awk '{print $2, $1}' ip-count.txt | sort > counts-by-ip.txt
$ sort -o hosts.txt hosts.txt
$ join counts-by-ip.txt hosts.txt
192.168.1.10 84 office-pc
192.168.1.22 33 office-note
198.51.100.4 16 guest-a
198.51.100.9 16 guest-b
203.0.113.7 51 unknown

5行そろいました。 「どのPCが何回アクセスしてきたか」が1つの表になりました。

sort -o hosts.txt hosts.txt は「並べ替えた結果を同じファイルに書く」という書き方です。パイプの回で見たとおり、sort hosts.txt > hosts.txt と書くとファイルが空になります。 sort にだけは、それを安全にやる -o があります。

キーが1列目でないときは、番号を指定します。

bash
$ join -1 1 -2 1 counts-by-ip.txt hosts.txt | head -n 2

-1 が左のファイルの何列目、-2 が右のファイルの何列目。既定はどちらも1列目です。

join を使うときのチェックリスト 1. 両方のファイルをキー列で sort したか 2. 両方を同じロケールで sort したか(次の節で扱います) 3. 結果の行数が、期待した行数と一致するか(wc -l で必ず数える)

[スクリーンショット: 04_join.png] ソート前の join bad.txt hosts.txt と、ソート後の join counts-by-ip.txt hosts.txt を続けて実行した画面を撮ってください。行数が違うのが要点です。

tr — 1文字を1文字に置き換える

bash
$ echo "192.168.1.10" | tr '.' '_'
$ echo "192.168.1.10" | tr -d '.'
$ head -n 1 access.log | tr 'a-z' 'A-Z'
192_168_1_10
192168110
192.168.1.10 - - [18/SEP/2026:10:00:01 +0900] "GET /INDEX.HTML HTTP/1.1" 200 237
書き方意味
tr 'a' 'b'a を b に置き換える
tr -d 'x'x を消す
tr -s ' '連続する空白を1個にまとめる
tr 'a-z' 'A-Z'小文字を大文字に

tr はファイル名を引数に取れません。 必ず < かパイプで流し込みます。Windows で作ったファイルの改行コードを落とす tr -d '\r' が、実務では一番使う場面です。

tee — 途中経過をファイルに残す

bash
$ awk '{print $1}' access.log | sort | tee sorted-ip.txt | uniq -c | sort -nr | head -n 3
$ wc -l sorted-ip.txt
     84 192.168.1.10
     51 203.0.113.7
     33 192.168.1.22
200 sorted-ip.txt

tee は、流れてきたものをファイルに書きながら、そのまま右へ流します。 長いパイプで「途中で何がおかしくなったか」を見るときに挟みます。詳しくはパイプとリダイレクトの回で扱いました。

ファイルを分ける・空白を整える

split — 大きいファイルを分割する

bash
$ split -l 60 access.log part_
$ ls part_*
$ wc -l part_*
part_aa  part_ab  part_ac  part_ad
   60 part_aa
   60 part_ab
   60 part_ac
   20 part_ad
  200 total

-l 60 は「60行ずつ」、part_ は作るファイル名の頭です。-b 10M と書けばバイト数で分けられます。

巨大なログをエディタで開けないときや、添付ファイルの上限に引っかかるときに使います。戻すのは cat です。

bash
$ cat part_a* > joined.log
$ wc -l joined.log
200 joined.log

part_aa part_ab … という名前が、辞書順に並ぶように作られているので、cat part_a* でそのまま元に戻ります。

column -t — 桁を揃えて読む

bash
$ join counts-by-ip.txt hosts.txt | column -t
192.168.1.10  84  office-pc
192.168.1.22  33  office-note
198.51.100.4  16  guest-a
198.51.100.9  16  guest-b
203.0.113.7   51  unknown

列が揃って、一気に読めるようになりました。

column が入っていないと言われたら、入れます。

bash
$ sudo apt install -y bsdextrautils

column -t は「人が読む」ためだけに使ってください。 空白を足して桁を揃えるので、この出力をもう一度 cut -d' ' に流すと、この記事の山場①と同じことが起きます。 整形は、パイプの一番最後です。

expand / unexpand — タブと空白を入れ替える

bash
$ printf 'a\tbb\tccc\n' | cat -A
$ printf 'a\tbb\tccc\n' | expand -t 8 | cat -A
a^Ibb^Iccc$
a       bb      ccc$

^I がタブです。 expand はタブを空白に、unexpand は空白をタブに変えます。

「見た目は揃っているのに cut で切れない」とき、正体はタブであることがよくあります。cat -A で見て ^I が出たらタブ。cut -f は既定の区切りがタブなので、その場合は -d を付けないほうが動きます。

定番の組み合わせ3つ

ここまでの道具を、実際の形にします。 まず1行を丸ごと出して、そのあと1段ずつ分解します。

1. アクセス数の多いIP順

bash
$ awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 3
     84 192.168.1.10
     51 203.0.113.7
     33 192.168.1.22

1段ずつ、途中で切って確かめます。

bash
$ awk '{print $1}' access.log | head -n 3
192.168.1.10
192.168.1.10
192.168.1.10

1段目: IPの列だけにする。 200行の「IPだけのリスト」になりました。

bash
$ awk '{print $1}' access.log | sort | head -n 3

2段目: 並べ替える。 見た目はあまり変わりませんが、同じIPが全部隣同士に集まりました。 uniq はこれが無いと数えられません。

bash
$ awk '{print $1}' access.log | sort | uniq -c

3段目: まとめて数える。 5行になりました。ただしIPの文字順で、多い順ではありません。

bash
$ awk '{print $1}' access.log | sort | uniq -c | sort -nr

4段目: 件数の数字で、大きい順に並べ直す。 ここで -n を忘れると、84 より 16 が上に来ます。

5段目の head -n 3 は、上位3件だけ残す。 以上です。

sort が2回出てくる理由が、これで分かります。 1回目は uniq のための下ごしらえ(同じものを隣に集める)、2回目は結果を読むための並べ替え(件数の多い順)。目的がまったく違います。

2. エラー行だけ抜いて件数を出す

bash
$ awk '$9 >= 400 {print $9}' access.log | sort | uniq -c | sort -nr
     36 404
     18 500

分解します。

bash
$ awk '$9 >= 400 {print $9}' access.log | head -n 3
404
404
404

1段目: 「9列目が400以上の行の、9列目」だけを出す。 grep では「400以上」は書けません。数の比較ができるのが awk を使う理由です。

あとは1つ目と同じ、sort | uniq -c | sort -nr です。

どのIPがエラーを出しているかも、列を変えるだけです。

bash
$ awk '$9 >= 400 {print $1}' access.log | sort | uniq -c | sort -nr
     21 192.168.1.10
     18 203.0.113.7
      9 192.168.1.22
      3 198.51.100.9
      3 198.51.100.4

さらに、エラーになったURLとの組み合わせで見ます。

bash
$ awk '$9 >= 400 {print $9, $7}' access.log | sort | uniq -c | sort -nr | head -n 3
     12 404 /index.html
      9 404 /style.css
      6 500 /index.html

print に2つ並べると、その組み合わせで数えられます。 「どのページで、どのエラーが、何件」。これが実際の障害調査の1行目です。

3. 重複行を見つける

設定ファイルの二重定義や、IDの重複を探す形です。

bash
$ sort users.txt | uniq -d
sato
suzuki

「2回以上出たものだけ」です。件数も欲しいなら -c を足します。

bash
$ sort users.txt | uniq -cd
      3 sato
      2 suzuki

逆に「1回しか出ていないもの」は -u です。

bash
$ sort users.txt | uniq -u
tanaka
yamada

ログで言えば「1回だけアクセスしてきたIP」で、珍しいものを探すのに使います。

bash
$ awk '{print $1}' access.log | sort | uniq -u

何も出なければ、全部のIPが2回以上来ているということです。

ロケールで結果が変わる

最後に、知らないと原因が絶対に分からないものを1つ。

bash
$ printf 'banana\nApple\napple\nBanana\ncherry\n' > case.txt
$ LC_ALL=C sort case.txt
Apple
Banana
apple
banana
cherry
bash
$ LC_ALL=en_US.UTF-8 sort case.txt
apple
Apple
banana
Banana
cherry

同じファイル、同じコマンド、結果が違います。

指定並べ方
LC_ALL=C文字コードの番号順。大文字(A は 65)が小文字(a は 97)より全部先
LC_ALL=en_US.UTF-8人間の辞書順。大文字小文字をまとめて a A b B と並べる

もし2つの結果が同じだったら、en_US.UTF-8 がその環境に用意されていません。確認と追加はこうします。

locale -a | grep -i en_US
sudo locale-gen en_US.UTF-8

無いロケールを指定しても、sort はエラーを出さずに C として動きます。 これも「黙って結果が変わる」側です。

いまの自分の設定は locale で見えます。

bash
$ locale

ここで効いているのが LC_COLLATE(並べ替えの規則)です。

なぜこれが事故になるか

さっきの join です。

  1. 自分の端末(en_US.UTF-8)でファイルAを sort した
  2. スクリプトの中(C)でファイルBを sort した
  3. join に渡した → 「並んでいない」と言われて、行が黙って落ちた

両方とも sort はしています。 それでも合わないのは、並べ方の規則が違うからです。

スクリプトの中で sort を使うときは、LC_ALL=C を明示してください。

LC_ALL=C sort a.txt > a-sorted.txt
LC_ALL=C sort b.txt > b-sorted.txt
LC_ALL=C join a-sorted.txt b-sorted.txt

人が読むために並べるときはロケールのまま、機械が突き合わせるために並べるときは C。 この使い分けが、join と uniq の事故を丸ごと消します。

速さも変わる

LC_ALL=C は、文字を1バイトずつ番号で比べるだけなので、多言語の並べ替え規則を解釈する処理を丸ごと飛ばします。 その分速くなります。

自分で測れます。

bash
$ seq 1 500000 | awk '{print "user" ($1*7919)%500000}' > big.txt
$ time sort big.txt > /dev/null
$ time LC_ALL=C sort big.txt > /dev/null

出力例は載せません。 差はCPUとロケール設定で大きく変わるので、自分の環境で出た数字を見てください。 比べるのは real の行です。差が出なければ、その環境の既定ロケールが元から C 系だったということです。

[スクリーンショット: 05_locale_sort.png] LC_ALL=C sort case.txt と LC_ALL=en_US.UTF-8 sort case.txt を続けて実行した画面を撮ってください。同じファイルで並び順が違うのが要点です。

つまずいたところ

cut -d' ' -f1 が空を返すのを、ファイルが壊れていると思いました。 cat すると中身は見えているので、余計に混乱しました。cat -A で行頭の空白5個を見るまで、「空の列が5つある」という発想がありませんでした。 cut は正しく動いていて、間違っていたのは私の「1列目」の数え方でした。

uniq -c を sort 無しで打って、そのまま報告しかけました。 出た数字が小さすぎる気はしたのですが、エラーが出ないので合っていると思いました。 本線で「セットで書く」と自分で書いたのに、破っています。uniq が黙って少ない数を返すのは、本当に危ないです。

join で行が消えたのに、しばらく気づきませんでした。 警告は画面に出ていたのですが、結果の行が流れる間に混ざっていたので読み飛ばしていました。いまは join のあとに必ず wc -l で行数を数えるようにしています。パイプの回でやったとおり、警告は標準エラーなのでパイプの先には流れません。 画面でだけ混ざります。

sort -k2 を「2列目で並べる」と読んでいました。 正しくは「2列目から行末まで」です。IPで並べたつもりが、後ろのホスト名まで比較に入っていて、似たIPの順番が思ったのと違うことがありました。-k2,2 と2回書くのが正解です。

同じスクリプトが、自分の端末では通ってサーバーでは行が減りました。 原因はロケールでした。コマンドもファイルも同じで、環境変数だけが違うという壊れ方は、疑うところを知らないと絶対に見つかりません。LC_ALL=C を書いておけば起きなかったものです。

column -t の結果を、そのまま次のコマンドに流して壊しました。 読みやすくするために空白を足したのだから、当然そこで切れなくなります。整形は最後にする、と体で覚えました。

後片づけ

この記事で作ったものを消します。

bash
$ cd ~
$ ls ~/text-lab

消す前に必ず ls で中身を確認します。 access.log ip-count.txt part_aa などが並んでいるはずです。パスを打ち間違えたまま rm -rf を打つのが、一番よくある事故だからです。

bash
$ rm -rf ~/text-lab

消えたことを確かめます。

bash
$ ls ~ | grep text-lab

何も出なければ消えています。

tail -f の裏で動かした処理が残っていないかも見ておきます。

bash
$ jobs

何も出なければ大丈夫です。 残っていたら kill %1 で止められます。

rm -rf は、ホームディレクトリの中の、自分で作ったフォルダにだけ使います。 ファイル操作の回で書いたとおり、消したものは戻りません。

まとめ

  • cut は区切り文字が1文字固定、awk は連続する空白をまとめる。 桁揃えされたテキストは cut では切れず、空の列が並ぶだけ。CSV は cut、コマンドの出力は awk
  • awk は「条件 { 処理 }」の2つしかない。 条件を省けば全行、処理を省けばその行をそのまま表示
  • 覚える変数は $1 / $NF / NR / FS の4つ。 END の中の NR は総行数なので、sum/NR で平均が出る
  • grep 404 と awk '$9 == 404' は違う。 grep は行のどこかを見るので、バイト数が404の行まで拾う
  • sort の既定は辞書順。 だから 10 が 9 より前に来る。数字は -n、K M G は -h、列指定は -k2,2(-k2 は行末まで)
  • uniq は隣り合う行しか見ない。 sort を忘れてもエラーは出ず、少ない数字が返る。-d は重複を、-u は例外を探す道具
  • join は事前ソートが必須で、合わない行を黙って落とす。 警告は標準エラーに出るだけ。あとで wc -l で行数を数える
  • paste は行番号だけで貼るので、ずれていても気づかない。 中身で突き合わせるのは join
  • column -t と expand は「人が読む」ための整形。 パイプの一番最後に置く
  • ロケールで sort の結果が変わる。 機械が突き合わせるために並べるときは LC_ALL=C。速さも上がる

共通しているのは、「間違ってもエラーが出ない」道具ばかりだということです。 cut は空を返し、uniq は少ない数を返し、join は黙って行を落とし、sort はそれらしく並べます。だから、数を数えて確かめる癖のほうが、コマンドを覚えることより先でした。

ログを目で追う時間は、これでほとんど無くなりました。

参考リンク


次に読む

この記事は 【深掘り】Linux の 3 / 18 本目です。

記事
← 前の記事find・locate・whichで探す — 3部構成で組み立てる
→ 次の記事パイプとリダイレクト — 2>&1は順番で結果が変わる

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Linux — Text Processing
  • awk / cut / sort / uniq / paste / join
  • ログを1行で集計する型

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次