find・locate・whichで探す — 3部構成で組み立てる

find・locate・which。フォルダの棚と検索用の虫眼鏡、目的のファイルを示すしおり。

探すコマンドは3つあり、得意分野が違います。find・locate・whichを条件の組み立て方から押さえます。

前回: ファイル操作 rm・cp・mv・ln — 消したものは戻らない これは深掘りです。本線の順路ではありません。 本線のLinuxの基本コマンド|移動・表示・検索・編集の4動作で覚えるで find を1行だけ使いました。その1行の中身を、ここで全部開けます。飛ばしても本線は進みます。

この記事のコマンドは、すべて Ubuntu の中で打ちます。 Windows の PowerShell ではありません。 プロンプトが ユーザー名@ホスト名:~$ になっていれば、Linux の中にいます。

サーバーを触っていて、一番よく止まるのはここでした。

「設定ファイル、どこにあるんだっけ」

Windows なら、エクスプローラの右上に検索窓があります。とりあえず打てば、勝手に探してくれます。Ubuntu Server にはその窓がありません。 そして自分は最初、ls で当たりを付けながらディレクトリを1階層ずつ降りていました。3階層目で心が折れます。

もう1つ困ったのは、探し方が1種類だと思っていたことです。find を覚えて、それを全部に使おうとしました。すると find / -name nginx のような打ち方になり、返ってくるまで20秒かかって、しかも Permission denied が何十行も混ざって、結果が読めません。

実際には、Linux の「探す」は目的別に3つの道具に分かれています。ここを分けた瞬間に、探すのが作業ではなくなりました。

道具何を探すかやり方
findファイルとフォルダいま、その場でディスクを辿る。最新の状態が必ず出る。遅い
locateファイルとフォルダ前もって作った索引を引く。一瞬で出る。新しいファイルは出ない
which / typeコマンドの実体いま打てるコマンドが、どのファイルなのかを答える

そして「ファイルの中身」を探すのは grep で、これはテキスト処理の回でやりました。この記事の最後で、find と grep を繋ぎます。

対象レベル: 中級〜上級 / 区分: 発展

目次

この記事でわかること

  • 探し方は3種類あり、目的が違うこと。find は辿る、locate は索引を引く、which はコマンドの実体を答える
  • find は「どこから・条件・何をする」の3部構成であること。暗記ではなく組み立てで書ける
  • -name をクォートしないと、シェルが先に展開して結果が変わること
  • -exec ... \; と -exec ... + は起動回数が違うこと。実測すると一目で分かる
  • locate は索引なので、さっき作ったファイルは出ないこと
  • コマンドの実体は which より type が正確なこと。エイリアスと組み込みコマンドが見えるため

この記事でやること

  1. 練習用のフォルダとファイルを自分で作る
  2. find を3部構成で組み立てる。条件を1つずつ足す
  3. -print で確かめてから -exec / -delete に進む型を作る
  4. -exec ... \; と -exec ... + の起動回数を実測して比べる
  5. plocate を入れて、索引が更新されるまで結果が出ないことを確認する
  6. type でエイリアスと組み込みコマンドの正体を見る
  7. find と grep、du と find -size を繋いで、実務の形にする

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
グロブ(ワイルドカード)*.log の * のような「なんでもいい」を表す記号。シェルもコマンドも両方これを解釈するため、どちらが解釈するかで結果が変わる
クォート' や " で囲むこと。囲むとシェルが手を出さず、中身がそのままコマンドに渡る
式(式の評価)find の条件部分のこと。find は条件を書いた順に左から評価する。順番が意味を変える
エイリアスコマンドに付けた別名。ls と打つと実際は ls --color=auto が動く、のような仕掛け
シェル組み込みコマンドcd のように、ファイルとして存在せず、シェル自身が持っているコマンド
索引(インデックス)中身をあらかじめ一覧にしておいたもの。引くのは速いが、作った時点の情報しか無い
標準エラー出力エラーメッセージが流れる、通常の出力とは別の経路。2> で捨てられる

練習用のファイルを作る

本物のシステムを相手に練習しません。 消すコマンドまで扱うので、失敗しても何も壊れない場所を先に作ります。

bash
$ mkdir -p ~/findlab/app/logs ~/findlab/app/conf ~/findlab/data/old
$ cd ~/findlab

中身を作ります。

bash
$ touch app/conf/site.conf app/conf/Site.CONF app/conf/db.conf
$ touch app/logs/access.log app/logs/error.log data/old/backup.log
$ echo "listen 8080" > app/conf/site.conf
$ echo "listen 3000" > app/conf/db.conf

大きいファイルと、古いファイルも1つずつ用意します。

bash
$ fallocate -l 20M ~/findlab/data/big.bin
$ touch -d "60 days ago" ~/findlab/data/old/backup.log

fallocate は指定したサイズのファイルを一瞬で作るコマンドです。touch -d は更新日時を書き換える指定で、これで「60日前に更新されたファイル」を作れます。

確認します。

bash
$ ls -lR ~/findlab

[スクリーンショット: 01_練習用フォルダ.png] ls -lR ~/findlab を実行して、app と data の中身が一覧で出ている画面を撮ってください。

find — 3部構成で組み立てる

find のオプション一覧を読んでも頭に入りませんでした。入るようになったのは、3つの部品に分けて考えてからです。

find  <どこから>  <条件>  <何をする>
部品何を書くか省略すると
どこから探し始めるディレクトリカレントディレクトリ(.)から
条件名前・種類・サイズ・日付など全部が対象
何をする表示・削除・コマンドを実行表示(-print)される

だから一番短い find は、これです。

bash
$ find ~/findlab
/home/ubuntu/findlab
/home/ubuntu/findlab/app
/home/ubuntu/findlab/app/conf
/home/ubuntu/findlab/app/conf/site.conf
/home/ubuntu/findlab/app/conf/Site.CONF
/home/ubuntu/findlab/app/conf/db.conf
/home/ubuntu/findlab/app/logs
/home/ubuntu/findlab/app/logs/access.log
/home/ubuntu/findlab/app/logs/error.log
/home/ubuntu/findlab/data
/home/ubuntu/findlab/data/big.bin
/home/ubuntu/findlab/data/old
/home/ubuntu/findlab/data/old/backup.log

条件を書かなければ全部出ます。 ここから条件で絞っていくのが find です。

条件① 名前で絞る — -name / -iname

bash
$ find ~/findlab -name "*.conf"
/home/ubuntu/findlab/app/conf/site.conf
/home/ubuntu/findlab/app/conf/db.conf

Site.CONF が出ていません。 -name は大文字と小文字を区別するためです。区別せずに探すのが -iname です。

bash
$ find ~/findlab -iname "*.conf"
/home/ubuntu/findlab/app/conf/site.conf
/home/ubuntu/findlab/app/conf/Site.CONF
/home/ubuntu/findlab/app/conf/db.conf

探しているのに出てこないとき、まず -iname を試す。 これは grep -i と同じ発想です。

-name は必ずクォートする

ここが find で最初にはまる場所でした。クォートを外すと、まったく違う動きになります。

bash
$ cd ~/findlab/app/conf
$ find . -name *.conf
find: paths must precede expression: `site.conf'

エラーになりました。理由は、find が受け取る前に、シェルが *.conf を展開してしまうからです。

カレントディレクトリに site.conf と db.conf があるので、シェルは実際にはこう書き換えてから find を起動しています。

find . -name site.conf db.conf

find から見ると、-name の値は site.conf で、その後ろの db.conf は謎の引数です。だから怒られます。

さらに厄介なのは、エラーにならず「静かに間違う」場合があることです。カレントディレクトリに .conf ファイルが1つしか無ければ、シェルはそれ1つに展開し、find はその名前だけを探します。エラーは出ません。結果が少ないことに、こちらが気づかないだけです。

クォートすれば、シェルは手を出さず、*.conf がそのまま find に渡ります。グロブを解釈するのが find 自身になるので、探し始めた場所の下の全階層に効きます。

bash
$ find . -name "*.conf"

-name の値は常にクォートする。 これは例外なしの型にしてよいと思っています。

bash
$ cd ~/findlab

条件② 種類で絞る — -type

bash
$ find ~/findlab -type d
/home/ubuntu/findlab
/home/ubuntu/findlab/app
/home/ubuntu/findlab/app/conf
/home/ubuntu/findlab/app/logs
/home/ubuntu/findlab/data
/home/ubuntu/findlab/data/old
書き方対象
-type fファイル(通常のファイル)
-type dディレクトリ
-type lシンボリックリンク(Windowsのショートカットに近いもの)

実務では -type f を付ける癖を付けたほうが安全です。 後で -delete や -exec を繋いだとき、ディレクトリが混ざっていると事故になります。

条件③ サイズで絞る — -size

bash
$ find ~/findlab -type f -size +10M
/home/ubuntu/findlab/data/big.bin
書き方意味
+10M10MBより大きい
-10M10MBより小さい
10Mちょうど10MB(切り上げ後の比較なので、ほぼ当たらない)

単位を書かないと「ブロック数」になります。 -size 100 は 100 バイトではなく 512バイト単位で100個分の意味です。k M G を必ず付けます。

条件④ 日付で絞る — -mtime

bash
$ find ~/findlab -type f -mtime +30
/home/ubuntu/findlab/data/old/backup.log

先ほど touch -d "60 days ago" で古くしたファイルだけが出ました。

書き方意味
-mtime +3030日より前に更新された(=古い)
-mtime -77日以内に更新された(=新しい)
-mmin -1010分以内に更新された

+ が「より古い」、- が「より新しい」です。 ここは何度も逆に覚えました。数直線ではなく「経過時間」の大小だと考えると間違えません。経過時間が +30(30日超)なら古い、ということです。

-mmin -10 は障害対応で本当に使います。「さっき誰かが何を触ったか」が出ます。

条件⑤ 持ち主と権限 — -user / -perm

bash
$ find ~/findlab -type f -user $USER

$USER は「いまログインしている自分のユーザー名」が入る変数です。全部出ます。

権限で探すこともできます。Permission denied の回でやった 755 の数字が、そのまま条件になります。

bash
$ chmod 777 ~/findlab/app/logs/error.log
$ find ~/findlab -type f -perm 777
/home/ubuntu/findlab/app/logs/error.log

-perm には3つの書き方があり、意味がまったく違います。

書き方意味
-perm 777ぴったり777のものだけ
-perm -644少なくとも644を含むもの(それ以上は許す)
-perm /o+wその他のユーザーが書けるもの(どれか1つでも該当)

セキュリティ点検で一番使うのは3番目です。「誰でも書き換えられるファイルが転がっていないか」を洗い出せます。

bash
$ find ~/findlab -type f -perm /o+w

戻しておきます。

bash
$ chmod 644 ~/findlab/app/logs/error.log

条件を組み合わせる — -and / -or / !

条件を並べて書くと、それだけで「かつ」になります。

bash
$ find ~/findlab -type f -name "*.log"

これは -type f -and -name "*.log" と同じです。-and は書いても書かなくても同じなので、普段は書きません。

「または」は明示が要ります。

bash
$ find ~/findlab -name "*.log" -o -name "*.conf"
/home/ubuntu/findlab/app/conf/site.conf
/home/ubuntu/findlab/app/conf/db.conf
/home/ubuntu/findlab/app/logs/access.log
/home/ubuntu/findlab/app/logs/error.log
/home/ubuntu/findlab/data/old/backup.log

否定は ! です。

bash
$ find ~/findlab -type f ! -name "*.log"
/home/ubuntu/findlab/app/conf/site.conf
/home/ubuntu/findlab/app/conf/Site.CONF
/home/ubuntu/findlab/app/conf/db.conf
/home/ubuntu/findlab/data/big.bin

括弧はエスケープする

「かつ」と「または」を混ぜると、優先順位で意図とずれます。 -and のほうが -o より強いためです。

bash
$ find ~/findlab -type f -name "*.log" -o -name "*.conf"

これは (-type f -and -name "*.log") -or (-name "*.conf") と解釈されます。.conf 側に -type f が効いていません。

括弧でまとめます。ただし括弧はシェルにとっても特別な記号なので、そのまま書くと構文エラーになります。バックスラッシュで逃がします。

bash
$ find ~/findlab -type f \( -name "*.log" -o -name "*.conf" \)

\( と \) の両側に空白が要ります。 \(-name と詰めると動きません。

クォートで囲む書き方でも同じです。どちらでも構いません。

bash
$ find ~/findlab -type f '(' -name "*.log" -o -name "*.conf" ')'

-maxdepth は条件より前に置く

深く潜りたくないときは -maxdepth を使います。

bash
$ find ~/findlab -maxdepth 1 -type f

これを後ろに書くと警告が出ます。

bash
$ find ~/findlab -type f -maxdepth 1
find: warning: you have specified the global option -maxdepth after the argument -type, but global options are not positional, i.e., -maxdepth affects tests specified before it as well as those specified after it. Please specify global options before other arguments.

長いですが、言っていることは1つです。-maxdepth は「その位置から効く条件」ではなく、コマンド全体に効く設定なので、書く場所が意味と食い違う、という警告です。動きはしますが、読む人が誤解します。先頭に置くと決めてしまえば済みます。

-maxdepth 1 は「指定した場所の直下だけ」、-maxdepth 2 で「もう1階層下まで」です。/ のような広い場所を探すとき、これがあるだけで時間がまったく変わります。

[スクリーンショット: 02_find条件.png] find ~/findlab -type f \( -name "*.log" -o -name "*.conf" \) を実行して、5件が出ている画面を撮ってください。

見つけたものに、何かする

ここからが find の本番であり、一番危ないところです。

まず -print。これを型にする

何もしなければ表示されると書きました。それでも、明示的に -print を書くのを型にしています。

bash
$ find ~/findlab -type f -name "*.log" -print

理由は単純で、この行の最後だけを書き換えて、次の動作に進むからです。

find <どこから> <条件> -print      ← まず確認
find <どこから> <条件> -delete     ← 確認できたら置き換える

-print で出た一覧が、そのまま次に消えるものです。 頭の中で「たぶん合っているはず」と進めると、消してから気づきます。

-delete — 順番を間違えると全部消える

bash
$ find ~/findlab/data/old -type f -name "*.log" -print

出たものを確認してから、末尾だけ差し替えます。

bash
$ find ~/findlab/data/old -type f -name "*.log" -delete

確認します。

bash
$ find ~/findlab/data/old
/home/ubuntu/findlab/data/old

ファイルが消え、ディレクトリだけ残りました。

ここで絶対にやってはいけない書き方があります。

find ~/findlab -delete -name "*.log"

これは全部消えます。 find は条件を左から順に評価するので、-delete が先に実行されます。-name の判定はその後で、判定される頃にはもう消えています。

「何をする」は必ず一番最後。 これも例外なしです。そして -delete には確認もゴミ箱もありません。基本コマンドの回の rm と同じで、戻すコマンドは存在しません。

-exec — 見つけたものにコマンドを流す

-delete は消すだけです。任意のコマンドを流すのが -exec です。

bash
$ find ~/findlab -type f -name "*.conf" -exec ls -l {} \;
-rw-r--r-- 1 ubuntu ubuntu 12 Sep 17 10:02 /home/ubuntu/findlab/app/conf/site.conf
-rw-r--r-- 1 ubuntu ubuntu 12 Sep 17 10:02 /home/ubuntu/findlab/app/conf/db.conf

読み方はこうです。

部品意味
-exec「見つけたものに、このコマンドを実行する」
{}見つかったファイル名がここに入る
\;ここまでがコマンドという区切り

; をエスケープするのは、シェルにとって ; がコマンドの区切りだからです。裸で書くと、シェルが find ... -exec ls -l {} と ; の2つのコマンドだと解釈して、find: missing argument to -exec になります。\; でも ';' でも構いません。

\; と + の違いを実測する

-exec の終わりには \; と + の2種類があります。違いは「起動回数」です。 説明を読むより、数えたほうが速いです。

500個のファイルを作ります。

bash
$ mkdir -p ~/findlab/many
$ cd ~/findlab/many
$ for i in $(seq 1 500); do touch "file$i.log"; done

\; で echo を流し、出力が何行になるかを数えます。

bash
$ find ~/findlab/many -name "*.log" -exec echo {} \; | wc -l
500

次に + にします。

bash
$ find ~/findlab/many -name "*.log" -exec echo {} + | wc -l
1

同じ500ファイルなのに、1行になりました。

書き方動き
\;1件ごとにコマンドを起動する。 500ファイルなら echo が500回動く
+まとめて引数として渡す。 echo が1回動き、500個の名前を一度に受け取る

echo が1回しか動いていないから、改行も1つしか出ない、というだけの話です。起動回数がそのまま見えました。

時間も測ってみます。

bash
$ time find ~/findlab/many -name "*.log" -exec touch {} \;
$ time find ~/findlab/many -name "*.log" -exec touch {} +
real	0m0.612s
...
real	0m0.021s

30倍近く違いました。 ファイルが数万件あるディレクトリでは、体感で止まって見えるレベルの差になります。

どちらを使うか。

  • 基本は +。 速いのはこちらです
  • \; が要るのは、1件ずつでないと成立しないとき。 典型は mv {} {}.bak のように、{} を複数回使う場合です。+ は末尾にまとめて置く形なので、この書き方ができません
bash
$ find ~/findlab/data -type f -name "*.bin" -exec mv {} {}.bak \;
$ ls ~/findlab/data
big.bin.bak  old

戻します。

bash
$ mv ~/findlab/data/big.bin.bak ~/findlab/data/big.bin

xargs — パイプで繋ぐもう1つの道

同じことは xargs でもできます。パイプで find の結果を渡す形です。

bash
$ find ~/findlab -type f -name "*.conf" | xargs ls -l

xargs は受け取った行を、後ろのコマンドの引数に並べ替えて実行する道具です。-exec ... + とほぼ同じことをします。

なぜ2つあるのか。 xargs のほうが、途中に grep や sort を挟めるぶん柔軟です。一方で、次に書く落とし穴があるぶん危険でもあります。

空白や改行を含むファイル名で壊れる

find | xargs は、ファイル名に空白があると壊れます。

bash
$ touch ~/findlab/"my report.log"
$ find ~/findlab -name "*.log" | xargs ls -l
ls: cannot access '/home/ubuntu/findlab/my': No such file or directory
ls: cannot access 'report.log': No such file or directory

my report.log が、my と report.log の2つとして扱われました。 xargs は空白を区切りとして読むためです。

これが ls なら「エラーが出た」で済みますが、rm だったら別のファイルを消します。 実際、find | xargs rm は事故報告が多い組み合わせです。

解決策は、区切りを空白ではなく「ヌル文字」にすることです。

bash
$ find ~/findlab -name "*.log" -print0 | xargs -0 ls -l
部品意味
-print0ファイル名をヌル文字区切りで出す(find 側)
-0ヌル文字区切りで読む(xargs 側)

ヌル文字はファイル名に絶対に含められない文字なので、これを区切りにすれば誤解のしようがありません。find | xargs を書くときは、-print0 と -0 をセットで書く。 片方だけでは効きません。

なお -exec ... + にはこの問題がありません。 パイプを経由せず find が直接引数を渡すためです。迷ったら -exec ... + のほうが安全です。

片付けておきます。

bash
$ rm ~/findlab/"my report.log"

locate — 索引を引く

find は毎回ディスクを辿ります。だから正確ですが、/ から探すと遅いです。先に索引を作っておいて、それを引くのが locate です。

Ubuntu では plocate という実装を入れます。

bash
$ sudo apt update
$ sudo apt install -y plocate

入れた直後に使ってみます。

bash
$ locate site.conf
locate: can not open `/var/lib/plocate/plocate.db': No such file or directory

索引がまだありません。 ここが locate の性格そのものです。locate はディスクを見ていません。索引ファイルを見ています。

索引を作ります。

bash
$ sudo updatedb

数十秒かかることがあります。終わったらもう一度。

bash
$ locate site.conf
/home/ubuntu/findlab/app/conf/site.conf

一瞬で出ます。find / -name "site.conf" と比べると、体感がまったく違います。

さっき作ったファイルは出ない

索引である以上、索引を作ったあとの変化は反映されません。 確かめます。

bash
$ touch ~/findlab/brandnew.conf
$ locate brandnew.conf

何も出ません。

bash
$ find ~/findlab -name "brandnew.conf"
/home/ubuntu/findlab/brandnew.conf

find は出します。 この差が、2つを使い分ける理由のすべてです。

bash
$ sudo updatedb
$ locate brandnew.conf
/home/ubuntu/findlab/brandnew.conf

索引を作り直せば出ます。索引の更新は、通常は1日1回、systemd のタイマーが自動で回しています。

bash
$ systemctl list-timers plocate-updatedb.timer

タイマーの話はプロセスとサービスの回で扱った systemctl そのものです。

使い分け理由
昔からある場所を探すlocate。速い。設定ファイルやコマンドの在り処
さっき作った・さっき置かれたものfind。索引に無い
サイズ・日付・権限で絞るfind。locate は名前でしか引けない

権限の見え方が違う

plocate は、結果を出すときに「あなたがそのパスを辿れるか」を確認して、辿れないものを隠します。

bash
$ sudo updatedb
$ locate plocate.db

一般ユーザーでは何も出ないか、少ない結果になります。

bash
$ sudo locate plocate.db
/var/lib/plocate/plocate.db

sudo を付けると出ました。 索引の中身は同じで、見せ方が違うだけです。「あるはずのものが locate で出ない」ときは、まず sudo を付けて試すと切り分けられます。

コマンドの実体を探す

3つ目の道具です。探す対象がファイルではなく「いま打てるコマンド」のときは、専用の道具を使います。

bash
$ which ls
/usr/bin/ls

これで十分に見えます。ですが which は嘘をつくことがあります。

bash
$ which cd

何も出ません。 cd は毎日使っているのに、です。

bash
$ type cd
cd is a shell builtin

cd はファイルとして存在しません。 シェル自身が持っている機能(組み込みコマンド)だからです。which はディスク上の実行ファイルしか探さないので、存在しないと答えるしかありません。

もう1つ。

bash
$ type ls
ls is aliased to `ls --color=auto'

ls と打ったとき、実際に動いているのは ls --color=auto です。 Ubuntu の初期設定ファイルにそう書いてあります。which ls は /usr/bin/ls と答えますが、あなたが打っている ls はそれとは少し違うものです。

全部見たいときは -a を付けます。

bash
$ type -a ls
ls is aliased to `ls --color=auto'
ls is /usr/bin/ls

エイリアスと実体の両方が出ました。 これが type が一番正確だと言える理由です。

道具何を答えるか弱点
typeエイリアス・組み込み・関数・実行ファイルを全部出力が人間向けで、スクリプトでは扱いにくい
command -v実行されるものを1行でエイリアスかどうかの区別が薄い
which実行ファイルのパスだけエイリアスも組み込みも見えない
whereis実行ファイル・説明書(man)・ソースの場所決まった場所しか探さないため取りこぼす
bash
$ command -v ls
$ whereis ls
alias ls='ls --color=auto'
ls: /usr/bin/ls /usr/share/man/man1/ls.1.gz

whereis は説明書の場所まで出すのが特徴です。

普段は type を使う。 これで「そんなコマンドは無いはずなのに動く」「動くはずなのにスクリプトの中では動かない」の大半が説明できます。スクリプトの中はエイリアスが読み込まれていないことが多く、それが原因です。

入っていないものを which しても、何も言わない

本線でも触れましたが、ここは事故の種です。

bash
$ which nginx

素の Ubuntu Server では何も出ません。 これは「見つからなかった」という意味ですが、エラーメッセージも出ません。 打った人は「無反応だった」としか思えません。

type なら理由を言ってくれます。

bash
$ type nginx
bash: type: nginx: not found

「無い」とはっきり書いてあるほうが、初心者には親切です。

[スクリーンショット: 03_type結果.png] type -a ls と type cd を続けて実行して、エイリアスと組み込みコマンドが表示されている画面を撮ってください。

中身から探す — find と grep を繋ぐ

ここまでは「ファイル名で探す」話でした。「中に書いてある文字で探す」のが grep で、テキスト処理の回でやりました。

まずは grep 単体です。-r でフォルダごと潜ります。

bash
$ grep -rn "listen" ~/findlab
/home/ubuntu/findlab/app/conf/site.conf:1:listen 8080
/home/ubuntu/findlab/app/conf/db.conf:1:listen 3000

これで足りるなら、find は要りません。 grep -r だけで済みます。

find と繋ぐ意味があるのは、grep の条件だけでは絞れないときです。

bash
$ find ~/findlab -type f -name "*.conf" -mtime -7 -exec grep -ln "listen" {} +
/home/ubuntu/findlab/app/conf/site.conf
/home/ubuntu/findlab/app/conf/db.conf

やっていることを分解します。

部分役割
-name "*.conf" -mtime -7find にしかできない絞り込み(名前と更新日時)
-exec grep -ln ... {} +絞り込んだものだけに grep をかける
grep -l一致した行ではなくファイル名だけを出す

役割分担はこうです。

find が「どのファイルを調べるか」を決め、grep が「その中に何が書いてあるか」を調べる。

大量のログがあるサーバーで、grep -r を丸ごとかけると数分返ってこないことがあります。find で先に「今週更新されたものだけ」に絞ってから渡すと、一瞬で終わります。

xargs で書くなら、先ほどの型を守ります。

bash
$ find ~/findlab -type f -name "*.conf" -print0 | xargs -0 grep -ln "listen"

ディスクを食っているものを探す

実務で一番使う「探す」がこれです。 サーバーの容量が埋まったとき、何が食っているのかを特定するまで、何も直せません。

まず全体を見ます。

bash
$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        19G   14G  4.1G  78% /

df は「残りどれだけか」しか教えてくれません。 犯人を探すのは du です。

bash
$ du -sh ~/findlab
21M	/home/ubuntu/findlab
オプション意味
-s合計だけ出す(中身を1行ずつ出さない)
-h人が読める単位(K / M / G)にする

上から順に降りていくのが定石です。

bash
$ du -h --max-depth=1 ~/findlab | sort -h
0	/home/ubuntu/findlab/app/logs
8.0K	/home/ubuntu/findlab/app/conf
12K	/home/ubuntu/findlab/app
21M	/home/ubuntu/findlab/data
21M	/home/ubuntu/findlab

sort -h は「21M」「8.0K」のような単位付きの数字を正しく並べます。 ただの sort だと文字として比較され、8.0K が 21M より後ろに来ます。テキスト処理の回の sort -n と同じ話です。

一番大きい行を見て、そこに降りる。 これを繰り返すと犯人に着きます。

bash
$ du -h --max-depth=1 ~/findlab/data | sort -h

「フォルダではなく、大きいファイルそのものを出したい」ときが find -size です。

bash
$ find ~/findlab -type f -size +10M -exec ls -lh {} + | sort -k5 -h
-rw-r--r-- 1 ubuntu ubuntu 20M Sep 17 10:02 /home/ubuntu/findlab/data/big.bin

本番のサーバーで打つ形はこうです。

bash
$ sudo du -h --max-depth=1 / 2>/dev/null | sort -h | tail -n 10
$ sudo find /var -type f -size +100M 2>/dev/null
部分なぜ要るか
sudo自分の権限では読めない場所があると、そこだけ数え落とす
2>/dev/null読めない場所の Permission denied を捨てる。これが無いと結果が埋まる
tail -n 10sort -h の後ろが一番大きいので、末尾だけ見る

2>/dev/null は「エラーメッセージを捨てる」指定です。 2> が標準エラー出力、/dev/null が捨て場です。便利ですが、本当に見たいエラーまで消えます。 最初は付けずに打ち、うるさすぎたら付ける、という順にしています。

du と find の使い分けは、これだけです。

知りたいこと道具
どのフォルダが重いかdu。上から降りる
どのファイルが大きいかfind -size。名前が直接出る

つまずいたところ

find の結果が明らかに少なかった

find . -name *.log と、クォート無しで打っていました。エラーにならず、1件だけ出て終わりでした。カレントディレクトリに .log が1つあって、シェルがそれに展開していたためです。

エラーが出るときはまだ幸せです。 静かに間違うほうが怖いと分かりました。-name は必ずクォートする、で片付きました。

find / -name ... が終わらない

/ から探すと、システム全体を辿ります。Permission denied が延々流れて結果が埋まり、Ctrl + C で止めました。

  • 探し始める場所を絞る。 / ではなく /var や /home
  • -maxdepth を先に置く
  • エラーが邪魔なら 2>/dev/null
  • 名前だけで探すなら locate

「find が遅い」と思っていましたが、遅かったのは自分の指定でした。

-exec で find: missing argument to -exec が出た

\; の \ を書き忘れていました。; はシェルがコマンドの区切りとして先に食うので、find には -exec の終わりが届いていませんでした。\; か ';' のどちらかで囲む、と覚え直しました。

\; と + の違いが説明を読んでも分からなかった

「一括で渡す」と書かれても、何が嬉しいのか分かりませんでした。 echo で行数を数えて、500 と 1 という数字を見て初めて分かりました。起動回数の話だったというだけです。

分からない仕様は、差が数字で出る形に置き換えて測る。 これが一番早いと思っています。

locate で作ったばかりのファイルが出ず、壊れたと思った

locate を「速い find」だと思っていました。索引を引いているだけなので、索引に無いものは存在しないのと同じです。sudo updatedb を打ったら出ました。

「速い」には理由がある。 速い代わりに、何かを諦めています。

スクリプトの中だけ挙動が違った

手で打つと期待通りなのに、シェルスクリプトに書くと違う動きをしました。原因はエイリアスで、スクリプトの回で書いたファイルの中では、対話用の設定が読み込まれていませんでした。

type -a を打って、手元で動いているものが実は別物だったと分かりました。which だけ見ていたら気づけませんでした。

後片づけ

練習用のフォルダを消します。中身は全部この記事で作ったものです。

消す前に、必ず場所を確認します。

bash
$ ls ~/findlab

app data many などが見えれば、練習用のフォルダで合っています。

bash
$ rm -rf ~/findlab

plocate は入れておいて損はありませんが、消すならこうします。

bash
$ sudo apt remove -y plocate

索引ファイルも消したい場合は、--purge を付けます。

bash
$ sudo apt remove --purge -y plocate

-perm の練習で chmod 777 にしたファイルは、~/findlab ごと消えるので残りません。

まとめ

  • 探し方は3種類ある。 find=いま辿る / locate=索引を引く / type=コマンドの実体。混ぜると遅いか、見つからない
  • find は「どこから・条件・何をする」の3部構成。 暗記ではなく、部品を埋めれば組み立てられる
  • -name は必ずクォートする。 しないとシェルが先に展開し、エラーも出ずに結果が減る
  • 見つからないときは、まず -iname。 大文字小文字は既定で区別される
  • -size は単位を書く。 書かないと512バイト単位のブロック数になる
  • -mtime +30 が「古い」、-mtime -7 が「新しい」。 経過時間の大小だと考えると間違えない
  • 括弧は \( \) とエスケープし、両側に空白を空ける。 条件を並べると「かつ」、-o が「または」
  • -maxdepth は先頭に置く。 全体に効く設定なので、後ろに書くと警告が出る
  • 「何をする」は必ず一番最後。 -delete を条件より前に書くと、判定される前に消える
  • -print で確認してから、末尾だけ -delete や -exec に差し替える。 これを型にすれば事故らない
  • \; は1件ずつ起動、+ はまとめて1回。 500件で行数が 500 対 1、時間が30倍近く違った
  • {} を複数回使うときだけ \;。 それ以外は + のほうが速く、安全
  • find | xargs は空白を含む名前で壊れる。 -print0 と -0 をセットで書く。片方だけでは効かない
  • locate は索引なので、さっき作ったファイルは出ない。 sudo updatedb で作り直す
  • locate は辿れない場所を隠す。 出ないときは sudo を付けて切り分ける
  • コマンドの実体は type が一番正確。 which はエイリアスも組み込みコマンドも見えない
  • ls は実は ls --color=auto だった。 type -a を打つまで気づけない
  • 容量は du で降り、find -size でファイルを名指しする。 sort -h を忘れると並び順が壊れる

参考リンク


次に読む

この記事は 【深掘り】Linux の 2 / 18 本目です。

記事
← 前の記事ファイル操作 rm・cp・mv・ln — 消したものは戻らない
→ 次の記事テキスト処理 cut・awk・sort・uniq — 10が9より前に来る

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Linux — Finding Files
  • find / locate / which・type
  • grep と組み合わせて探す

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次