Linux運維學習歷程-第十天-文件查找工具

概述：本篇主要講解locate命令和find命令，來幫助我們在linux中完成文件查找，方便我們快速定位文件。

一、文件查找

   即在文件系統上查找符合條件的文件，常用工具有locate和find

 1、locate命令

   locate命令其實是find -name的另一種寫法，但是要比后者快得多，原因在于它不搜索具體目錄，而是搜索查詢系統上預建的文件索引數據庫/var/lib/locatedb或者/var/lib/mlocate/mlocate.db，這個數據庫中含有本地所有文件信息。

   注意：Linux系統自動創建這個數據庫，并且每天系統較為空閑時自動進行(周期性任務)更新一次，所以使用locate命令查不到最新變動過的文件。為了避免這種情況，可以在使用locate之前，先使用管理員手動更新數據庫（updatedb）手動更新數據庫。同時由于更新構建索引數據庫過程需要遍歷整個根文件系統中的文件，極消耗資源，所以更新此數據庫最好在系統空閑時。

locate工作特點:

    依賴于事先構建的索引/var/lib/mlocate/mlocate.db

    查找速度快（直接搜索數據庫）

    模糊查找（非精確匹配，含有關鍵字即符合條件）

    非實時查找（索引數據庫的構建是非實時的，因此locate也不能實時查找）

    搜索的是文件的全路徑，不僅僅是文件名（以文件的絕對路徑為搜索內容，同時即使使用-b選項也只是基名位置含有關鍵字即可）

    可能只搜索用戶具備讀取和執行權限的目錄（用戶沒有對目錄讀與執行權限就可能無法獲取該目錄下的文件列表信息，因而影響查找結果）

   locate [選項]... 模式...

     常用選項：

       -A，--all           顯示與所有模式都匹配的條目而不是要求只有一個匹配    

      -b, --basename        匹配唯一的路徑名稱的基本文件名

      -c, --count          只顯示找到條目的數量

      -d, --database DBPATH   用DBPATH 替代默認的數據庫(/var/lib/mlocate/mlocate.db)

       -i, --ignore-case        匹配模式時忽略大小寫區別     

       -r, --regexp REGEXP      搜索基本正則表達式 REGEXP 來代替模式

          --regex            模式是擴展正則表達式

     拓展選項：（了解）     

       -e, --existing        只顯示當前存在的文件條目

      -L, --follow         當文件存在時跟隨蔓延的符號鏈接 (默認)

      -l, --limit, -n LIMIT    限制為 LIMIT項目的輸出 (或 計數) 

      -m, --mmap            忽略向后兼容性

      -P, --nofollow, -H       當檢查文件時不跟隨蔓延的符號鏈接

      -0, --null            輸出時以 NUL 分隔項目

      -S, --statistics        不搜索項目,顯示有關每個已用數據庫的統計信息

      -q, --quiet           不報告關于讀取數據庫的錯誤消息    

      -s, --stdio           忽略向后兼容性

      -w, --wholename         匹配完整路徑名 (默認)

示例：

 匹配唯一的路徑名稱的基本文件名（含有關鍵字即可）

[root@localhost ~]# locate -b passwd
/etc/passwd
/etc/passwd-
/etc/pam.d/passwd
/etc/security/opasswd
...

只顯示找到條目的數量

[root@localhost ~]# locate -c passwd
148

使用正則表達式

[root@localhost ~]#   locate -r \.repo$
/etc/bash_completion.d/createrepo
/etc/bash_completion.d/mergerepo
/etc/bash_completion.d/modifyrepo
/etc/yum.repos.d/CentOS-Base.repo

2、find命令

  find命令用來在指定目錄下查找文件。任何位于參數之前的字符串都將被視為欲查找的目錄名。如果使用該命令時，不設置任何參數，則find命令將在當前目錄下查找子目錄與文件。并且將查找到的子目錄和文件全部進行顯示。

find工作特點：

     通過遍歷指定路徑下文件系統層級結構完成文件查找（默認為當前目錄下查找包括子目錄內的所有文件）；

    查找速度略慢（遍歷查找）；

    精確查找（搜索文件名與查找條件匹配）；

    實時查找（現用現找）；

    可能只搜索用戶具備讀取和執行權限的目錄（用戶沒有對目錄讀與執行權限就可能無法獲取該目錄下的文件列表信息，因而影響查找結果）；

 標準語法：find [-H] [-L] [-P] [-D debugopts] [-Olevel] [path...] [expression]        

 簡化語法：find [OPTION] [查找路徑] [查找條件表達式] [處理動作]

    查找路徑：指定具體目標路徑；默認為當前目錄

    查找條件：指定的查找標準，可以文件名、大小、類型、權限等標準進行；默認為找出指定路徑下的所有文件

    處理動作：對符合條件的文件做操作，例如-ls 詳細顯示 -delete刪除等，默認輸出至標準輸出屏幕；

     匹配測試：結果通常布爾型

     根據文件名與inode查找：支持glob風格的通配符：*，?，[]，[^]

              -name "pattern"

              -iname "pattern" ：不區分字母大小寫            

              -inum n 按inode號查找

              -samefile name 相同inode號的文件

              -links n 鏈接數為n的文件

              -regex pattern：基于正則表達式查找文件，匹配的是整個路徑，而非文件名；

     根據文件從屬關系（屬主、屬組）查找：

             -user USERNAME：查找屬主為指定用戶(UID)的所有文件

             -group GRPNAME: 查找屬組為指定組(GID)的所有文件

             -uid UserID：查找屬主為指定的UID號的所有文件

             -gid GroupID：查找屬組為指定的GID號的所有文件

             -nouser：查找沒有屬主的文件

             -nogroup：查找沒有屬組的文件

     根據文件的類型查找：

           -type TYPE:

               f: 普通文件

               d: 目錄文件

               l: 符號鏈接文件

               s：套接字文件

               b: 塊設備文件

               c: 字符設備文件

               p: 管道文件

      組合條件：

          與： -a，默認組合邏輯

          或： -o

          非： -not, !

    德·摩根定律：在命題邏輯中存在著下面這些關系：

       (非 P) 或 (非 Q) = 非(P 且 Q)

       (非 P) 且 (非 Q) = 非(P 或 Q)

    示例：

        !A -a !B = !(A -o B)

         !A -o !B = !(A -a B)

      根據文件大小來查找：

    -size [+|-]#UNIT

        常用單位： k, M, G

    #UNIT: (#-1, #]

        如： 10k 表示(9k,10k]

    -#UNIT： [0,#-1]

        如： -10k 表示[0,9k]

    +#UNIT： (#,∞)

        如： +10k 表示(10k,∞)

     根據時間戳查找：

    以“天”為單位；

      -atime [+|-]#,

        #: [#,#+1)

        +#: [#+1,∞]

        -#: [0,#)

      -mtime

      -ctime

    以“分鐘”為單位：

      -amin

      -mmin

      -cmin

     根據權限查找：

       -perm [/|-]MODE

        MODE: 精確權限匹配

        /MODE：任何一類用戶(u,g,o)對象的權限中任意一位（r,w,x）匹配即可；

                9位權限之間存在“或”關系； 

               +MODE形式  從centos7開始淘汰

        -MODE：每一類用戶（u,g,o）的權限中的每一位（r,w,x）都必須同時擁有指定權限；

                9位權限之間存在“與”關系；

        0 表示不關注

           eg：/002   -002    而且兩者效果一樣

舉例：

    find -perm 755 會匹配權限模式恰好是755的文件

    只要當任意人有寫權限時， find -perm +222就會匹配

    只有當每個人都有寫權限時， find -perm -222才會匹配

    只有當其它人（ other）有寫權限時， find -perm -002才會匹配

處理動作    

    -print：默認的處理動作，顯示至屏幕；

    -ls：類似于對查找到的文件執行“ ls -l”命令

    -delete：刪除查找到的文件；

    -fls file：查找到的所有文件的長格式信息保存至指定文件中

    -ok COMMAND {} \; 對查找到的每個文件執行由COMMAND指定的命令；（固定格式）

    對于每個文件執行命令之前，都會交互式要求用戶確認

eg：

[root@localhost ~]# find /etc -nouser -nogroup -ls
  6594    0 -rwxr-xrwx   1 1006     1006            0 8月 20 15:13 /etc/rc.d/init.d/test
[root@localhost ~]# find /etc -nouser -nogroup -ok chown root:root {} \;
< chown ... /etc/rc.d/init.d/test > ? y

    -exec COMMAND {} \; 對查找到的每個文件執行由COMMAND指定的命令（固定格式）

eg：

[root@localhost init.d]# find ./ -perm -656
./test
[root@localhost init.d]# find ./ -perm -656 -exec mv {} {}.danger \;
[root@localhost init.d]# ll
總用量 92
-rw-r--r--. 1 root root 13948 9月  16 2015 functions
-rwxr-xr-x. 1 root root  2989 9月  16 2015 netconsole
-rwxr-xr-x. 1 root root  6630 9月  16 2015 network
-rw-r--r--. 1 root root  1160 11月 20 2015 README
-rwxr-xrwx. 1 root root     0 8月  20 15:13 test.danger
-rwxr-xr-x. 1 root root 44264 7月  25 22:00 vmware-tools
-rwxr-xr-x. 1 root root 15721 7月  25 22:00 vmware-tools-thinprint

{}: 用于引用查找到的文件名稱自身

    find傳遞查找到的文件至后面指定的命令時，查找到所有符合

    條件的文件一次性傳遞給后面的命令

    有些命令不能接受過多參數，此時命令執行可能會失敗，下面方式可規避此問題

    find | xargs COMMAND

意為：find 命令查找結果以管道 | 傳給后接的 xargs命令 再接接受find標準輸出的命令

xargs：建立和執行來自標準輸入的命令行

xargs命令是給其他命令傳遞參數的一個過濾器，也是組合多個命令的一個工具。它擅長將標準輸入數據轉換成命令行參數，xargs能夠處理管道或者stdin并將其轉換成特定命令的命令參數。xargs也可以將單行或多行文本輸入轉換為其他格式，例如多行變單行，單行變多行。xargs的默認命令是echo，空格是默認定界符。這意味著通過管道傳遞給xargs的輸入將會包含換行和空白，不過通過xargs的處理，換行和空白將被空格取代。xargs是構建單行命令的重要組件之一。

    主要參數

        -i 用 {} 代替 傳遞的數據

        -I string 用string來代替傳遞的數據-n[數字] 設置每次傳遞幾行數據

        -n 選項限制單個命令行的參數個數

        -t 顯示執行詳情

        -p 交互模式

        -P n 允許的最大線程數量為n

        -s[大小] 設置傳遞參數的最大字節數(小于131072字節)

        -x 大于 -s 設置的最大長度結束 xargs命令執行

xargs命令用法 

xargs用作替換工具，讀取輸入數據重新格式化后輸出。 

定義一個測試文件，內有多行文本數據： 

cat test.txt 
a b c d e f g 
h i j k l m n 
o p q 
r s t 
u v w x y z

多行輸入單行輸出： 

cat test.txt | xargs 
a b c d e f g h i j k l m n o p q r s t u v w x y z

-n選項多行輸出： 

cat test.txt | xargs -n3 
a b c 
d e f 
g h i 
j k l 
m n o 
p q r 
s t u 
v w x 
y z

-d選項可以自定義一個定界符： 

echo "nameXnameXnameXname" | xargs -dX

name name name name 

結合-n選項使用： 

echo "nameXnameXnameXname" | xargs -dX -n2

name name 

name name 

讀取stdin，將格式化后的參數傳遞給命令 

假設一個命令為 sk.sh 和一個保存參數的文件arg.txt： 

#!/bin/bash 
#sk.sh命令內容，打印出所有參數。 
echo $* 
arg.txt文件內容： 
cat arg.txt 
aaa 
bbb 
ccc

xargs的一個選項-I，使用-I指定一個替換字符串{}，這個字符串在xargs擴展時會被替換掉，當-I與xargs結合使用，每一個參數命令都會被執行一次： 

cat arg.txt | xargs -I {} ./sk.sh -p {} -l 
-p aaa -l 
-p bbb -l 
-p ccc -l

復制所有圖片文件到 /data/p_w_picpaths 目錄下： 

ls *.jpg | xargs -n1 -I cp {} /data/p_w_picpaths

xargs結合find使用 

用rm 刪除太多的文件時候，可能得到一個錯誤信息：/bin/rm Argument list too long. 用xargs去避免這個問題： 

find . -type f -name "*.log" -print0 | xargs -0 rm -f

xargs -0將\0作為定界符。 

統計一個源代碼目錄中所有php文件的行數： 

find . -type f -name "*.php" -print0 | xargs -0 wc -l

查找所有的jpg 文件，并且壓縮它們： 

find . -type f -name "*.jpg" -print | xargs tar -czvf p_w_picpaths.tar.gz xargs

其他應用 假如你有一個文件包含了很多你希望下載的URL，你能夠使用xargs下載所有鏈接： 

cat url-list.txt | xargs wget -c

子Shell（Subshells） 運行一個shell腳本時會啟動另一個命令解釋器.，就好像你的命令是在命令行提示下被解釋的一樣，類似于批處理文件里的一系列命令。每個shell腳本有效地運行在父shell(parent shell)的一個子進程里。這個父shell是指在一個控制終端或在一個xterm窗口中給你命令指示符的進程。 

cmd1 | ( cmd2; cmd3; cmd4 ) | cmd5 

如果cmd2 是cd /，那么就會改變子Shell的工作目錄，這種改變只是局限于子shell內部，cmd5則完全不知道工作目錄發生的變化。

子shell是嵌在圓括號()內部的命令序列，子Shell內部定義的變量為局部變量。 子shell可用于為一組命令設定臨時的環境變量： 

COMMAND1 

COMMAND2 

COMMAND3 

( 

   IFS=: 

   PATH=/bin 

   unset TERMINFO 

   set -C 

   shift 5 

   COMMAND4 

   COMMAND5 

   exit 3      # 只是從子shell退出。 

)

# 父shell不受影響，變量值沒有更改。 

COMMAND6 

COMMAND7

練習示例：

精確查找對應文件名文件

[root@localhost ~]# find /etc -name "passwd"
/etc/passwd
/etc/pam.d/passwd

根據文件或者正則表達式進行匹配 

列出當前目錄及子目錄下所有文件和文件夾 

find .

在/home目錄下查找以.txt結尾的文件名

find /home -name "*.txt"

同上，但忽略大小寫 

find /home -iname "*.txt"

當前目錄及子目錄下查找所有以.txt和.pdf結尾的文件

find . \( -name "*.txt" -o -name "*.pdf" \) 或 find . -name "*.txt" -o -name "*.pdf"

匹配文件路徑或者文件 

find /usr/ -path "*local*"

基于正則表達式匹配文件路徑 

find . -regex ".*\(\.txt\|\.pdf\)$"

同上，但忽略大小寫 

find . -iregex ".*\(\.txt\|\.pdf\)$"

否定參數 找出/home下不是以.txt結尾的文件 

find /home ! -name "*.txt"

根據文件類型進行搜索 

find . -type 類型參數 

    類型參數列表： 

    f 普通文件 

    l 符號連接 

    d 目錄 

    c 字符設備 

    b 塊設備 

    s 套接字 

    p FIFO 

基于目錄深度搜索 向下最大深度限制為3 

find . -maxdepth 3 -type f

搜索出深度距離當前目錄至少2個子目錄的所有文件

find . -mindepth 2 -type f

根據文件時間戳進行搜索 

find . -type f 時間戳 

UNIX/Linux文件系統每個文件都有三種時間戳： 

    訪問時間（-atime/天，-amin/分鐘）：用戶最近一次訪問時間。 

    修改時間（-mtime/天，-mmin/分鐘）：文件最后一次修改時間。 

    變化時間（-ctime/天，-cmin/分鐘）：文件數據元（例如權限等）最后一次修改時間。 

搜索最近七天內被訪問過的所有文件 

find . -type f -atime -7

搜索恰好在七天前被訪問過的所有文件 

find . -type f -atime 7

搜索超過七天內被訪問過的所有文件 

find . -type f -atime +7

搜索訪問時間超過10分鐘的所有文件 

find . -type f -amin +10

找出比file.log修改時間更長的所有文件 

find . -type f -newer file.log

根據文件大小進行匹配 

find . -type f -size 文件大小單元 

文件大小單元： 

    b —— 塊（512字節） 

    c —— 字節 

    w —— 字（2字節） 

    k —— 千字節 

    M —— 兆字節 

    G —— 吉字節 

搜索大于10KB的文件 

find . -type f -size +10k

搜索小于10KB的文件 

find . -type f -size -10k

搜索等于10KB的文件 

find . -type f -size 10k

刪除匹配文件 

刪除當前目錄下所有.txt文件 

find . -type f -name "*.txt" -delete

根據文件權限/所有權進行匹配 當前目錄下搜索出權限為777的文件 

find . -type f -perm 777

找出當前目錄下權限不是644的php文件 

find . -type f -name "*.php" ! -perm 644

找出當前目錄用戶tom擁有的所有文件 

find . -type f -user tom

找出當前目錄用戶組sunk擁有的所有文件 

find . -type f -group sunk

借助-exec選項與其他命令結合使用 找出當前目錄下所有root的文件，并把所有權更改為用戶tom 

find .-type f -user root -exec chown tom {} \;

上例中，{} 用于與-exec選項結合使用來匹配所有文件，然后會被替換為相應的文件名。 

找出自己家目錄下所有的.txt文件并刪除 

find $HOME/. -name "*.txt" -ok rm {} \;

上例中，-ok和-exec行為一樣，不過它會給出提示，是否執行相應的操作。 

查找當前目錄下所有.txt文件并把他們拼接起來寫入到all.txt文件中 

find . -type f -name "*.txt" -exec cat {} \;> all.txt

將30天前的.log文件移動到old目錄中 

find . -type f -mtime +30 -name "*.log" -exec cp {} old \;

找出當前目錄下所有.txt文件并以“File:文件名”的形式打印出來 

find . -type f -name "*.txt" -exec printf "File: %s\n" {} \;

因為單行命令中-exec參數中無法使用多個命令，以下方法可以實現在-exec之后接受多條命令 -exec ./text.sh {} \; 搜索但跳出指定的目錄 查找當前目錄或者子目錄下所有.txt文件，但是跳過子目錄sk 

find . -path "./sk" -prune -o -name "*.txt" -print

find其他技巧收集 

要列出所有長度為零的文件 

find . -empty

二、作業練習：

1、查找/var目錄下屬主為root，且屬組為mail的所有文件

[root@localhost ~]# find /var -user root -group mail
/var/spool/mail
/var/spool/mail/root

2、查找/var目錄下不屬于root、lp、gdm的所有文件

find /var  -not \( -user root -o -user lp -o -user gdm \)

3、查找/var目錄下最近一周內其內容修改過，同時屬主不為root，也不是postfix的文件

find /var -mtime -7 -not \( -user root -a -user postfi \)

4、查找當前系統上沒有屬主或屬組，且最近一個周內曾被訪問過的文件

find / -atime -7 -not \( -nouser  -a -nogroup  \)

5、查找/etc目錄下大于1M且類型為普通文件的所有文件

find /etc \( -size +1M -type f \) -ls

6、查找/etc目錄下所有用戶都沒有寫權限的文件

find /etc -not -perm /222 -ls

7、查找/etc目錄下至少有一類用戶沒有執行權限的文件

find /etc -not -perm -111 -ls

8、查找/etc/init.d目錄下，所有用戶都有執行權限，且其它用戶有寫權限的文件

find /etc/init.d/ -perm -111 -perm /002 -ls

9、查找/tmp目錄下屬主為非root的所有文件；

[root@localhost ~]# find /tmp ! -user root
[root@localhost ~]# find /tmp -not -user root

10、查找/tmp目錄下文件名中不包含fstab字符串的文件；

[root@localhost ~]# find /tmp ! -iname "*fstab*"
[root@localhost ~]# find /tmp -not -iname "*fstab*"

11、查找/tmp目錄下屬主為非root，而且文件名中不包含fstab字符串的文件；

find /tmp ! -user root ! -iname "*fstab*"
find /tmp ! -user root -a ! -iname "*fstab*"
find /tmp -not -user root -a -not -iname "*fstab*"
find /tmp ! \( -user root -o -not -iname \) "*fstab*"
find /tmp -not \( -user root -o -not -iname \) "*fstab*"