如何分析Linux命令du和df統計結果差異

這篇文章跟大家分析一下“如何分析Linux命令du和df統計結果差異”。內容詳細易懂，對“如何分析Linux命令du和df統計結果差異”感興趣的朋友可以跟著小編的思路慢慢深入來閱讀一下，希望閱讀后能夠對大家有所幫助。下面跟著小編一起深入學習“如何分析Linux命令du和df統計結果差異”的知識吧。

11.文件存儲和刪除的底層過程

這里簡單說明下文件系統相關的底層機制。

首先說明下文件是怎么存儲到文件系統中的。假如要存儲a.txt到/tmp目錄下。

當a.txt文件要存儲到/tmp下時：

• (1).首先從inode table中找一個空閑的inode號分配給a.txt，例如2222。再將inode map(imap)中2222這個inode號標記為已使用。

• (2).在/tmp的data block中添加一條a.txt文件的記錄。該記錄中包括一個指向inode號的指針，例如”0x2222″。

• (3).然后從block map(bmap)中找出空閑的data block，并開始將a.txt中的數據寫入到data block中。每寫一段空間(每次分配一段空間)就從bmap中找一次空閑的data block，直到存完所有數據。

• (4).設置inode table中關于2222這條記錄的data block指針，通過該指針可以找到a.txt使用了哪些data block。

當要刪除a.txt文件時：

• (1).在inode table中刪除指向a.txt的data block指針。這里只要一刪除，外界就找不到a.txt的數據了。但是這個文件還存在，只是它是被”損壞”的文件，因為沒有任何指針指向數據塊。

• (2).在imap中將2222的inode號標記為未使用。于是這個inode號就被釋放，可以被后續的文件重用。

• (3).刪除父目錄/tmp的data block中關于a.txt的記錄。這里只要一刪除，外界就看不到也找不到這個文件了。

• (4).在bmap中將a.txt占用的block標記為未使用。這里被標記為未使用后，這些data block就可以被后續文件覆蓋重用。

考慮一種情況，當一個文件被刪除時，但此時還有進程在使用這個文件，這時是怎樣的情況呢？外界是看不到也找不到這個文件的，所以刪除的過程已經進行到了第(3)步。但進程還在使用這個文件的數據，也能找到這個文件的數據，是因為進程在加載這個文件的時候就已經獲取到了該文件占用哪些data block，雖然刪除了文件，但bmap中這些data block還沒有標記為未使用。

2.du統計的原理

du是通過stat命令來統計每個文件(包括子目錄)的空間占用總和。因為會對每個涉及到的文件使用stat命令，所以速度較慢。

1.如果統計目錄下掛載了其他文件系統，那么也會對這個文件系統進行統計。

例如”du -sh /”的時候，會統計所有分區的文件，包括掛載上來的。正如本文開頭統計的”/”一樣，du的結果是244G，明顯比df統計的結果大，就是因為將某個分區掛載到了/mnt目錄下。

##### df的統計結果[root@linuxidc ~]# df -hTFilesystem     Type Size Used Avail Use% Mounted on/dev/sda2     ext4  18G 1.7G 15G 11% /tmpfs       tmpfs 491M  0 491M 0% /dev/shm/dev/sda1     ext4 239M 68M 159M 30% /boot//192.168.0.124/win cifs 381G 243G 138G 64% /mnt

##### du對根目錄的統計結果[root@linuxidc ~]# du -sh / 2>/dev/null244G  /

2.如果文件被刪除，即使被其他進程引用了，du命令也無法對其統計。因為*stat命令找不到這個文件*。

3.可以跨分區統計某些你想統計的文件大小總和。因為它們都能被stat找到并統計。

例如：

統計Linux下所有img文件的大小。

[root@linuxidc ~]# find / -type f -name “*.img” -print0 | xargs -0 du -csh19M  /boot/initramfs-2.6.32-504.el6.x86_64.img13M  /mnt/linux工具/cirros-0.3.4-x86_64-disk.img31M  total

這里統計的兩個img文件就是在不同分區內的。

3.df統計的原理

df是讀取每個分區的superblock來獲取空閑數據塊、已使用數據塊，從而計算出空閑空間和已使用空間，因此df統計的速度極快(superblock才占用1024字節)。

1.當某個文件系統下掛載了其他分區，df不會把這個分區也統計進去。

這很容易理解，因為df讀取的是各自分區的superblock，即使分區1掛載在分區0的目錄下，df統計分區0的時候，也只能讀取分區0的superblock。

例如，下面的/mnt、/boot都沒有統計在”/”中。

[root@linuxidc ~]# df -hTFilesystem     Type Size Used Avail Use% Mounted on/dev/sda2     ext4  18G 1.7G 15G 11% /tmpfs       tmpfs 491M  0 491M 0% /dev/shm/dev/sda1     ext4 239M 68M 159M 30% /boot//192.168.0.124/win cifs 381G 243G 138G 64% /mnt

2.由于df每次統計都是讀取superblock，所以df對文件系統中的某個文件進行統計時，會自動轉為統計這個文件系統的信息。

[root@linuxidc ~]# df -hT /etc/fstabFilesystem  Type Size Used Avail Use% Mounted on/dev/sda2   ext4 18G 1.7G 15G 11% /

3.df會統計已刪除但卻仍有進程引用的文件。

正常情況下，刪除文件會立刻釋放相關指針，并將imap和bmap中相關的位圖標記為未使用。bmap只要一改變，文件系統立刻就能知道每個塊組中哪些數據塊是空閑的，哪些數據塊是被使用的，這些信息都會更新到分區的superblock中。于是df能立刻統計到實時的空間信息。

但是當一個文件被刪除時，如果還有進程在引用這個文件，根據前文的分析，bmap中不會將這個文件的data block標記為未使用，也就不會將數據塊的使用情況更新到superblock中。由于df是根據superblock中空閑和使用數據塊的數量來計算空閑空間和已使用空間的，所以df統計的時候會將這個已被”刪除”的文件統計到已使用空間中。

例如，創建一個較大一點的文件放在”/”目錄下，并du和df統計根目錄的已使用空間。

[root@linuxidc ~]# dd if=/dev/zero of=/my.iso bs=1M count=1000

[root@linuxidc ~]# df -hT /Filesystem  Type Size Used Avail Use% Mounted on/dev/sda2   ext4 18G 2.7G 14G 17% /

[root@linuxidc ~]# du -sh –exclude=”/mnt” / 2>/dev/null2.7G  /

它們在GB級的單位上是相等的。

現在使用一個進程來引用這個文件，然后刪除這個文件，再du和df統計。

[root@linuxidc ~]# tail -f /my.iso &

[root@linuxidc ~]# rm -rf /my.iso[root@linuxidc ~]# ls /my.isols: cannot access /my.iso: No such file or directory

[root@linuxidc ~]# du -sh –exclude=”/mnt” / 2>/dev/null1.8G  /

[root@linuxidc ~]# df -hT /Filesystem  Type Size Used Avail Use% Mounted on/dev/sda2   ext4 18G 2.7G 14G 17% /

可以發現，外界已經獲取不到my.iso文件了，所以du無法統計這個文件。而df卻將該文件大小統計進去了，因為my.iso占用的data block還未被標記為未使用。

再關掉tail進程，然后df再統計空間，結果將和du一樣顯示為正常的大小。

[root@linuxidc ~]# jobs[1]+ Running        tail -f /my.iso &[root@linuxidc ~]# kill %1

[root@linuxidc ~]# df -hT /Filesystem  Type Size Used Avail Use% Mounted on/dev/sda2   ext4 18G 1.7G 15G 11% /

如果不知道文件系統中哪些已被刪除，但卻還被進程引用的文件，可以使用lsof來獲取。通過它還能獲取到文件的大小，看看到底是哪個文件在”占著茅坑以及占了多少茅坑”。

例如，關掉tail進程前，使用lsof查看。可以看到tail進程占用了/my.iso，且這個文件的大小為1048576000字節。

[root@linuxidc ~]# lsof | grep deleted php-fpm 12597   root txt  REG 8,2  4058416 931143 /usr/sbin/php-fpm (deleted)php-fpm 12657  nobody txt  REG 8,2  4058416 931143 /usr/sbin/php-fpm (deleted)php-fpm 12707  nobody txt  REG 8,2  4058416 931143 /usr/sbin/php-fpm (deleted)php-fpm 12708  nobody txt  REG 8,2  4058416 931143 /usr/sbin/php-fpm (deleted)tail   14437   root  3r  REG 8,2 1048576000  7171 /my.iso (deleted)

經過上面的分析，想必對du和df的結果不會再有任何疑惑了吧。

關于如何分析Linux命令du和df統計結果差異就分享到這里啦，希望上述內容能夠讓大家有所提升。如果想要學習更多知識，請大家多多留意小編的更新。謝謝大家關注一下億速云網站！