Linux中如何查找和刪除重復文件

本篇文章給大家分享的是有關Linux中如何查找和刪除重復文件，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1. Rdfind –在Linux中查找重復文件

Rdfind 意即 redundant data find(冗余數據查找)，是一個通過訪問目錄和子目錄來找出重復文件的自由開源的工具。它是基于文件內容而不是文件名來比較。Rdfind 使用排序算法來區分原始文件和重復文件。如果你有兩個或者更多的相同文件，Rdfind 會很智能的找到原始文件并認定剩下的文件為重復文件。一旦找到副本文件，它會向你報告。你可以決定是刪除還是使用硬鏈接或者符號(軟)鏈接代替它們。

要在Linux中安裝rdfind，請根據您的Linux發行版使用以下命令。

$ sudo apt-get install rdfind [在 Debian/Ubuntu 上] $ sudo yum install epel-release && $ sudo yum install rdfind [在 CentOS/RHEL 上] $ sudo dnf install rdfind [在 Fedora 22+ 上] $ sudo pacman -S rdfind [在 Arch Linux 上]

要在目錄上運行rdfind，只需鍵入rdfind和目標目錄。下面來看一個例子：

linuxmi@linuxmi:~$ rdfind /home/user

正如你所看到rdfind將結果保存在一個文件名為RESULTS.TXT位于從那里你運行該程序的目錄中。該文件包含rdfind找到的所有重復文件。您可以查看文件，并根據需要手動刪除重復的文件。

您可以做的另一件事是使用-dryruna選項，該選項將提供重復項列表，而無需執行任何操作：

rdfind -dryrun true /home/user

找到重復項后，您可以選擇將其替換為硬鏈接。

rdfind -makehardlinks true /home/user

如果您希望刪除重復項，則可以運行。

rdfind -deleteduplicates true /home/user

要查看rdfind的其他有用選項，可以使用rdfind手冊。

man rdfind

2. Fdupes –在Linux中掃描重復文件

Fdupes是另一個程序，它使您可以識別系統上的重復文件。它是免費的并且是開源的，并且使用C語言編寫。它使用以下方法來確定重復的文件：

• 比較部分md5sum簽名

• 比較完整的md5sum簽名

• 逐字節比較驗證

就像rdfind一樣，它具有類似的選項：

• 遞歸搜索

• 排除空文件

• 顯示重復文件的大小

• 立即刪除重復項

• 排除其他所有者的文件

要在Linux中安裝fdupes，請根據Linux發行版使用以下命令。

$ sudo apt-get install fdupes [在Debian / Ubuntu上] $ sudo yum install epel-release && $ sudo yum install fdupes [在CentOS / RHEL上] $ sudo dnf install fdupes [在Fedora 22+上] $ sudo pacman -S fdupes [在Arch Linux上]

Fdupes語法類似于rdfind。只需鍵入命令，然后鍵入您要掃描的目錄即可。

$ fdupes <dir>  linuxmi@linuxmi:~$ fdupes /home/linuxmi/www.linuxmi.com /home/linuxmi/www.linuxmi.com/linuxmi.txt /home/linuxmi/www.linuxmi.com/linuxmi（復件）.txt

要遞歸地搜索文件，必須像這樣指定-r選項。

$ fdupes -r <dir>  linuxmi@linuxmi:~$ fdupes -r /home/linuxmi/www.linuxmi.com /home/linuxmi/www.linuxmi.com/linuxmi.txt /home/linuxmi/www.linuxmi.com/linuxmi（復件）.txt  /home/linuxmi/www.linuxmi.com/color-schemes/.git/logs/refs/remotes/origin/HEAD /home/linuxmi/www.linuxmi.com/color-schemes/.git/logs/refs/heads/master /home/linuxmi/www.linuxmi.com/color-schemes/.git/logs/HEAD /home/linuxmi/www.linuxmi.com/color-schemes/script/test /home/linuxmi/www.linuxmi.com/test

還可以指定多個目錄，并指定遞歸搜索的目錄。

fdupes <dir1> -r <dir2>

要使fdupes計算重復文件的大小，請使用該-S選項。

fdupes -S <dir>

要收集有關找到的文件的摘要信息，請使用-m選項。

fdupes -m <dir>  fdupes -m /home/linuxmi/www.linuxmi.com/

最后，如果要刪除所有重復項，請使用如下所示-d的選項。

fdupes -d <dir>

Fdupes將詢問要刪除哪些找到的文件。您將需要輸入文件號：

fdupes -d /home/linuxmi/www.linuxmi.com/

絕對不建議使用的解決方案是使用該-N選項，該選項將導致僅保留第一個文件。

fdupes -dN <dir>

要獲取與fdupes一起使用的可用選項的列表，請通過運行查看幫助頁面。

fdupes -help

3. dupeGuru –在Linux中查找重復文件

dupeGuru是一個開放源代碼和跨平臺的工具，可用于在Linux系統中查找重復文件。該工具可以掃描文件名或一個或多個文件夾中的內容。它還允許您找到與要搜索的文件相似的文件名。

dupeGuru有適用于Windows，Mac和Linux平臺的不同版本。它的快速模糊匹配算法功能可幫助您在短時間內找到重復的文件。它是可自定義的，您可以提取所需的確切重復文件，并從系統中清除不需要的文件。

要在Linux中安裝dupeGuru，請根據您的Linux發行版使用以下命令。

————— 在 Debian/Ubuntu/Mint 上————— $ sudo add-apt-repository ppa:dupeguru/ppa $ sudo apt-get update $ sudo apt-get install dupeguru  ————— 在 Arch Linux 上————— $ sudo pacman -S dupeguru

Ubuntu 20.04 安裝 dupeGuru 見 http://www.linuxidc.net/thread-9837-1-1.html

4. FSlint – Linux的重復文件查找器

FSlint是一個免費實用程序，用于查找和清除文件系統上各種形式的皮棉。它還報告重復文件，空目錄，臨時文件，重復/沖突(二進制)名稱，錯誤的符號鏈接等。它同時具有命令行和GUI模式。

要在Linux中安裝FSlint，請根據Linux發行版使用以下命令。

$ sudo apt-get install fslint [在 Debian/Ubuntu 上] $ sudo yum install epel-release && $ sudo yum install fslint [在 CentOS/RHEL 上] $ sudo dnf install fslint [在 Fedora 22+ 上] $ sudo pacman -S fslint [在 Arch Linux 上]

Ubuntu 20.04 安裝 FSlint 的方法見 http://www.linuxidc.net/thread-9836-1-1.html

以上就是Linux中如何查找和刪除重復文件，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。