windows server 2012重復數據刪除

據MS網站提供的描述，重復數據刪除是在不損害數據保真度或者完整性的情況下查找和刪除數據中的重復。通過將文件分段為小的可變大小的塊（32-128KB），識別重復的塊以及維護每個塊的副本，在更少的空間中存儲更多的數據。塊的冗余副本由對單個副本的引用替換。壓縮塊，然后將其組織到System Volume Information文件夾中的特殊容器文件中。

重復數據刪除以后，文件不再存儲為獨立的數據流，而是用存根指向存儲在公共塊存儲中的數據塊替換它們。這些文件共享塊只存儲一次，就減少了存儲所有文件所需的磁盤空間。在文件的訪問期間，透明的組裝正確的塊以提供數據而無需調用應用程序或用戶知道對文件的磁盤轉換。這使得管理員能夠將重復數據刪除應用于文件，而無需擔心應用程序行業的任何更改或者對訪問這些文件的用戶的影響。

上面的圖是未啟用重復數據刪除的存儲示例，下面是啟用了重復數據刪除后文件的存儲方式。

重復數據刪除的服務器和卷的要求：

1. 服務器硬件要能滿足運行windows server 2012的最低條件，如內存不能小于4GB。

2. 如果在同一個服務器的上多個卷運行重復數據刪除，需要進行適當的硬件規劃。一個卷需要1個CPU物理核心以及約350MB的專用內存。每小時可以處理大約100GB的數據或者每天大約2T的數據。重復數據刪除在后臺處理模式下使用25%的系統內存。 比如，你有16G系統，則可用于重復數據刪除的內存為4G，這樣，內存可以支持11個卷運行重復數據刪除，

3.重復數據刪除一次最多支持90個卷；

4. 不能對系統或者啟動卷應用重復數據刪除，分區可以是MBR或者GPT分區，必須格式化為NTFS格式。

本文，我們通過實驗，簡要的來看看如何實現重復數據的刪除，以及在災難發生時如何恢復文件的訪問。

一、 安裝重復數據刪除模塊

二、 對某個分區啟用重復數據刪除

打開服務器管理器，找到下方的文件和存儲服務，選中服務器的某個卷，在卷上配置重復數據刪除。

三、 運行重復數據刪除，我們將對早于0天的文件進行刪除重復。

實驗環境中，卷E有五個一樣的文件夾，未重刪以前，占用空間為3.06GB。

對于非系統卷、啟動卷或者已經開啟重復數據刪除的卷，還可以運行一個評估工具來查看可以節省的空間。在本實驗中，我們將這五個文件夾復制到F:\data，對這個目錄進行重復數據刪除可以節約空間的評估。

手動觸發一次重刪工作。

Start-DedupJob –Volume E: –Type Optimization

重刪完成以后，E盤整個空間占用都只有800多M了，而之前只有那五個文件夾就占用了3.06G

我們可以通過下列命令來查看重刪除的效果 get-dedupstatus | format-list

然后，我們再來看看，這五個文件夾，占用的空間大小為0了，也就是說，這些文件并沒有存儲到我們看到的這個位置，而是放到了System Volume Information那里頭了。

至此，我們可以看到，確實是節約了2.45GB的存儲空間，節省空間占比接近80%，也印證了那句話：相同的數據只存儲一次。 不過windows是對文件進行分塊來對比的，而不是對底層的block對比。

接下來，我們來看看，有一天，OS崩潰了，我們重裝，如何讓數據能正常訪問。

為了印證文件是否可以訪問，我準備將重裝后的2012上的，將運行了重復數據刪除的文件夾下的一個文件進行復制。結果是無法復制。

此時，我們應該在新裝操作系統的服務器上，重新安裝重復數據刪除的角色，安裝完成以后，原來那E盤這個卷設置的重刪的相關規則會繼承重裝前的。不需要額外再進行設置，這樣，數據又能夠正常訪問了。

附：微軟重復數據刪除鏈接：https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-R2-and-2012/hh831602(v=ws.11)