如何對數(shù)據(jù)進行識別和去重是現(xiàn)在主流重復(fù)數(shù)據(jù)刪除軟件的主要區(qū)別。希望下面的文章可以幫您找到最合適的重復(fù)數(shù)據(jù)刪除軟件。

在硬盤上進行數(shù)據(jù)備份是大勢所趨。以后將會有越來越多的備份工作從磁帶轉(zhuǎn)移到磁盤上，重復(fù)數(shù)據(jù)刪除的重要性由此也變的更為明顯。由于每個廠家的產(chǎn)品各不相同，以及對這種技術(shù)的不了解，導(dǎo)致許多的存儲管理員在選擇重復(fù)數(shù)據(jù)刪除產(chǎn)品時感到茫然。

在備份過程中，重復(fù)數(shù)據(jù)刪除產(chǎn)品主要運行在兩個地方：備份軟件和硬盤庫中。主流的備份軟件有以下幾款：Asigra公司的Tele- vaulting，EMC公司的Avamar，賽門鐵克公司的Veritas Netbackup PureDisk。這些備份軟件可以在主機級別對數(shù)據(jù)進行重復(fù)數(shù)據(jù)刪除，然后將處理過的數(shù)據(jù)傳遞到備份目標盤或者災(zāi)難恢復(fù)地點。主流的磁盤庫廠家包括：Data Domain、Diligent Technologies、Quantum和Sepaton等。重復(fù)數(shù)據(jù)刪除軟件可以對這些目標端設(shè)備進行數(shù)據(jù)的重復(fù)刪除，而且不會影響正常的數(shù)據(jù)備份工作。

下面提到的算法基本適用于任何廠家的重復(fù)數(shù)據(jù)刪除產(chǎn)品。重復(fù)數(shù)據(jù)刪除對性能有何影響及重復(fù)刪除后的數(shù)據(jù)如何管理是兩個最受關(guān)注的問題。有時使用一種方法可能無法滿足備份的需求，這時存儲管理員不得不在磁盤庫和備份軟件中同時運行重復(fù)數(shù)據(jù)刪除軟件。部署重復(fù)數(shù)據(jù)刪除時可能會遇到一些潛在的問題，例如，未進行重復(fù)刪除的數(shù)據(jù)能否保存到磁帶上，重復(fù)數(shù)據(jù)刪除技術(shù)是否跟備份軟件兼容，必要時能否將重復(fù)數(shù)據(jù)刪除功能關(guān)閉等。用戶一定要在權(quán)衡利弊之后再決定是否進行實施。

如何估算重復(fù)數(shù)據(jù)刪除的比率

多余的數(shù)據(jù)：

服務(wù)器上多余的數(shù)據(jù)越多，重復(fù)刪除的比率就越高。如果用戶使用的是同一種操作系統(tǒng)，例如Windows，并且系統(tǒng)上的文件或者數(shù)據(jù)庫數(shù)據(jù)大部分相同的話，重復(fù)數(shù)據(jù)刪除的效果會很理想。如果用戶使用不同的操作系統(tǒng)，并且上面的數(shù)據(jù)文件都不相同，那重復(fù)數(shù)據(jù)刪除的比率會比較低。

數(shù)據(jù)變化的頻率：

重復(fù)數(shù)據(jù)刪除的比率跟數(shù)據(jù)變化的頻率有關(guān)。數(shù)據(jù)變化的頻率越高，重復(fù)數(shù)據(jù)刪除的比率越低。平時所說的20：1的重復(fù)數(shù)據(jù)刪除比率是基于數(shù)據(jù)變化率為5%基礎(chǔ)之上的。

數(shù)據(jù)預(yù)壓縮：

數(shù)據(jù)壓縮是數(shù)據(jù)刪除算法中的一個關(guān)鍵因素。數(shù)據(jù)壓縮的比率一般為2：1，廠家宣傳的重復(fù)刪除的數(shù)據(jù)通常已包含壓縮功能刪除的這部分數(shù)據(jù)。如果重復(fù)數(shù)據(jù)刪除比率是15:1,通過壓縮可以達到30：1. 不過如果已經(jīng)壓縮過的數(shù)據(jù)，例如jpeg，mpeg，zip文件，再次壓縮基本不會有什么效果。

數(shù)據(jù)保存周期：

數(shù)據(jù)保存的周期可以影響數(shù)據(jù)重復(fù)刪除的比率。如果計劃讓重復(fù)數(shù)據(jù)刪除的比率達到10倍或者30倍，需要將數(shù)據(jù)保存周期設(shè)置為20周。如果沒有足夠的空間存儲數(shù)據(jù)，重復(fù)數(shù)據(jù)刪除的比率就會降低。

全備份的次數(shù)：

全備份的次數(shù)越多，重復(fù)數(shù)據(jù)刪除的比率就越高。