基于數(shù)據(jù)壓縮與糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)研究.pdf

1、研究發(fā)現(xiàn),存儲(chǔ)系統(tǒng)中有高達(dá)60％的數(shù)據(jù)是重復(fù)的,大量重復(fù)數(shù)據(jù)的存在不僅浪費(fèi)了存儲(chǔ)空間,而且給數(shù)據(jù)的處理速度和計(jì)算的準(zhǔn)確性帶來很大挑戰(zhàn)。近年來,重復(fù)數(shù)據(jù)刪除技術(shù)逐漸成為研究熱點(diǎn)。在重復(fù)數(shù)據(jù)刪除系統(tǒng)中,數(shù)據(jù)塊對所有的文件都是共享的,如果某個(gè)數(shù)據(jù)塊發(fā)生錯(cuò)誤或丟失,會(huì)造成多個(gè)文件無法還原。有些研究者提出將糾刪碼技術(shù)引入重復(fù)數(shù)據(jù)刪除系統(tǒng)中,因糾刪碼編碼時(shí)會(huì)產(chǎn)生多個(gè)額外的校驗(yàn)塊,使編碼后數(shù)據(jù)塊的存儲(chǔ)容量大于原始的單個(gè)數(shù)據(jù)塊。針對此問題,本文在糾刪碼

2、技術(shù)的基礎(chǔ)上將數(shù)據(jù)壓縮技術(shù)引入重復(fù)數(shù)據(jù)刪除系統(tǒng)中,最后通過實(shí)驗(yàn)發(fā)現(xiàn),基于數(shù)據(jù)壓縮與糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)不僅提高了系統(tǒng)的可靠性,同時(shí)減少了存儲(chǔ)空間的浪費(fèi)。本文完成的主要工作有:
　　(1)研究并實(shí)現(xiàn)了重復(fù)數(shù)據(jù)刪除系統(tǒng)保存文件和還原文件的流程。本文首先編碼實(shí)現(xiàn)了重復(fù)數(shù)據(jù)刪除系統(tǒng)的整體架構(gòu),文件切分采用固定切分算法,指紋庫查找采用HASH查找算法。通過實(shí)驗(yàn)初步驗(yàn)證重復(fù)數(shù)據(jù)刪除系統(tǒng)可以大大減少存儲(chǔ)系統(tǒng)中的重復(fù)數(shù)據(jù)。
　　(2

3、)研究并實(shí)現(xiàn)了基于糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)的整體架構(gòu)。為了提高重復(fù)數(shù)據(jù)刪除系統(tǒng)的可靠性,一些研究者提出采用冗余備份技術(shù),但冗余備份技術(shù)對存儲(chǔ)空間是一種極大的浪費(fèi)。本文在參考大量資料的基礎(chǔ)上將糾刪碼技術(shù)引入重復(fù)數(shù)據(jù)刪除系統(tǒng)中,實(shí)現(xiàn)了基于Reed-Solomon糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)保存文件和還原文件的流程。由于在進(jìn)行糾刪碼編碼時(shí)為了數(shù)據(jù)塊重構(gòu)會(huì)額外編碼出多個(gè)校驗(yàn)數(shù)據(jù)塊,相對于原始數(shù)據(jù)塊來說造成了一定存儲(chǔ)空間的浪費(fèi),在此基礎(chǔ)上本文

4、完成了第二項(xiàng)工作。
　　(3)將數(shù)據(jù)壓縮技術(shù)引入到基于糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)中。本文在參考現(xiàn)有的幾種無損數(shù)據(jù)壓縮技術(shù)的基礎(chǔ)上,將Huffman壓縮技術(shù)引入基于糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)中,實(shí)現(xiàn)了基于Huffman數(shù)據(jù)壓縮和糾刪碼技術(shù)的重復(fù)數(shù)據(jù)刪除系統(tǒng)保存文件和還原文件的流程。保存文件時(shí),糾刪碼編碼完成后對編碼的數(shù)據(jù)塊進(jìn)行Huffman壓縮,將壓縮后的數(shù)據(jù)塊保存到不同的存儲(chǔ)節(jié)點(diǎn),還原文件時(shí),先將壓縮后的數(shù)據(jù)塊解壓縮為糾刪碼編