基于RS糾刪碼的云存儲容災系統(tǒng)設(shè)計與實現(xiàn).pdf

1、在當今社會，伴隨著社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等技術(shù)的普及，全球數(shù)據(jù)信息正以指數(shù)級的速度爆炸性增長。而數(shù)據(jù)的存儲量也由TB、P B到EB、ZB甚至YB不斷擴大。然而，在人們的生活工作中，來自自然環(huán)境破壞、網(wǎng)絡(luò)病毒感染、人為操作失誤等不良因素會導致數(shù)據(jù)的丟失，將會對企業(yè)和社會造成無法挽救的損失。過去采用文件三副本的方法來保證數(shù)據(jù)的安全性。但是，隨著數(shù)據(jù)指數(shù)級的增長，采用三副本需要大量的存儲空間，需要大量的存儲開銷。因此，采用三副本的容災系統(tǒng)已

2、經(jīng)不能完全滿足系統(tǒng)容錯需求與存儲效率需要。糾刪碼是一種前向錯誤糾正技術(shù)和編碼容錯技術(shù)，作為存儲系統(tǒng)容錯的主要方法越來越受到重視。
　　本文研究基于RS糾刪碼的云存儲容災系統(tǒng),主要工作包括以下幾個方面：
　　1.首先，本文提出了一種掃描冷數(shù)據(jù)技術(shù)，能夠定期的掃描出文件系統(tǒng)中的冷數(shù)據(jù)文件。求出系統(tǒng)中所有文件的平均熱度，如果某文件的被訪問次數(shù)與沒有被訪問的時間間隔的比值小于平均熱度，該文件視為冷數(shù)據(jù)。
　　2.然后，本系統(tǒng)利

3、用現(xiàn)有的RS糾刪碼技術(shù)，提出了一種可降低存儲成本的容災備份方案。保留HDFS中冷數(shù)據(jù)的一個副本，刪除冷數(shù)據(jù)的剩余副本，編碼冷數(shù)據(jù)生成校驗塊。當需要讀取冷數(shù)據(jù)的時候，如果數(shù)據(jù)發(fā)生丟失，利用冗余數(shù)據(jù)譯碼出原始冷數(shù)據(jù)；如果冷數(shù)據(jù)被訪問了，冷數(shù)據(jù)變成了熱數(shù)據(jù),此時，刪除冷數(shù)據(jù)的冗余數(shù)據(jù)，重新為冷數(shù)據(jù)文件增添兩個副本。
　　3.最后，本文設(shè)計了一個云存儲系統(tǒng)架構(gòu)并實現(xiàn)了系統(tǒng)容災功能。用戶在Web界面上能方便的對文件進行操作，包括上傳文件、下