基于Hadoop的云存儲系統(tǒng)客戶端的設(shè)計與實現(xiàn).pdf

1、云計算平臺hadoop是對Google的GFS以及MapReduce的開源實現(xiàn)，雖然目前hadoop主要還是集中于對海量數(shù)據(jù)進行計算處理的技術(shù)層面，但是不能忽視的是hadoop在設(shè)計和實現(xiàn)的過程中，也包含了對數(shù)據(jù)存儲的強大能力的體現(xiàn)，這主要體現(xiàn)在hadoop平臺中，所采用的分布式文件系統(tǒng)HDFS，這個基于網(wǎng)絡(luò)的分布式文件系統(tǒng)，能夠很有效的存儲大量的數(shù)據(jù)，實現(xiàn)將用戶的文件數(shù)據(jù)通過網(wǎng)絡(luò)進行分布式存儲。
　　 首先分析了hadoop系

2、統(tǒng)平臺在讀寫文件數(shù)據(jù)的處理方式和實現(xiàn)的機制，包括對HDFS在文件讀取和寫入兩個方面的分析，并且對這個設(shè)計思路的不足也進行了分析，這些分析將有助于實現(xiàn)基于hadoop的云存儲服務系統(tǒng)，其次在對hadoop系統(tǒng)的作業(yè)調(diào)度算法研究的基礎(chǔ)之上，提出并實現(xiàn)了一種新的作業(yè)調(diào)度算法—基于反饋的作業(yè)調(diào)度算法，這種算法的主要思想是當前的作業(yè)調(diào)度決策，會影響到下一次的作業(yè)調(diào)度決策，通過不斷的學習以前決策的經(jīng)驗和教訓，不斷的修改集群系統(tǒng)的參數(shù)的配置，最終達到