基于云存儲(chǔ)的數(shù)據(jù)流處理技術(shù)的研究.pdf

1、自2006年Google提出云計(jì)算概念以來，云計(jì)算從備受業(yè)界質(zhì)疑的概念炒作成為如今越來越成熟的技術(shù)服務(wù)形態(tài)。在云計(jì)算提供的眾多服務(wù)類型里，存儲(chǔ)服務(wù)成為我們最為直接使用的一種云計(jì)算服務(wù)，并發(fā)展成為業(yè)界獨(dú)立研究的領(lǐng)域，目前眾多的IT巨頭都在云存儲(chǔ)領(lǐng)域進(jìn)行布局。云存儲(chǔ)是為大數(shù)據(jù)時(shí)代而生的，如何更加高效、快速、安全的進(jìn)行海量數(shù)據(jù)的存儲(chǔ)、管理和處理，仍然是吸引眾多IT人士不斷研究的課題。如今，在云存儲(chǔ)的后端，Hadoop作為最適合大數(shù)據(jù)處理的開源

2、技術(shù)，正被廣泛的研究和使用。但由于Hadoop的興起時(shí)間不長，其還存在著一些設(shè)計(jì)缺陷，并且由于眾多云存儲(chǔ)服務(wù)提供商會(huì)根據(jù)服務(wù)的類別和數(shù)據(jù)中心的實(shí)際情況，需要對Hadoop進(jìn)行改進(jìn)，以便提供更好的服務(wù)。
　　 本文的研究內(nèi)容包括云存儲(chǔ)中數(shù)據(jù)流處理關(guān)鍵技術(shù)Hadoop，Hadoop是把數(shù)據(jù)以流的方式來進(jìn)行處理的。通過對Hadoop平臺(tái)中核心組件HDFS分布式文件系統(tǒng)的框架和執(zhí)行流程的研究，針對其單一主控節(jié)點(diǎn)NameNode的設(shè)計(jì)缺陷

3、，提出了一種主控節(jié)點(diǎn)壓力分解的方法，在可接受的性能損失范圍內(nèi)，減輕了HDFS架構(gòu)中單一主控節(jié)點(diǎn)的訪問壓力，對系統(tǒng)架構(gòu)做出了一定的修改，使其在總體上能夠承擔(dān)更多的訪問請求，并且降低了單一節(jié)點(diǎn)在過量負(fù)載時(shí)造成的不穩(wěn)定性甚至是崩潰的風(fēng)險(xiǎn)，使系統(tǒng)的健壯性進(jìn)一步提高。另外，本文對HDFS的元數(shù)據(jù)信息進(jìn)行二次備份設(shè)計(jì)，進(jìn)一步提高了系統(tǒng)的可靠性。
　　 本文還對Hadoop的另一核心組件Map/Reduce的數(shù)據(jù)流處理機(jī)制進(jìn)行研究，針對其過于

4、消耗資源的缺點(diǎn)，提出了一種在特定情況下能夠有效的降低Map/Reduce的資源消耗的優(yōu)化方式。本文針對這些特殊情況下，對元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行改進(jìn)，使Map/Reduce在進(jìn)行數(shù)據(jù)流處理之前能夠先從HDFS獲得元數(shù)據(jù)信息，進(jìn)行數(shù)據(jù)塊的精準(zhǔn)定位，過濾掉不必要的數(shù)據(jù)處理，使HDFS對Map/Reduce的支持進(jìn)一步提高，能夠有效的降低數(shù)據(jù)處理過程中的資源消耗，避免了資源的浪費(fèi)。
　　 在本文的最后，通過多次實(shí)驗(yàn)，使優(yōu)化后的系統(tǒng)與原始架