hadoop大數(shù)據(jù)技術(shù)簡(jiǎn)介

1、Hadoop 大數(shù)據(jù)技術(shù)簡(jiǎn)介 大數(shù)據(jù)技術(shù)簡(jiǎn)介Hadoop 技術(shù)簡(jiǎn)介~ 1 ~1 傳統(tǒng)數(shù)據(jù)庫(kù)瓶頸 傳統(tǒng)數(shù)據(jù)庫(kù)瓶頸傳統(tǒng)數(shù)據(jù)庫(kù)具有不錯(cuò)的性能，高穩(wěn)定性，使用簡(jiǎn)單，功能強(qiáng)大，在過(guò)去的40 年中很好的滿(mǎn)足了用戶(hù)對(duì)數(shù)據(jù)存儲(chǔ)的需求，積累了大量的成功案例。但是隨著數(shù)據(jù)量的增長(zhǎng)，傳統(tǒng)數(shù)據(jù)庫(kù)在應(yīng)付很多問(wèn)題時(shí)已經(jīng)開(kāi)始力不從心，暴露了很多難以克服的問(wèn)題，例如：1）High Performance –數(shù)據(jù)高并發(fā)讀寫(xiě)例如，web2.0 網(wǎng)站要根據(jù)用戶(hù)個(gè)性化信息來(lái)實(shí)

2、時(shí)生成動(dòng)態(tài)頁(yè)面和提供動(dòng)態(tài)信息，所以基本上無(wú)法使用動(dòng)態(tài)頁(yè)面靜態(tài)化技術(shù)，因此數(shù)據(jù)庫(kù)并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬(wàn)次讀寫(xiě)請(qǐng)求。關(guān)系數(shù)據(jù)庫(kù)應(yīng)付上萬(wàn)次 SQL 查詢(xún)還勉強(qiáng)頂?shù)米?，但是?yīng)付上萬(wàn)次 SQL 寫(xiě)數(shù)據(jù)請(qǐng)求，硬盤(pán) IO 就已經(jīng)無(wú)法承受了。2）Huge storage –海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)對(duì)于大型的 SNS 網(wǎng)站，每天用戶(hù)產(chǎn)生海量的用戶(hù)動(dòng)態(tài)，某些大型 web 網(wǎng)站的用戶(hù)登錄系統(tǒng)的記錄往往能夠達(dá)到上億條，對(duì)于關(guān)系數(shù)據(jù)庫(kù)來(lái)說(shuō)，在上億條

3、記錄的表里面進(jìn)行 SQL 查詢(xún)，效率是極其低下乃至不可忍受的。3）High Scalabilty&& High Availabilty 數(shù)據(jù)庫(kù)高可擴(kuò)展性和高可用性在基于 web 的架構(gòu)當(dāng)中，數(shù)據(jù)庫(kù)是最難進(jìn)行橫向擴(kuò)展的，當(dāng)一個(gè)應(yīng)用系統(tǒng)的用戶(hù)量和訪問(wèn)量與日俱增的時(shí)候，數(shù)據(jù)庫(kù)卻沒(méi)有辦法像 web server 和 app server 那樣簡(jiǎn)單的通過(guò)添加更多的硬件和服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展性能和負(fù)載能力。對(duì)于很多需要提供 24 小時(shí)不