分布式、可擴展的實時微博搜索技術研究與實現(xiàn).pdf

1、過去幾年中我們見證了微博平臺的迅猛發(fā)展，新浪微博、騰訊微博等已成為新的媒體形式。數(shù)量龐大的微博數(shù)據(jù)和其高度動態(tài)的本質，對搜索服務提出了獨特的技術要求。特別是，搜索服務需要提供實時響應查詢的服務，并隨著新微博的發(fā)布不斷地更新搜索結果。傳統(tǒng)的技術方法無法適應高更新率提出的挑戰(zhàn)，也不能很好地將系統(tǒng)擴展來應對和處理不斷產(chǎn)生的大量數(shù)據(jù)。
　　 本文研究了一個分布式、可擴展的是實時微博搜索技術，并實現(xiàn)了一個系統(tǒng)來提供分布式實時索引并構建微博

2、搜索服務。它的底層是基于業(yè)界領先分布式流處理技術與平臺（如Apache S4和Twitter Storm），這些流處理平臺提供了強大的實時處理能力。但是盡管這些流處理平臺已經(jīng)成功地應用在其它生產(chǎn)環(huán)境中，在微博實時搜索的任務和需求下，它們仍缺乏一些關鍵功能，特別是:(1)它們只實現(xiàn)了部分的容錯能力，在節(jié)點發(fā)生故障的情況下，無法達到無損恢復;(2)它們沒有一個全局數(shù)據(jù)存儲設施，而這個全局存儲對于有效的搜索結果排名卻是至關重要的。