基于相關(guān)背景圖的主題微博用戶發(fā)現(xiàn)方法的研究.pdf

1、隨著互聯(lián)網(wǎng)用戶的急劇增長,以及網(wǎng)絡(luò)應(yīng)用的進一步深入,用戶個性化的需求不斷增長,通用搜索引擎難以滿足某些特殊用戶群體的需求。主題爬行技術(shù)作為一種新穎的搜索技術(shù)應(yīng)運而生,更新周期快,它資源消耗少,更重要的是能滿足用戶的個性化需求。
　　相關(guān)背景圖(Relevancy Context Graph)可以收集給定主題的背景知識,并根據(jù)這些背景知識給每個待訪問網(wǎng)頁分配一個優(yōu)先訪問值,從而指導(dǎo)爬蟲的爬行方向。但是,在相關(guān)背景圖的背景知識構(gòu)建中沒

2、有充分提取出網(wǎng)頁之間的鏈接結(jié)構(gòu)信息,同時也沒有充分考慮網(wǎng)頁之間的語義關(guān)系。因此,許多噪聲網(wǎng)頁并沒有被有效的過濾掉。此外,相關(guān)背景圖的主題特征詞的定義也隱藏著一些缺陷。
　　本文的貢獻總結(jié)如下。(1)優(yōu)化了相關(guān)背景圖,并應(yīng)用相關(guān)背景圖在微博中收集與主題相關(guān)的用戶。在優(yōu)化的過程中,借用社會網(wǎng)絡(luò)中朋友鏈接預(yù)測的思想,重新設(shè)計了背景圖中的鏈接結(jié)構(gòu)關(guān)系,考慮了網(wǎng)頁之間更多的結(jié)構(gòu)關(guān)系,利用向量空間模型(Vector Space Model)以

3、及語義向量空間模型(Semantic Similarity Vector Space Model)去過濾掉一些噪聲網(wǎng)頁,保證背景圖的有效性。(2)利用背景圖中詞之間的語義關(guān)系去擴展主題特征單詞,并有效地計算了擴展的主題特征單詞的分布。(3)提出了一個經(jīng)過鏈接分析和語義分析優(yōu)化后的相關(guān)背景圖的爬蟲。(4)利用囊括各個領(lǐng)域的大量中文網(wǎng)頁構(gòu)建了中文通用語模型。(5)利用改進的相關(guān)背景圖計算出的特征主題單詞的分布以及通用語模型,結(jié)合微博中傳播者