基于日志分析的增量主題爬蟲(chóng)研究與實(shí)現(xiàn).pdf

1、面對(duì)海量的互聯(lián)網(wǎng)信息，傳統(tǒng)搜索引擎在查找主題信息方面日益無(wú)法滿足人們的要求，如何幫助人們及時(shí)準(zhǔn)確地獲取主題信息變得越來(lái)越重要，而面向主題搜索引擎技術(shù)正是為此應(yīng)運(yùn)而生的。主題搜索引擎是特殊化的搜索引擎，它只面向某一具體的領(lǐng)域或主題，比起傳統(tǒng)搜索引擎能更準(zhǔn)確，更廣泛的搜集領(lǐng)域或主題信息。然而如何為領(lǐng)域、主題相關(guān)性的判定制定準(zhǔn)確的規(guī)則，如何有效的分析過(guò)濾無(wú)關(guān)資源保留相關(guān)主題資源，如何擴(kuò)大對(duì)主題資源的搜索的覆蓋度，成了主題爬蟲(chóng)系統(tǒng)的研究重點(diǎn)。<

2、br>　　 本文首先通過(guò)與普通網(wǎng)絡(luò)爬蟲(chóng)工作流程的對(duì)比，介紹了主題爬蟲(chóng)的工作原理，接著詳細(xì)介紹了主題爬蟲(chóng)使用的關(guān)鍵技術(shù)，在此基礎(chǔ)上，總結(jié)出影響主題爬蟲(chóng)準(zhǔn)確度與效率的三個(gè)主要問(wèn)題：爬蟲(chóng)主題表示、網(wǎng)頁(yè)主題相關(guān)性判斷和爬行策略。在深入分析主題爬蟲(chóng)關(guān)鍵算法的基礎(chǔ)上，提出了一種基于日志分析的改進(jìn)的網(wǎng)頁(yè)主題相關(guān)度計(jì)算方法。該方法根據(jù)齊次連續(xù)時(shí)間馬爾科夫過(guò)程的性質(zhì)，通過(guò)計(jì)算網(wǎng)頁(yè)間的轉(zhuǎn)移概率矩陣的平穩(wěn)分布，作為網(wǎng)頁(yè)的用戶興趣度估計(jì)；結(jié)合網(wǎng)頁(yè)分塊算法，分

3、別計(jì)算網(wǎng)頁(yè)文本塊的文本主題相關(guān)度和相關(guān)鏈接塊的鏈接關(guān)系重要程度。通過(guò)綜合文本主題相關(guān)度、鏈接重要程度和用戶興趣度這三個(gè)因素，提出一種改進(jìn)的網(wǎng)頁(yè)主題相關(guān)度計(jì)算方法，并通過(guò)實(shí)驗(yàn)測(cè)試，證明了改進(jìn)的綜合方法的準(zhǔn)確度都高于這三個(gè)因素的單一使用。
　　 爬蟲(chóng)作為搜索引擎的一個(gè)重要組成部分，需要長(zhǎng)期運(yùn)行，如何有效地保證本地鏡像的“新鮮度”成為爬蟲(chóng)研究的一個(gè)熱點(diǎn)問(wèn)題。本文根據(jù)網(wǎng)頁(yè)更新符合泊松過(guò)程的特點(diǎn)，提出了一種及時(shí)同步本地?cái)?shù)據(jù)庫(kù)與遠(yuǎn)程網(wǎng)站的方