面向網頁去看的特征提取與重復模式發(fā)現(xiàn).pdf

1、互聯(lián)網的快速發(fā)展給人們帶來了新的獲取信息和交流的方式。隨著網站和網頁數(shù)目的不斷增加,為了用戶能方便的訪問它們,搜索引擎應運而生。但由于互聯(lián)網上存在大量的因轉載或抄襲形成的重復網頁,這些網頁被搜索引擎重復的存儲和檢索,造成存儲空間的浪費和檢索效率的降低,同時也帶來了較差的用戶體驗。因此網頁去重是搜索引擎中比較重要的一個環(huán)節(jié)。
　　 本文針對網頁去重著重研究以下兩個問題:第一個問題是網頁特征提取。網頁特征提取的前提是網頁正文提取,但

2、由于廣告等噪聲的存在,導致目前的正文提取算法均不能完全準確的提取出網頁正文內容,這對后續(xù)的網頁去重造成了較大的影響。如何在存在少許噪聲的正文中提取純凈的網頁特征在很大程度上決定了網頁去重的準確率。本文提出了基于層次篩選的特征提取算法,充分考慮了段落、句子與關鍵詞的聯(lián)系,逐層篩選網頁信息得到特征詞、詞性對集合,達到將網頁本身結構和內部信息權重結合的目的,使提取出的特征不僅能均勻覆蓋網頁,還具有一定的抗噪性。
　　 第二個問題是網頁

3、特征重復模式發(fā)現(xiàn)。目前的重復模式發(fā)現(xiàn)算法主要分為兩種:基于集合的實現(xiàn)和基于特征串的實現(xiàn)?；诩系膶崿F(xiàn)比較注重特征集合中特征項的權重,但忽視了特征項的順序,加上HaSh值沖突問題帶來的誤判,此實現(xiàn)并不適合用于網頁去重;基于特征串的實現(xiàn)雖然考慮了特征項的順序,但采用最長公共子串衡量網頁重復度則過于嚴格,檢測不出非連續(xù)重復的網頁。為了解決上述問題,本文提出了基于改進最長公共子序列的重復模式發(fā)現(xiàn)算法。將特征詞、詞性對集合以句子為單位計算最長公