主題爬蟲穿越隧道算法研究與設計.pdf

1、伴隨著互聯(lián)網(wǎng)及應用和服務的普及，網(wǎng)上信息量以帶寬的指數(shù)級增長，互聯(lián)網(wǎng)用戶信息檢索的難度和復雜度也不斷提高。因此，搜索引擎越來越引起人們的重視和關注。Google曾宣稱它們索引的網(wǎng)頁數(shù)目已達到10000億,中國的網(wǎng)頁規(guī)模也超過了100億，并且仍在以指數(shù)的增長方式急劇猛增，面對如此浩瀚的信息資源，如何有效的提取并利用這些海量信息成為搜索引擎面臨的一個巨大挑戰(zhàn)。
　　為了提高搜索效率和滿足人們?nèi)找嬖鲩L的個性化服務的需求，適應特定領域、特

2、定人群的特定需求的主題搜索引擎（也稱專業(yè)搜索引擎和垂直搜索引擎）應運而生，并且越來越受到人們的青睞。主題搜索引擎只專注于與主題相關的高質(zhì)量網(wǎng)頁，保證了對主題相關信息的完全收錄和及時更新，具備“專，精，深”的特點，成為新一代搜索引擎的發(fā)展趨勢。搜索引擎爬取網(wǎng)頁是以網(wǎng)絡爬蟲技術來實現(xiàn)的，而主題爬蟲以何種策略高效爬取web信息，成為近年來爬蟲研究地焦點之一。
　　本文著眼于提高主題爬蟲的爬取效率，通過對VSM網(wǎng)頁分類算法分析，從特征提取

3、、特征值計算和類核心詞匯生成三方面改進了VSM網(wǎng)頁分類算法，其中對于特征值計算，本文從詞語的出現(xiàn)語義角度來考慮，給出了混合因素加權的特征項的權值計算方法，提高了文本相似度計算的精度。并結合“Better Parent Have Better Children”思想，提出了運用相似度預測值動態(tài)調(diào)整主題爬蟲的爬行步數(shù)，通過靈活設置相似度預測的K值，引導爬蟲穿越隧道，即動態(tài)調(diào)整主題爬蟲穿越隧道算法。該算法消除了K值設置過大引起的低爬準率或過小