面向多任務、多通道并行爬蟲的技術研究.pdf

1、不同于傳統(tǒng)的搜索引擎只有一個全局大任務，該系統(tǒng)需要處理不同用戶下發(fā)的多種任務。每個用戶只關心某幾個網(wǎng)站，而且實時性要求比較高，在特定的時間內(nèi)，需要對目標網(wǎng)站進行頻繁抓取。該系統(tǒng)研究的是具有多任務管理和分配的并行爬蟲，任務的目標通常包含多個網(wǎng)站，而且任務開始時間，下一次執(zhí)行任務的時間都可以設定，多個監(jiān)管任務又可能需要關心同一個網(wǎng)站。
　　為了提高任務執(zhí)行的并行性，該系統(tǒng)將任務拆分成更細粒度的任務分片進行管理分配，同時采用了一致性Ha

2、sh算法提供爬蟲的任務分配，該算法使得爬蟲間負載盡量相等，同時最大限度地減小服務器增減時的任務分片重新分布。針對不同的數(shù)據(jù)來源，文中采用了多通道技術，根據(jù)每種數(shù)據(jù)源的特征，定制不同的分析方案。
　　該論文還剖析了傳統(tǒng)搜索引擎分配任務的方式及存在的問題，隨后根據(jù)系統(tǒng)的特點，提出了新的比傳統(tǒng)方法粒度更細的任務分配方式——網(wǎng)站劃分。該分配方式將較大規(guī)模的網(wǎng)站切分為若干較小規(guī)模的子集，并將子集交給若干爬蟲節(jié)點并行抓取，以加快爬蟲系統(tǒng)的整體