大規(guī)模Web文本快速分類(lèi)關(guān)鍵技術(shù)研究.pdf

1、互聯(lián)網(wǎng)上的以 HTML網(wǎng)頁(yè)文本形式承載的信息，呈現(xiàn)出大規(guī)模爆炸形式的劇增，不只對(duì)分類(lèi)精度提出了新的要求，更重要的是重新定義了分類(lèi)速度的標(biāo)準(zhǔn)和要求。以往關(guān)于文本分類(lèi)的研究側(cè)重于算法的精細(xì)設(shè)計(jì)以提高分類(lèi)精度，而現(xiàn)在除了對(duì)精度有所要求，對(duì)于分類(lèi)速度快速提升的需求尤其迫切。面對(duì)互聯(lián)網(wǎng)快速發(fā)展時(shí)期的這一新的挑戰(zhàn)，本文對(duì)大規(guī)模 Web文本快速分類(lèi)過(guò)程中的若干關(guān)鍵問(wèn)題展開(kāi)了深入的研究，取得了具有一定借鑒意義的進(jìn)展。
　　本文研究了相關(guān)經(jīng)典的網(wǎng)頁(yè)

2、正文提取技術(shù)，發(fā)現(xiàn)大多數(shù)算法是需要分析 HTML標(biāo)簽意義或者 HTML結(jié)構(gòu)特點(diǎn)的，而這個(gè)分析過(guò)程會(huì)非常耗費(fèi)時(shí)間。本文提出了基于窗口長(zhǎng)度的最長(zhǎng)連續(xù)串的提取算法。該算法無(wú)需分析具體 HTML標(biāo)簽意義和結(jié)構(gòu)，只是根據(jù)字符串的長(zhǎng)度的特點(diǎn)就可以求出正文所在的位置。提取出網(wǎng)頁(yè)正文文本后，由于互聯(lián)網(wǎng)上有很多文本信息是重復(fù)的或者是相似的，為了降低計(jì)算量，需要做文本去重。算法Simhash是大規(guī)模網(wǎng)頁(yè)去重的經(jīng)典算法，但它是針對(duì)詞語(yǔ)的組合形式，對(duì)于詞語(yǔ)順序

3、排列沒(méi)有檢查，由此本文提出用 Shingle思想有序詞語(yǔ)的劃分作為局部語(yǔ)序影響因子，加入到Simhash算法中，彌補(bǔ)了Simhash算法中語(yǔ)序無(wú)關(guān)的不足。接下來(lái)是文本分類(lèi)過(guò)程。在文本分類(lèi)的幾個(gè)處理階段中，除了將各個(gè)階段算法應(yīng)用到了分布式并行化框架Hadoop中，著重的優(yōu)化了 NB算法分類(lèi)。主要思想是參考信息檢索中倒排樹(shù)結(jié)構(gòu)，在索引樹(shù)節(jié)點(diǎn)中存儲(chǔ)需要重復(fù)計(jì)算的中間結(jié)果，以及使用倒排索引結(jié)構(gòu)來(lái)查詢檢索詞語(yǔ)及其某些分類(lèi)信息，同時(shí)做了橫向和縱向的