基于云計(jì)算的文本分類研究與應(yīng)用.pdf

1、當(dāng)代互聯(lián)網(wǎng)的高速發(fā)展產(chǎn)生了大量富有價(jià)值的互聯(lián)網(wǎng)信息，其中文本數(shù)據(jù)占據(jù)著重要的位置，如何從海量的文本數(shù)據(jù)中挖掘出有用的信息是具有重大意義的課題。文本分類是文本挖掘中一項(xiàng)重要的研究方向，分類算法的實(shí)現(xiàn)是文本分類的重要部分，影響著文本分類效果和分類性能?；趥鹘y(tǒng)計(jì)算機(jī)的分類算法實(shí)現(xiàn)過(guò)程需要消耗大量的時(shí)間，不能滿足日益增長(zhǎng)的數(shù)據(jù)處理需求，云計(jì)算平臺(tái)的研究和發(fā)展就是在這一背景下興起，滿足了日益增長(zhǎng)的海量數(shù)據(jù)處理需求。
　　鑒于目前文本分類的

2、研究現(xiàn)狀和云計(jì)算平臺(tái)應(yīng)用的發(fā)展趨勢(shì)，本文將基于云計(jì)算平臺(tái)對(duì)文本分類相關(guān)技術(shù)進(jìn)行研究，主要工作有以下三個(gè)方面：
　?。?）深入分析了樸素貝葉斯文本分類算法相關(guān)理論，對(duì)條件屬性獨(dú)立性假設(shè)進(jìn)行深入研究，重點(diǎn)討論了樸素貝葉斯屬性加權(quán)對(duì)獨(dú)立性假設(shè)的影響。然后針對(duì)屬性加權(quán)，本文提出了基于余弦相似度的加權(quán)樸素貝葉斯分類算法，采用余弦相似度優(yōu)化屬性權(quán)值，對(duì)分類算法進(jìn)行改進(jìn)。
　?。?）研究樸素貝葉斯算法在云計(jì)算平臺(tái)中的并行化實(shí)現(xiàn)?；谠朴?jì)算

3、平臺(tái)Hadoop，根據(jù)MapReduce編程模型對(duì)貝葉斯算法并行化進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)；基于云計(jì)算平臺(tái)Spark，根據(jù)基于內(nèi)存的運(yùn)算模式來(lái)分析和設(shè)計(jì)貝葉斯算法的并行化。然后實(shí)驗(yàn)對(duì)比算法在兩個(gè)平臺(tái)上性能提升的效果。
　?。?）針對(duì)電子商務(wù)商品類目分類領(lǐng)域，在Spark平臺(tái)和文本分類相關(guān)技術(shù)的研究基礎(chǔ)上，對(duì)基于Spark平臺(tái)文本分類并行化實(shí)現(xiàn)過(guò)程進(jìn)行分析和設(shè)計(jì)，分析任務(wù)提交后各節(jié)點(diǎn)的作用和任務(wù)分配情況。然后研究改進(jìn)的樸素貝葉斯算法在Spar