基于One-class SVM的多球體文本聚類算法研究.pdf

1、在如今信息爆炸的互聯(lián)網(wǎng)時(shí)代，隨著web文本數(shù)量的規(guī)模不斷增大，人們要從這些海量的文本信息中快速有效地找到自己想要的信息，僅靠人工的分類方法是行不通的，而文本聚類技術(shù)正好憑借其優(yōu)秀的文本自動(dòng)化分類能力為此提供了解決之道。
　　研究表明，傳統(tǒng)的基于劃分的聚類算法比如K-均值算法，存在以下兩個(gè)缺點(diǎn)：第一是不能很好地識(shí)別非球狀或者大小各異的聚類簇；第二是對(duì)預(yù)先設(shè)定的聚類數(shù)目K值敏感。
　　針對(duì)第一個(gè)問題，本文采用了一個(gè)核方法，也稱為

2、One-class SVM，它通過一個(gè)核函數(shù)，在輸入空間和特征空間之間建立一個(gè)非線性映射，通過計(jì)算得到一個(gè)半徑最小的且包含該類所有數(shù)據(jù)點(diǎn)的超球體，超球體的球面就是聚類邊界，邊界上的數(shù)據(jù)點(diǎn)稱為該聚類簇的支持向量，這些支持向量就代表了一個(gè)聚類簇。其實(shí)，One-class SVM可以看成為一個(gè)二值分類器，但是，實(shí)際遇到的問題大部分屬于多值分類情況，為此，本文通過構(gòu)造K(K為聚類數(shù))個(gè)One-class SVM分類器，來解決多分類問題。

3、　　針對(duì)第二個(gè)問題，本文將核方法運(yùn)用到CDBW評(píng)價(jià)函數(shù)，引入了一個(gè)基于核方法的評(píng)價(jià)函數(shù) KCDBW，動(dòng)態(tài)地對(duì)每次聚類結(jié)果進(jìn)行評(píng)價(jià)，并記錄最優(yōu)聚類結(jié)果，以找到最優(yōu)的聚類數(shù)目。
　　基于以上兩點(diǎn)，本文設(shè)計(jì)了一種新型的基于核方法的動(dòng)態(tài)劃分文本聚類方法，即基于One-class SVM的多球體文本聚類算法，它的主要思想是：首先采用LSA，即潛在語義分析方法來縮減文本向量空間模型維數(shù)，其次，采用One-class SVM對(duì)每個(gè)聚類簇進(jìn)行訓(xùn)練

4、，得到相應(yīng)的支持向量機(jī)模型，并利用聚類評(píng)價(jià)函數(shù)KCDBW指導(dǎo)文本聚類，最終得到最優(yōu)的聚類數(shù)目。
　　為了評(píng)判本文給出的一種基于核方法的動(dòng)態(tài)劃分文本聚類算法的聚類效果，本文首先設(shè)計(jì)實(shí)現(xiàn)了一個(gè)實(shí)驗(yàn)平臺(tái)，然后在三種數(shù)據(jù)集包括人工數(shù)據(jù)集，UCI數(shù)據(jù)集以及搜狗文本數(shù)據(jù)集上，分別使用了本文方法和傳統(tǒng)的聚類算法對(duì)其進(jìn)行了聚類實(shí)驗(yàn)，最終的實(shí)驗(yàn)數(shù)據(jù)說明了本文設(shè)計(jì)的一種基于核方法的聚類評(píng)價(jià)函數(shù)KCDBW對(duì)聚類過程具有很好的指導(dǎo)意義，本文給出的一種基于