文本分類和聚類若干模型的研究.pdf

1、隨著互聯網上文本數據的持續(xù)暴漲式增長,文本挖掘這種在大規(guī)模數據情況下能有效組織和管理文本信息的工具得到了廣泛的研究和應用。本文分別針對文本挖掘中分類和聚類的幾個問題提出了改進模型。
　　 對于有監(jiān)督學習中的文本分類問題,傳統(tǒng)分類方法在類別較少時能表現較好的效果,但遇到類別較多且類別間存在著復雜關系時其效果不盡人意?！吧顚臃诸悺蹦Ｐ褪且环N解決大規(guī)模文本層次分類問題的有效框架,它由搜索和分類兩階段組成,其中搜索階段用于選擇與測試文檔

2、相關的若干個候選類別,分類階段則是通過對這些候選類別訓練更加精確的分類器進行最終分類。本文基于該框架提出一種改進型模型,首先將一種新方法用于單獨評價搜索階段的效果;然后利用類別和文檔信息共同選擇候選類別;最后基于類中心訓練Rocchio分類器,同時還利用相關類別的分類結果確定最終類別。
　　 對于無監(jiān)督學習中的文本聚類問題,準確高效地度量文本間的相關性是其重要任務。傳統(tǒng)方法直接計算文檔間的統(tǒng)計相關性,而沒有考慮相鄰文檔的影響。本

3、文使用了Markov網絡模型表示文本集中文檔關系,該方法不僅考慮文檔間的直接相關性還考慮了各自鄰域對其描述的影響;并將該方法用于文檔聚類中,通過構造Markov網絡并加權結合各步轉移矩陣,使得類內數據相關性描述更大,類間數據相關性描述更小,最后利用這種相關性描述差距明顯的關系矩陣進行聚類。
　　 本文的工作主要包括以下兩點:
　　 1)系統(tǒng)地研究了大規(guī)模文本分類中的方法和應用,并針對深層分類模型提出了一種結合相關類別的大