基于潛在語義的文本自動(dòng)聚類系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)中存有數(shù)量巨大的電子格式信息.這些信息包括書籍、雜志、期刊、新聞、在線數(shù)據(jù)庫和廣告等.網(wǎng)絡(luò)能夠給人們提供各種各樣的信息,搜索引擎是輔助人們尋找有用信息的工具,而檢索的效果不佳也是眾所周知問題.該文主要討論文本聚類,一種文本處理方法,它可以改善搜索引擎效果,或是用于對(duì)網(wǎng)絡(luò)資源歸類、整理,方便人們查找.聚類是一個(gè)將文本集分組的全自動(dòng)處理過程<'[30]>.每個(gè)組里的文本在一定方面互相接近.如果把文本內(nèi)容作為聚類的基礎(chǔ),不同的組則與文本集

2、不同的主題相對(duì)應(yīng).所以聚類是一個(gè)發(fā)現(xiàn)文本集包含內(nèi)容的辦法.在基于向量空間的傳統(tǒng)模型中,人們使用詞語來構(gòu)造特征詞空間時(shí),沒有考慮詞語在文本中的重要性,而是把詞語看作構(gòu)成文本的符號(hào),沒有任何語義.同樣,也忽略了同樣的詞語,出現(xiàn)在不同主題的文本中時(shí),在文本中的重要性也有所差異.顯然,這些信息有助于提高文檔處理性能.我們提出一種方法,通過詞語在文章中的不同位置給詞語賦予不同的權(quán)重,來體現(xiàn)詞語在文中的重要性,與潛在語義索引技術(shù)結(jié)合使用;在聚類過程