基于統(tǒng)計(jì)的NLP技術(shù)在中文信息檢索中的應(yīng)用研究.pdf

1、本文就中文信息檢索的幾個(gè)主要問(wèn)題，在NLP技術(shù)的基礎(chǔ)上，利用統(tǒng)計(jì)學(xué)和代數(shù)學(xué)方法，從詞語(yǔ)層和文檔層對(duì)信息檢索中文檔和文檔集的處理方法進(jìn)行了深入研究。 首先從理論上對(duì)中文信息檢索索引單位的選擇做了詳細(xì)分析，改進(jìn)了傳統(tǒng)的最大匹配分詞算法，一定程度上解決了切分歧義的問(wèn)題，同時(shí)在改進(jìn)算法中引入了一種基于統(tǒng)計(jì)的窗口移動(dòng)擴(kuò)展方法，簡(jiǎn)單而有效地改善了未登錄詞的識(shí)別問(wèn)題。 針對(duì)中文，實(shí)現(xiàn)了基于χ2統(tǒng)計(jì)的單文檔關(guān)鍵詞提取算法，其主要基礎(chǔ)是詞

2、與詞之間的共現(xiàn)次數(shù)的統(tǒng)計(jì)，并使用χ2統(tǒng)計(jì)量來(lái)衡量?jī)蓚€(gè)詞語(yǔ)之間的關(guān)聯(lián)。同時(shí)改進(jìn)了傳統(tǒng)的KEA算法，擴(kuò)展了標(biāo)示關(guān)鍵詞的特征，實(shí)現(xiàn)了基于樸素貝葉斯理論的中文多文檔關(guān)鍵詞提取模型。 對(duì)文本分類算法進(jìn)行了研究，探討了文本特征抽取方法，其中綜合考慮了頻度、分散度和集中度三項(xiàng)指標(biāo)，設(shè)計(jì)并實(shí)現(xiàn)了一種新的特征抽取算法，使得選出的特征項(xiàng)整體優(yōu)化。另外，提出了一種基于向量空間模型的詞共現(xiàn)模型，并將通過(guò)該模型統(tǒng)計(jì)出的共現(xiàn)詞信息應(yīng)用于文本分類研究中。上述

3、技術(shù)都在一定程度上提高了文本分類系統(tǒng)的性能。最后，將分類技術(shù)應(yīng)用到了信息檢索中的用戶查詢歧義消除方面，實(shí)現(xiàn)了一個(gè)分類檢索系統(tǒng)，使用戶可以快速獲取自己真正需要的信息。 針對(duì)高維詞－文檔矩陣所造成的高存儲(chǔ)空間和運(yùn)算時(shí)間開銷，本文將線性(LSI)和非線性(Isomap、SIE)維數(shù)約減算法引入到高維文檔數(shù)據(jù)的降維處理中，并在文檔聚類方面對(duì)三種算法處理后的數(shù)據(jù)進(jìn)行了性能比較。實(shí)驗(yàn)結(jié)果表明，采用了局部嵌入技術(shù)的SIE算法取得了與LSI相當(dāng)