基于條件隨機場模型的中文分詞系統(tǒng)研究與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，如何高效搜索和處理各種信息，已成為當前軍隊信息化建設的重要課題。而這一切處理的基礎，就是中文分詞技術，中文分詞的主要目的就是將中文語句解析為計算機能正確識別理解的單詞序列，為后續(xù)的信息處理提供最基礎的信息素材，完成自然語言到計算機語言的轉(zhuǎn)換。沒有準確高效的分詞結(jié)果，對信息的精確化、自動化處理就無從談起，因此，研究中文分詞，提高分詞精度和速度具有十分重要的意義。
　　本文首先介紹了中文分詞技術的研究現(xiàn)狀，分析了

2、三種分詞技術發(fā)展情況和各自的優(yōu)勢和劣勢，基于信息處理自動化的思路，提出了一種結(jié)合規(guī)則和統(tǒng)計的優(yōu)點進行中文分詞的方法。然后重點介紹分析了以條件隨機場為代表的基于統(tǒng)計的分詞算法模型。
　　結(jié)合規(guī)則和統(tǒng)計的優(yōu)點進行中文分詞的方法，就是結(jié)合機械分詞的速度優(yōu)勢，以及CRF統(tǒng)計模型識別未登錄詞的優(yōu)勢。同時改進CRF模型的解碼流程，結(jié)合分詞詞典，引入全切分方法，提高解碼效率。分詞模塊作為分詞系統(tǒng)的核心，針對機械分詞在歧義處理上的缺點，改進了分詞

3、算法，引入了“蠶食”策略，以期解決部分歧義，提高分詞的準確性。使得整個分詞系統(tǒng)能夠隨著語料庫的日益豐富，實現(xiàn)自身詞典和統(tǒng)計模型的進化。讓信息處理自動化、智能化，在流程的初始——中文分詞上，得到初步實現(xiàn)。
　　最后，基于BakeOff2005標準語料庫，構建了一個真實語料測試環(huán)境，并進行了封閉測試。通過實驗，驗證了分詞系統(tǒng)的有效性，并與其他系統(tǒng)進行了橫向比對，表明該系統(tǒng)具有較快的分詞速度和較高的準確率，能夠達到設計的目標，是一個能夠