面向普通未登錄詞識別和理解的二字詞語義構詞研究.pdf

1、近年來隨著“詞匯主義”思潮的興起，詞匯語義學成為中文信息處理的前沿課題之一。作為語言的子系統(tǒng)，詞匯內部的特異性大，自身變動頻繁，研究難度相對較大。與詞相比，作為構詞基本部件的詞素在數量上相對有限，在表義功能上相對穩(wěn)定，因此把詞素作為基本資源，從語義上尋找他們組合成詞的規(guī)律，用來輔助自然語言理解的思路受到了越來越多的關注。
　　漢語自動分詞是中文信息處理的基礎環(huán)節(jié)。在基于詞表的分詞方法中，未登錄詞是影響分詞精度最主要的因素之一，而未

2、登錄詞中的普通新詞，構成方式多種多樣，功能變幻不定，數目不可窮盡，現(xiàn)有的基于統(tǒng)計的分詞方法只能識別出高頻詞，對低頻詞的識別則有些無能為力。
　　本文以《現(xiàn)代漢語詞典》（第六版）中的二三字詞作為選取范圍，建立起現(xiàn)代漢語詞素數據庫，在此基礎上選出50個高頻詞素，進而把含有這些詞素的8984個二字詞作為封閉考察對象。首先參照《現(xiàn)代漢語詞典》（第六版），標注8984個二字詞的詞義，繼而基于詞義和知網(HowNet)，標注前后詞素的義項和對

3、應義類，然后從意合結構、意根分布、意指方式、意變類型四個角度標注詞素間的詞化意義，最后綜合詞素意義和詞化意義，在定量統(tǒng)計的基礎上建立一個二字詞的語義描寫體系。
　　二字詞的語義描寫體系主要包括8984個詞的釋義模式，詞素-義類數據庫，詞素意義分布表，詞化意義分布表和釋義模式分布表。利用二字詞的語義描寫體系分別對《現(xiàn)代漢語詞典》（第六版）新出現(xiàn)的1413個新詞和取自論壇的自然語篇進行識別和理解，發(fā)現(xiàn)二字詞的語義構詞研究在普通未登錄詞