基于CRF模型的漢語介詞短語識別.pdf

1、介詞短語是漢語中一種重要的短語類型。介詞短語識別可以縮小句子中心動詞的選擇范圍；可以簡化句子結構，降低后續(xù)句法分析的難度；在基于模板的翻譯中，它還能為模板匹配提供方便。 本文首先指出了當前完全語法分析的困難，并介紹了介詞短語識別的研究現狀及技術路線，提出了漢語介詞短語識別的重要性和可行性。在研究過程中，本文繼承了Church提出的把BaseNP識別看作詞性標注同構問題的思想，嘗試在淺層句法分析這個階段識別介詞短語。由于CRF具有

2、表達元素長距離依賴性和交疊性特征的能力，并且介詞短語的平均詞長比較長，決定采用CRF模型來識別介詞短語。首先考慮采用基于CRF單層模型來識別介詞短語，在實驗分析中發(fā)現嵌套介詞短語、跨越分句的介詞和有歧義的介詞短語識別錯誤導致整個識別精確率不高，后面兩類介詞短語識別難度較大，不重點研究。本文只針對嵌套介詞短語識別錯誤提出了一種基于CRF的層次結構來識別介詞短語。據統計發(fā)現，在大量文本出現的都是兩層嵌套，三層嵌套在文本中的比例很少，所以只需

3、用基于CRF雙層模型來識別介詞短語。第一層CRF識別無嵌套介詞短語和嵌套介詞短語的內層部分，第二層CRF識別嵌套介詞短語的外層部分，之后將兩層結果合并，最后用規(guī)則進行后續(xù)處理。 實驗表明，利用基于CRF雙層模型的方法來識別中文介詞短語是有效的；系統使用含有7000余個介詞短語的2000年人民日報語料的開放測試精確率達到90.08％。和當前同類文獻相比，本識別系統取得比較好的識別結果。由于介詞短語結構上和動詞短語有相似之處，它的研