基于Web的大規(guī)模平行語(yǔ)料庫(kù)構(gòu)建方法研究.pdf

1、蘇州大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明本人鄭重聲明：所提交的學(xué)位論文是本人在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不含其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不含為獲得蘇州大學(xué)或其它教育機(jī)構(gòu)的學(xué)位證書(shū)而使用過(guò)的材料。對(duì)本文的研究作出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人承擔(dān)本聲明的法律責(zé)任。論文作者簽名：基于Web的人規(guī)?！疨行語(yǔ)料庫(kù)構(gòu)建方法研究中文摘要基于Web的大規(guī)模平行語(yǔ)料庫(kù)構(gòu)建方法研

2、究中文摘要大規(guī)模平行語(yǔ)料庫(kù)是機(jī)器翻譯、跨語(yǔ)言信息檢索等自然語(yǔ)言處理應(yīng)用的重要資源?；ヂ?lián)網(wǎng)上存在著海量的多語(yǔ)言平行資源，以往的一些研究都致力于從一些多語(yǔ)網(wǎng)站中獲取平行(即互為翻譯)的單語(yǔ)網(wǎng)頁(yè)對(duì)，進(jìn)而獲取平行語(yǔ)料。雖然許多機(jī)構(gòu)都已經(jīng)展開(kāi)建設(shè)雙語(yǔ)平行語(yǔ)料庫(kù)的工作，但現(xiàn)有語(yǔ)料庫(kù)在數(shù)量、質(zhì)量以及領(lǐng)域覆蓋性等方面還不能滿(mǎn)足處理真實(shí)文本的需要。目前，學(xué)者發(fā)現(xiàn)在Web上雙語(yǔ)平行資源不僅存在于兩個(gè)平行的單語(yǔ)網(wǎng)頁(yè)對(duì)中，還存在于雙語(yǔ)混合網(wǎng)頁(yè)中，且存在于雙語(yǔ)混

3、合網(wǎng)頁(yè)內(nèi)部的平行資源翻譯質(zhì)量更高、數(shù)據(jù)規(guī)模更大、領(lǐng)域覆蓋更廣。本文的研究就是基于雙語(yǔ)混合網(wǎng)頁(yè)展開(kāi)，致力于研究如何自動(dòng)構(gòu)建一個(gè)大規(guī)模雙語(yǔ)平行語(yǔ)料庫(kù)。取得的主要成果歸納如下：探索基于Web獲取雙語(yǔ)混合網(wǎng)頁(yè)互聯(lián)網(wǎng)中索引了海量的網(wǎng)頁(yè)，如何準(zhǔn)確獲取雙語(yǔ)混合網(wǎng)頁(yè)是個(gè)充滿(mǎn)挑戰(zhàn)的任務(wù)。以往的研究都是采用限定目標(biāo)源的方法，即預(yù)先收集大量的源站點(diǎn)(比如英語(yǔ)學(xué)習(xí)網(wǎng)站、翻譯網(wǎng)站等)，然后遞歸下載所有內(nèi)部網(wǎng)頁(yè)作為候選雙語(yǔ)混合網(wǎng)頁(yè)。但是該方法中源站點(diǎn)的選擇需要人工

4、干預(yù)，且獲取的網(wǎng)頁(yè)數(shù)量有限。為了克服這些缺點(diǎn)，還有一些研究提出利用搜索引擎和啟發(fā)式信息自動(dòng)篩選得到候選源站點(diǎn)，但得到的候選資源良莠不齊，會(huì)下載到大量噪音網(wǎng)頁(yè)。本文提出了一種借助搜索引擎和已獲取的小規(guī)模平行語(yǔ)料來(lái)遞歸地發(fā)現(xiàn)并獲取雙語(yǔ)混合網(wǎng)頁(yè)的方法，實(shí)驗(yàn)結(jié)果表明該方法能夠快速地、準(zhǔn)確地、持久地獲取高質(zhì)量的雙語(yǔ)混合網(wǎng)頁(yè)。改進(jìn)了雙語(yǔ)平行資源抽取、對(duì)齊技術(shù)雙語(yǔ)混合網(wǎng)頁(yè)中不僅包含有用的雙語(yǔ)平行資源，還包含一些噪音信息，如廣告信息、導(dǎo)航信息等，而且平