基于標簽樹的列表頁面數(shù)據(jù)抽取技術研究.pdf

1、伴隨Internet的飛速發(fā)展，Web已經成為一個巨大的、共享的、分布式的信息資源集合，如何從浩瀚的Web信息資源中自動獲取用戶感興趣的數(shù)據(jù)記錄或有用的信息，已成為人們深入探討的課題。目前，大多數(shù)Web數(shù)據(jù)都以非結構或半結構化的形式呈現(xiàn)，缺乏對數(shù)據(jù)本身的描述，不包含清晰的語義，模式也不太明確，這使得應用程序無法直接解析并利用Web上的海量信息。為了避免“數(shù)據(jù)爆炸，知識匱乏”的尷尬，從海量的半結構化Web數(shù)據(jù)中抽取出結構化的、與主題相關的

2、數(shù)據(jù)，向用戶提供增值服務(如監(jiān)控股市的及時行情、比較各個網站的商品價格、跟蹤合作伙伴或競爭對手的動態(tài)、集成企業(yè)內外部的各種信息等)，各種Web數(shù)據(jù)抽取技術應運而生，并日漸發(fā)揮出強大的作用。因此，Web數(shù)據(jù)抽取技術有著明顯的優(yōu)勢和廣闊的前景，是數(shù)據(jù)提取技術、人工智能信息檢索、自然語言理解技術在網絡信息處理中的應用，是當今多個領域的研究熱點。
　　 本論文探討了針對由模板生成的列表頁面，如何檢測其通用模板，并將嵌入在模板中的數(shù)據(jù)抽取

3、出來，實現(xiàn)了列表頁面數(shù)據(jù)的自動抽取。
　　 首先，簡要敘述了半結構化數(shù)據(jù)、Web數(shù)據(jù)抽取、列表頁面的概念；
　　 接著，深入研究了Web數(shù)據(jù)抽取技術的發(fā)展歷史、現(xiàn)有技術，并在對各種技術比較后，指出現(xiàn)有技術的優(yōu)缺點、未來可能的發(fā)展方向；
　　 然后，詳細介紹了作者前一階段的學術成果--自動抽取 Web數(shù)據(jù)的樹對齊算法，它是本論文所提出的基于標簽樹的列表頁面數(shù)據(jù)抽取系統(tǒng)的研究基礎和核心部分。本論文實現(xiàn)了此算法，完善了