數(shù)據(jù)集成技術及其應用研究.pdf

1、隨著社保審計范圍不斷擴大，需要處理的業(yè)務數(shù)據(jù)呈現(xiàn)多源化、異構化、海量化等特點，因此如何實現(xiàn)異構分布式數(shù)據(jù)源信息共享成為當前亟待解決的問題。本文研究的數(shù)據(jù)集成技術對異構分布式數(shù)據(jù)源進行邏輯集成，利用中間件技術形成一個虛擬數(shù)據(jù)庫，它向上為用戶提供統(tǒng)一的數(shù)據(jù)訪問接口，向下屏蔽底層異構數(shù)據(jù)源。數(shù)據(jù)集成技術可應用于社保審計分布式業(yè)務數(shù)據(jù)查詢中。
　　 本文主要工作包括數(shù)據(jù)集成系統(tǒng)框架設計，數(shù)據(jù)集成算法研究。數(shù)據(jù)集成系統(tǒng)框架設計包括總體架構

2、設計、中間件邏輯結構設計、數(shù)據(jù)持久層設計、部件交互設計。中間件結構設計是關鍵，它在邏輯上由語法分析器、查詢重寫器、包裝器、連接池、結果整合器等組成。數(shù)據(jù)集成算法包括查詢重寫算法和結果整合算法。查詢重寫算法將面向全局模式的查詢重寫為面向各數(shù)據(jù)源模式的子查詢，它基于三叉鏈樹將查詢語句展開，并對樹中的模式和屬性節(jié)點分類映射。結果整合算法主要對結果集進行連接操作、分組操作及嵌套查詢；連接操作使用預處理技術對結果集進行排序，分組操作基于平衡樹進行