實(shí)時(shí)數(shù)據(jù)庫(kù)中數(shù)據(jù)組織和訂閱發(fā)布技術(shù)的研究.pdf

1、實(shí)時(shí)數(shù)據(jù)庫(kù)是一種數(shù)據(jù)和事務(wù)都有時(shí)間限制的數(shù)據(jù)庫(kù)管理系統(tǒng)，事務(wù)的正確性不僅依賴(lài)于結(jié)果本身，而且依賴(lài)于結(jié)果產(chǎn)生的時(shí)間。實(shí)時(shí)數(shù)據(jù)庫(kù)能提供高速、實(shí)時(shí)的數(shù)據(jù)服務(wù)，有效的集成異構(gòu)控制系統(tǒng)的生產(chǎn)數(shù)據(jù)，廣泛應(yīng)用于石油、化工、鋼鐵、電力、醫(yī)藥等行業(yè)，也開(kāi)始涉足于金融、航天航空、環(huán)保、物聯(lián)網(wǎng)等行業(yè)。近些年來(lái)，實(shí)時(shí)數(shù)據(jù)庫(kù)在國(guó)內(nèi)外取得了重大發(fā)展，隨著市場(chǎng)需求不斷增加，實(shí)時(shí)數(shù)據(jù)庫(kù)將迎來(lái)更為廣闊的發(fā)展空間。
　　本文結(jié)合實(shí)時(shí)數(shù)據(jù)庫(kù)的結(jié)構(gòu)，采用內(nèi)存數(shù)據(jù)庫(kù)技術(shù)，

2、分別從內(nèi)存數(shù)據(jù)的組織和歷史數(shù)據(jù)庫(kù)的設(shè)計(jì)兩個(gè)主要方面進(jìn)行了詳細(xì)的研究，最后介紹了訂閱發(fā)布技術(shù)在實(shí)時(shí)數(shù)據(jù)庫(kù)中的應(yīng)用和實(shí)現(xiàn)。具體研究?jī)?nèi)容概括如下:
　　1)為了提高實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)的響應(yīng)速度和吞吐量，實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)采用數(shù)據(jù)接收緩沖區(qū)結(jié)構(gòu)。本文分析了目前存在的幾種緩沖區(qū)模型結(jié)構(gòu)，采用了Ring結(jié)構(gòu)和多線程處理的思想，將Ring結(jié)構(gòu)的processingbuffer以多個(gè)buffer的形式用于實(shí)時(shí)數(shù)據(jù)庫(kù)中，提高了數(shù)據(jù)處理的實(shí)時(shí)性，減少了互斥所

3、產(chǎn)生的等待時(shí)間。
　　2)內(nèi)存數(shù)據(jù)的組織結(jié)構(gòu)是影響系統(tǒng)存取效率的關(guān)鍵因素。本文采用了面向?qū)ο蟮乃枷耄詼y(cè)點(diǎn)數(shù)據(jù)單元為單位，統(tǒng)一處理測(cè)點(diǎn)所有相關(guān)信息，測(cè)點(diǎn)數(shù)據(jù)單元采用索引加以組織。文中分析了目前存在的幾類(lèi)索引結(jié)構(gòu)，結(jié)合內(nèi)存直接存取的特點(diǎn)，采用partial-keycuckoohashing思想將Cuckoohashing加上索引以減少hash運(yùn)算的次數(shù)。最終通過(guò)實(shí)驗(yàn)分析得出Index_Cuckoohashing在數(shù)據(jù)插入和查詢(xún)等方面

4、都有著很高的性能優(yōu)勢(shì)，應(yīng)用到實(shí)時(shí)數(shù)據(jù)庫(kù)中能夠大大提高系統(tǒng)數(shù)據(jù)的存取效率。
　　3)目前歷史數(shù)據(jù)存儲(chǔ)有兩種方式:文件系統(tǒng)和商用關(guān)系型數(shù)據(jù)庫(kù)，隨著數(shù)據(jù)的不斷積累這兩種方式對(duì)系統(tǒng)性能帶來(lái)了一系列問(wèn)題。本文分析了這兩種方式的缺點(diǎn)，采用Hadoop和HBase技術(shù)，將HBase數(shù)據(jù)庫(kù)作為實(shí)時(shí)數(shù)據(jù)庫(kù)歷史數(shù)據(jù)的存儲(chǔ)方式，解決了海量數(shù)據(jù)帶來(lái)的存儲(chǔ)和查詢(xún)問(wèn)題。并且設(shè)計(jì)了兩種HBase表結(jié)構(gòu)，在集群環(huán)境上加以測(cè)試并進(jìn)行了性能分析，結(jié)果顯示HBase相