基于中層語義表示的圖像場景分類研究.pdf

1、隨著多媒體技術(shù)和計算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展,人們接觸到的圖像數(shù)據(jù)以前所未有的速度增長。面對海量的圖像資源,如何有效地分析、組織和管理圖像數(shù)據(jù),實現(xiàn)基于內(nèi)容的圖像檢索成為多媒體技術(shù)的研究熱點。場景分類(SceneClassification)任務(wù)就是在這種背景下產(chǎn)生的。場景分類根據(jù)給定的一組語義類別對圖像數(shù)據(jù)庫進(jìn)行自動標(biāo)注,為指導(dǎo)目標(biāo)識別等更高層次的圖像理解提供了有效的上下文語義信息。其研究的難點在于如何使計算機(jī)能夠從人類的認(rèn)知角度來理解圖像的

2、場景語義信息,有效辨別圖像場景類內(nèi)差異性和場景類間相似性。本文在場景的中層語義表示的基礎(chǔ)上,著重討論了如何從場景圖像中提出有效的視覺特征,彌合圖像低層特征和高層語義之間的語義鴻溝。圍繞該問題,本文取得了以下研究成果:
　　 提出了一種構(gòu)建類別視覺辭典的場景分類算法,該算法使用互信息作為特征選擇方法來構(gòu)建類別視覺辭典。根據(jù)視覺單詞對給定類別的貢獻(xiàn)度,從全局視覺辭典中選擇對給定類別貢獻(xiàn)度高的視覺單詞,組成該類的類別視覺辭典,進(jìn)而生成

3、類別直方圖。最終的融合直方圖由基于全局視覺辭典的全局直方圖和基于類別視覺辭典的類別直方圖通過自適應(yīng)加權(quán)合并生成,這種加權(quán)合并方法可以使類別直方圖和全局直方圖通過互相競爭的方式來描述圖像。融合直方圖不僅可以保留全局直方圖的的區(qū)分能力,而且通過類別直方圖加強(qiáng)了不同類別的相似場景的區(qū)分能力,以克服不同場景類別間的相似性問題,提高分類正確率。
　　 提出了一種基于不同特征粒度的多尺度多層次場景分類模型(Multi-ScaleMulti—

4、Level Generative Model,MSML-pLSA)。該模型由兩部分組成:多尺度部分負(fù)責(zé)從不同尺度的場景圖像中提取視覺細(xì)節(jié),構(gòu)建多尺度直方圖；多層次部分將對應(yīng)不同數(shù)量語義主題的場景表示線性連接生成最終的場景表示一多尺度多層次直方圖。MSML-pLSA模型可以在一個統(tǒng)一的框架下整合了不同粒度的視覺信息和語義信息,從而得到更加完善的場景描述。
　　 提出了一種使用無監(jiān)督學(xué)習(xí)方法提取上下文信息的場景分類算法,該算法將局部

5、視覺單詞擴(kuò)展到上下文視覺單詞。上下文視覺單詞不僅包含了當(dāng)前尺度下給定感興趣區(qū)域(Region Of Interest,ROI)的局部視覺信息,而且還包含了ROI相鄰區(qū)域和相鄰粗糙尺度下與ROI同中心的區(qū)域包含的視覺信息。通過引入ROI的上下文信息,上下文視覺單詞能夠更加有效地描述圖像場景的語義信息,從而減少了圖像場景語義的歧義性,進(jìn)而減少了場景分類的錯誤率。
　　 研究了基于詞包模型(Bag of Words,BoW)表示的特征

6、點的數(shù)量對分類正確率的影響。在構(gòu)建詞包模型的過程中,如何選取特征點,以便能更好地表征圖像的視覺信息是一個非常重要的工作。在場景分類領(lǐng)域中有一個普遍認(rèn)同的觀點,即較大數(shù)量的特征點可以獲得較高的分類正確率,但是該觀點卻沒有被驗證過。在詞包模型的框架下,本文做了大量的實驗來驗證這個觀點,本文采用了四種特征選擇方法和三種不同的SIFT特征(Scale Invariant Feature Transform)來改變特征點的數(shù)量。實驗結(jié)果證明特征點