多視角視頻時空分析研究與應用.pdf

1、時空分析方法通過分析時空數(shù)據提取目標時域與空域特征，將有意義的數(shù)據從總體中分離并應用在后續(xù)研究領域中。多視角視頻時空分析實現(xiàn)從視頻中提取時空數(shù)據特征，對目標行為分析，語義判斷，場景理解等工作具有重要意義，是計算機視覺領域中非常重要的研究課題。基于多視角視頻的時空分析，需要在視頻中完成對目標的檢測、識別等工作，因此更具有挑戰(zhàn)性。本文針對Multi-egocentric視頻（也稱多視角Egocentric視頻）的特點，研究了時空分析方法，并

2、將時空分析方法應用在針對Multi-egocentric視頻的群體檢測的研究當中。
　　本文以多個相同時間拍攝的Egocentric視頻產生的圖像序列為輸入，結合時空分析方法實現(xiàn)了目標檢測、目標匹配、目標位置和朝向估計，最終完成目標群體檢測，本文的主要工作如下:
　　1、研究了多視角視頻時空分析方法，針對Multi-egocentric視頻中的背景變化劇烈、目標尺度差異明顯和視角時變性強的特點，本文構建了基于Boosting

3、方法的多目標檢測模型對多個視頻中的顯著目標進行粗檢測，并結合時空信息，提出一種基于局部相似度的區(qū)域優(yōu)化算法對目標輪廓進行優(yōu)化。在Party Scene數(shù)據集上的實驗結果證明，該算法克服了以上Egocentric視頻特點導致的檢測結果不準確等問題，在魯棒性方面較Zhu提出的基于魯棒性背景度量的顯著性優(yōu)化算法更優(yōu)。
　　2、研究了基于多視角視頻目標匹配、位置和朝向估計算法，結合時空金字塔方法，利用同一目標的不同視角的圖像作為輸入訓練基

4、于HOG特征的SVM分類器，實現(xiàn)多視角視頻的多目標匹配。根據Egocentric視頻的拍攝特點，利用Ego-motion信息將目標的運動模式分類，提出基于稀疏光流模式匹配的Ego-motion估計算法，并據此估計目標的位置和朝向。在Party Scene數(shù)據集上的實驗結果證明，本文提出的目標匹配算法、位置和朝向估計算法基本達到同類算法水平，但由于Egocentric視頻目標尺度差異明顯和視角時變性強等特點，本文算法難度更大，符合預期。<