手勢(shì)識(shí)別與民族弓弦樂器虛擬演奏研究.pdf

1、基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別被廣泛地應(yīng)用在人機(jī)交互領(lǐng)域。它能夠利用相關(guān)算法對(duì)攝像機(jī)捕獲的圖像序列進(jìn)行分析并識(shí)別其中的手勢(shì)。本文主要通過對(duì)手勢(shì)識(shí)別的研究實(shí)現(xiàn)了一個(gè)虛擬樂器演奏系統(tǒng)，增加了樂器演奏的趣味性，不僅能夠吸引更多的人來學(xué)習(xí)民族樂器的演奏，還可以為民族非物質(zhì)文化遺產(chǎn)的保護(hù)和傳承做出貢獻(xiàn)。
　　本文首先對(duì)虛擬演奏系統(tǒng)中使用到的相關(guān)技術(shù)進(jìn)行了簡(jiǎn)要介紹，包括增強(qiáng)現(xiàn)實(shí)、體感交互和手勢(shì)識(shí)別，并對(duì)常見的幾類手勢(shì)識(shí)別技術(shù)進(jìn)行了詳細(xì)的分析比較，然

2、后選擇了適于本系統(tǒng)的自然交互環(huán)境的基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別方案。然后根據(jù)手勢(shì)識(shí)別的一般流程設(shè)計(jì)并實(shí)現(xiàn)相關(guān)算法。根據(jù)二胡演奏的實(shí)際情況，針對(duì)左手手勢(shì)識(shí)別，使用基于3D模型的手勢(shì)建模方法定義了五種手勢(shì)，利用基于反向動(dòng)力學(xué)的手勢(shì)擬合算法對(duì)二胡演奏中的五種基本手勢(shì)進(jìn)行模擬和識(shí)別，主要介紹了最佳擬合位置的探索算法；針對(duì)右手手勢(shì)識(shí)別，使用基于表觀的手勢(shì)建模方法提取Hu矩特征對(duì)定義的兩種右手手勢(shì)進(jìn)行建模，并使用基于輪廓匹配的手勢(shì)識(shí)別方法進(jìn)行識(shí)別。

3、r>　　最后，利用手勢(shì)識(shí)別驅(qū)動(dòng)實(shí)現(xiàn)了基于增強(qiáng)現(xiàn)實(shí)環(huán)境的虛擬二胡演奏系統(tǒng)。采用深度相機(jī)Kinect作為輸入設(shè)備，充分利用Kinect提供的彩色圖像、深度圖像和骨骼數(shù)據(jù)信息構(gòu)建增強(qiáng)現(xiàn)實(shí)場(chǎng)景，模擬二胡的虛擬演奏。在場(chǎng)景構(gòu)建的過程中，對(duì)人體手部和樂器模型的遮擋問題進(jìn)行處理，利用深度信息和膚色模型對(duì)手部進(jìn)行分割，然后將分割出來的手部圖像繪制在正確的位置，同時(shí)對(duì)樂器模型繪制的坐標(biāo)進(jìn)行調(diào)整，使最終結(jié)果為看起來用戶手持樂器。論文的最后還討論了系統(tǒng)實(shí)現(xiàn)過