多模式交互音樂(lè)感知關(guān)鍵技術(shù)與實(shí)驗(yàn)研究.pdf

1、音樂(lè)是情感的語(yǔ)言和藝術(shù)，情感是音樂(lè)的本質(zhì)特征。但是迄今為止，人們感知音樂(lè)情感的主要方式仍然是憑借聽(tīng)覺(jué)，不能通過(guò)有效的方法去“看”音樂(lè)、“觸摸”音樂(lè)，即不能通過(guò)“聽(tīng)覺(jué)、視覺(jué)和觸覺(jué)”的多種感知模式交互體驗(yàn)音樂(lè)的情感。因此，本課題交叉、融和音樂(lè)學(xué)、認(rèn)知心理學(xué)、心理物理學(xué)、多媒體技術(shù)、信號(hào)處理、模式識(shí)別與智能控制、虛擬現(xiàn)實(shí)和儀器科學(xué)等學(xué)科知識(shí)，以提高音樂(lè)情感識(shí)別率和基于“聽(tīng)-視-觸覺(jué)”增強(qiáng)感知音樂(lè)的沉浸感為切入點(diǎn)，研究了音樂(lè)情感特征的提取與識(shí)別

2、技術(shù);設(shè)計(jì)了“熱觸覺(jué)感知與復(fù)現(xiàn)”實(shí)驗(yàn)裝置和“可視音樂(lè)感知”實(shí)驗(yàn)裝置，系統(tǒng)地開(kāi)展了人手指熱觸覺(jué)感知、基于“聽(tīng)-視覺(jué)”的音樂(lè)感知、基于“聽(tīng)-熱觸覺(jué)”的音樂(lè)感知和基于“聽(tīng)-視-熱觸覺(jué)”多模式交互的音樂(lè)感知等方面的心理物理實(shí)驗(yàn)研究。
　　論文的主要?jiǎng)?chuàng)新點(diǎn)在于把熱觸覺(jué)用于音樂(lè)感知，通過(guò)一系列心理物理實(shí)驗(yàn)，從技術(shù)層面確定了一種能夠產(chǎn)生強(qiáng)烈沉浸感的可視音樂(lè)的表現(xiàn)形式，提出了一種“熱觸覺(jué)輔助感知音樂(lè)”的設(shè)計(jì)方案，以及基于“聽(tīng)-視-熱觸覺(jué)”多通道交

3、互感知音樂(lè)的設(shè)計(jì)方案。通過(guò)本課題的研究，為今后設(shè)計(jì)基于“聽(tīng)-視-熱觸覺(jué)”多通道交互感知音樂(lè)的接口與裝置提供了理論基礎(chǔ)和技術(shù)支持。
　　論文的主要研究工作和取得的進(jìn)展如下:
　　(1)基于“效價(jià)-激勵(lì)”情感模型，把音樂(lè)情感建模視為一個(gè)由情感效價(jià)值和激勵(lì)值確定的一個(gè)連續(xù)變量;提取音樂(lè)的能量、韻律、和聲、時(shí)域和頻譜等特征，并通過(guò)主成分分析空間投影和Relief特征選擇的方法對(duì)音樂(lè)特征空間降維;應(yīng)用多元自適應(yīng)回歸樣條法、支持向量回歸

4、、徑向基函數(shù)回歸、隨機(jī)森林回歸和回歸神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法，分別對(duì)“效價(jià)-激勵(lì)情感平面”的效價(jià)和激勵(lì)值進(jìn)行回歸，這些算法均實(shí)現(xiàn)了較好的音樂(lè)情感回歸，其中在Relief特征空間分別基于支持向量機(jī)回歸法和隨機(jī)森林回歸算法實(shí)現(xiàn)了最優(yōu)的回歸結(jié)果，情感效價(jià)和激勵(lì)值的R2統(tǒng)計(jì)值分別為29.3％和62.5％，優(yōu)于已有文獻(xiàn)報(bào)道的結(jié)果;基于支持向量機(jī)分類(lèi)、K鄰域分類(lèi)、模糊神經(jīng)網(wǎng)絡(luò)分類(lèi)、模糊K鄰域分類(lèi)、貝葉斯分類(lèi)和Fisher線(xiàn)性判別等算法，對(duì)音樂(lè)情感進(jìn)行

5、了分類(lèi)，其中支持向量機(jī)、模糊K鄰域以及Fisher線(xiàn)性判別算法實(shí)現(xiàn)的音樂(lè)情感分類(lèi)正確率都大于80％;提出了一種新算法“混合分類(lèi)器”，基于該算法實(shí)現(xiàn)的音樂(lè)情感識(shí)別率達(dá)到84.9％。
　　(2)基于半無(wú)限體模型的熱觸覺(jué)感知機(jī)理，應(yīng)用嵌入式技術(shù)、模糊控制技術(shù)和虛擬儀器技術(shù)設(shè)計(jì)了3套“熱觸覺(jué)感知與復(fù)現(xiàn)”實(shí)驗(yàn)裝置，實(shí)驗(yàn)裝置的控溫范圍在-10℃-130℃、溫度分辨率和精度分別為0.01℃和±0.1℃、最大升溫或降溫速率大于12℃/s，能夠快速

6、、精準(zhǔn)實(shí)現(xiàn)特定波形的溫度輸出;利用“熱觸覺(jué)感知與復(fù)現(xiàn)”裝置，開(kāi)展了手指熱觸覺(jué)感知特性實(shí)驗(yàn)、手指熱觸覺(jué)差別閾限測(cè)量實(shí)驗(yàn)、情感與溫度的映射實(shí)驗(yàn)、熱觸覺(jué)激勵(lì)情感識(shí)別實(shí)驗(yàn)和基于熱觸覺(jué)的虛擬環(huán)境材質(zhì)識(shí)別實(shí)驗(yàn);測(cè)量了手指冷熱感知和舒適度感知的溫度閾值、手指的熱觸覺(jué)溫度差別閾限;驗(yàn)證了人的情感與熱觸覺(jué)在冷熱感知和舒適度感知的量度上是一致的、和諧的和可以相互表征的關(guān)系，通過(guò)熱觸覺(jué)感知通道能夠增強(qiáng)人的情感認(rèn)知;實(shí)驗(yàn)結(jié)果進(jìn)一步表明，熱觸覺(jué)感知與復(fù)現(xiàn)技術(shù)可以

7、增強(qiáng)人在認(rèn)知過(guò)程和情感體驗(yàn)中的真實(shí)感和沉浸感。
　　(3)基于HTML5技術(shù)開(kāi)發(fā)了一種“可視音樂(lè)感知實(shí)驗(yàn)系統(tǒng)”，該系統(tǒng)操作方便、表現(xiàn)形式豐富，可以滿(mǎn)足多模式音樂(lè)感知實(shí)驗(yàn)的要求;基于該系統(tǒng)，在被試自主感知實(shí)驗(yàn)的基礎(chǔ)上通過(guò)問(wèn)卷調(diào)查及統(tǒng)計(jì)分析，探討了不同情感類(lèi)型的可視音樂(lè)表現(xiàn)形式，為開(kāi)發(fā)“與音樂(lè)情感表達(dá)同步的可視音樂(lè)系統(tǒng)”提供了設(shè)計(jì)方案。
　　(4)基于本文開(kāi)發(fā)的“可視音樂(lè)感知實(shí)驗(yàn)系統(tǒng)”和“熱觸覺(jué)感知與復(fù)現(xiàn)實(shí)驗(yàn)裝置”，按照心理物理

8、實(shí)驗(yàn)規(guī)范，制定了“重復(fù)測(cè)量?jī)蓚€(gè)因素的四因素混合設(shè)計(jì)”和“兩因素完全隨機(jī)實(shí)驗(yàn)被試間設(shè)計(jì)”的實(shí)驗(yàn)方案，開(kāi)展了基于“聽(tīng)覺(jué)和視覺(jué)”的可視音樂(lè)感知實(shí)驗(yàn)、基于“聽(tīng)覺(jué)和熱觸覺(jué)輔助”的音樂(lè)感覺(jué)實(shí)驗(yàn)和基于“聽(tīng)覺(jué)、視覺(jué)和熱觸覺(jué)”多模式交互的音樂(lè)感知實(shí)驗(yàn);基于SPSS軟件對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，檢驗(yàn)了“音樂(lè)情感類(lèi)型、可視音樂(lè)動(dòng)態(tài)畫(huà)面的情感類(lèi)型和熱觸覺(jué)的情感類(lèi)型”作用于感知音樂(lè)情感的沉浸度的主效應(yīng)，以及兩者交互作用的主效應(yīng)和簡(jiǎn)單效應(yīng)，提出了一種基于“聽(tīng)-視-熱