Pi-Sigma神經(jīng)網(wǎng)絡的幾種梯度學習算法.pdf

1、到目前為止，人們提出了許多神經(jīng)網(wǎng)絡模型，其中應用最廣泛的是前饋神經(jīng)網(wǎng)絡．早期前饋神經(jīng)網(wǎng)絡中只含有求和神經(jīng)元，在處理復雜非線性問題時效率很低．后來，人們將求積神經(jīng)元引入到前饋神經(jīng)網(wǎng)絡中，用以增加網(wǎng)絡的非線性映射能力，提高網(wǎng)絡的學習效率．這樣的網(wǎng)絡可以統(tǒng)稱為高階前饋神經(jīng)網(wǎng)絡．但是，如果只通過輸入節(jié)點值的簡單乘積構造求積神經(jīng)元以增加網(wǎng)絡的非線性映射能力，隨著輸入樣本維數(shù)的增加，所需權值的數(shù)量呈指數(shù)階增加，即出現(xiàn)“維數(shù)災難”．Pi-Sigma

2、神經(jīng)網(wǎng)絡是1991 年Y．Shin提出的一種具有多項式乘積構造的求積神經(jīng)元的高階前饋神經(jīng)網(wǎng)絡．該網(wǎng)絡既提高網(wǎng)絡的非線性映射能力，又避免了“維數(shù)災難”的出現(xiàn)．此后，為了提高該網(wǎng)絡的應用能力，Y．Shin、A.J. Hussaina、C.K. Li 等又以Pi-Sigma 神經(jīng)網(wǎng)絡為模塊構造了更復雜的網(wǎng)絡結構，并在模式分類和函數(shù)逼近等問題中取得成功應用． 學者們對只含有求和神經(jīng)元的前饋神經(jīng)網(wǎng)絡的收斂性、泛化能力等理論問題已有深入研究

3、，而對含有求積神經(jīng)元的高階前饋神經(jīng)網(wǎng)絡的研究主要集中在實際應用上，相關理論方面的研究還很薄弱，仍存在許多有待解決的基本理論問題．因此，從理論上分析 Pi-Sigma 神經(jīng)網(wǎng)絡學習算法的學習能力和收斂性具有很重要的實際意義，這些問題的研究和解決將對 Pi-Sigma 神經(jīng)網(wǎng)絡的應用起到重要的促進作用． 梯度算法是一種簡單又常用的神經(jīng)網(wǎng)絡訓練算法，從樣本的輸入方式看，包括批處理和在線兩種運行方式：從權值向量的更新方式來看，包括同步和

4、異步兩種更新方式．本論文主要研究用于訓練 Pi-Sigma 神經(jīng)網(wǎng)絡的幾種梯度學習算法的相關理論問題，包括學習效率、收斂性等．另外，在網(wǎng)絡結構優(yōu)化方面做了一些嘗試． 本論文的結構及內容如下： 第一章回顧有關神經(jīng)網(wǎng)絡的一些背景知識． 第二章指出隨機單點在線梯度算法訓練 Pi-Sigma 神經(jīng)網(wǎng)絡過程中因權值較小會降低網(wǎng)絡收斂速度的問題，并從理論上分析了這種現(xiàn)象產(chǎn)生的原因及權值更新受影響的程度．同時，為解決該問題，給

5、出了一種帶懲罰項的隨機單點在線梯度算法． 第三章討論 Pi-Sigma 神經(jīng)網(wǎng)絡異步批處理梯度算法和帶動量項的異步批處理梯度算法的收斂性問題．將動量項引入到訓練 Pi-Sigma 神經(jīng)網(wǎng)絡的異步批處理梯度算法中，有效地改善了算法的學習效率，給出誤差函數(shù)的單調性定理及該算法的弱收斂和強收斂性定理及證明，并通過計算機仿真實驗驗證理論分析的正確性． 第四章分析 Pi-Sigma 神經(jīng)網(wǎng)絡在線梯度算法的收斂性問題并給出收斂性結論