一類非線性系統(tǒng)的強化學習自抗擾控制研究.pdf

1、未知非線性系統(tǒng)的控制一直以來都是控制領域內的重要課題，由于系統(tǒng)動態(tài)未知，許多需要機理模型的控制算法都難以實施，而強化學習方法由于能夠在未知的環(huán)境中通過與環(huán)境的交互自主學習，找到近似最優(yōu)控制策略且不需要系統(tǒng)結構信息等先驗知識，使其成為未知非線性系統(tǒng)控制的理想算法。近些年來，強化學習已在這一領域取得諸多成果，然而，現實中的非線性系統(tǒng)往往受到各種擾動的影響，而強化學習的抗擾能力卻不夠強大，在大擾動下系統(tǒng)輸出往往會大幅偏離設定值，系統(tǒng)性能嚴重衰

2、退。針對這一問題，本文研究了如何在具有強非仿射特性的未知非線性純反饋系統(tǒng)控制中提高強化學習的控制精度和抗擾能力。
　　由于傳統(tǒng)強化學習算法的動作和狀態(tài)都是在有限集中，因而在非線性系統(tǒng)控制中應用最多的是的連續(xù)強化學習算法，也就是動作-評價網絡結構的強化學習。在應用中，該類算法存在這樣的一些問題:
　　1.對擾動的抑制能力十分有限。隨著擾動逐漸增大，控制效果急劇衰退，直至發(fā)散。
　　2.當參考軌跡連續(xù)變化時，尤其是變化軌跡

3、的彎曲程度較大時，追蹤誤差會變得很大。
　　針對強化學習在未知非線性系統(tǒng)控制中存在的問題，本文首先建立了一套動作-評價網絡結構的連續(xù)強化學習算法，它采用了一個特別的性能指標函數以避免使用系統(tǒng)動態(tài)函數，然后做了如下的改進:
　　1.為了提高控制系統(tǒng)追蹤連續(xù)軌跡的能力，尤其是在參考軌跡曲度較大時的控制效果。我們設計了一個與參考軌跡有關的因子，利用它動態(tài)地調整執(zhí)行器網絡的權重更新速率，使得系統(tǒng)在參考軌跡曲度變大時能更加及時地調整控

4、制策略。
　　2.為了提高控制系統(tǒng)的抗擾能力，利用擴張狀態(tài)觀測器將未知的外部擾動和內部參數攝動等效為一個總擾動，將其應用在控制律中，抵消內外擾動的影響，削弱系統(tǒng)的不確定性，幫助強化學習提高其抑制擾動能力。
　　3.最后，我們將強化學習算法與線性自抗擾相結合，用自抗擾控制器代替?zhèn)鹘y(tǒng)的神經網絡執(zhí)行器，調整了控制器的權值更新方式，大幅提高了系統(tǒng)的抗擾能力和控制精度。同時，待調參數數目減少，大大調高了算法的訓練速度。
　　為了

5、驗證改進強化學習算法的有效性，將它們應用在未知非線性純反饋系統(tǒng)的追蹤控制上，并給出基于擴張狀態(tài)觀測器的強化學習算法(reinforcement learning-extended state observer，RL-ESO，基于改進1和2)和基于線性自抗擾的強化學習算法(reinforcement learning-active disturbance rejection control，RL-ADRC，基于改進3)的原理與設計流程。在