多智能體系統(tǒng)協作模型及其在足球機器人仿真系統(tǒng)中的應用.pdf

1、多智能體系統(tǒng)(MAS)的協作是近年來分布式人工智能領域的研究熱點。機器人足球世界杯(RoboCup)仿真比賽是檢驗各種MAS理論的標準平臺，在這個極為復雜的多智能體環(huán)境中，多智能體必須通過協作才能完成它們的共同目標：多進球贏得比賽。本文在RoboCup仿真球隊的設計中，應用規(guī)劃、學習和預測技術建立了MAS的協作策略和模型，主要研究工作有： 針對RoboCup足球機器人仿真系統(tǒng)面臨的主要協作問題，提出一種雙層的MAS協作模型框架，

2、它包含協作策略和動作決策兩層，這種結構不僅可以增強整個系統(tǒng)的智能度，而且還有利于多智能體間的動態(tài)實時協作。 采用基于狀態(tài)的規(guī)劃協作模型，實現了協作智能體對系統(tǒng)的快速實時反應，不僅提高了單個智能體的反應速度，而且還提高了整個MAS協作的效率。從RoboCup仿真比賽進攻的角度提出了一種基于合作意愿矩陣的傳球規(guī)劃協作策略，實現了一種不依賴于通信的顯式多智能體協作。 用陣形將多個智能體聯接成一個擁有共同目標的團隊，并引入角色實

3、現事先給定的任務分配和站位配合，從防守的角度出發(fā)，實現了基于陣形變換的多智能體動態(tài)防守協作，將案例學習應用到陣形設計中，突破了單憑直接經驗設置陣形的局限?？蓪崿F積極防守陣形和消極防守陣形兩個陣形之間動態(tài)變換，滿足了不同階段的防守協作要求，顯著提高了球隊的整體防守性能。 提出了一種基于親密度模型進行動態(tài)防守協作的方法。在采用人盯人戰(zhàn)術時，智能體通過親密度的計算確定是否需要協助隊友完成人盯人任務；在采用區(qū)域防守戰(zhàn)術時，由陣形確定每個

4、區(qū)域的主要責任人，由親密度確定每個區(qū)域的次要責任人，來共同完成區(qū)域的防守任務。通過親密度模型的應用，實現了智能體間更好的協作，解決了盯人失敗導致漏人的問題和區(qū)域防守中邊界無人盯防的問題，達到了分工和協作的統(tǒng)一。 從提高仿真球隊的整體協作能力出發(fā)，提出了一種基于行為的預測方法，使RoboCup的協作模型設計簡單、反應速度快、適應性好和智能度較高。采用基于行為預測的協作模型在CSUYunLu隊中實現了球隊的協作決策，如傳球和下底傳中

5、等小局部配合。 將統(tǒng)計學習與Q學習技術融合，提出了一種基于統(tǒng)計的多智能體Q學習算法。該算法通過對聯合動作的統(tǒng)計來學習其它智能體的策略，并利用策略概率向量的全概率分布保證了對聯合最優(yōu)動作的選擇，在理論上保證了算法的收斂性，該算法將多智能體環(huán)境下的學習空間由指數空間降為線性空間，有效地提高了學習效率，并將該算法成功應用到RoboCup中協作策略的離線學習。 增強學習與其它學習方法之間顯著的差別就是：延遲獎賞和試錯探索，這帶來