多智能體機器學習：強化學習方法 下載 mobi epub pdf 電子書 2024

編輯推薦

“多智能體”——一般專指多智能體係統( Multi Agent System，MAS)或多智能體技術( Multi Agent Technology，MAT)。多智能體係統是分布式人工智能的一個重要分支，是20世紀末~ 21世紀初國際上人工智能的前沿學科。多智能體學習相關的研究領域已成為人工智能發展的熱點。 《多智能體機器學習：強化學習方法》提供瞭一種多智能體不同學習方法的框架。同時還提供瞭多智能體微分博弈中的新進展以及在博弈理論和移動機器人中應用的全麵概述。本書嚮讀者介紹瞭多智能體機器學習的不同方法。主要包括單智能體強化學習、隨機博弈和馬爾科夫博弈、自適應模糊控製和推理、時間差分學習和Q學習。

《多智能體機器學習：強化學習方法》具有如下特點：
全麵涵蓋瞭多人博弈、微分博弈和博弈理論；
基於梯度算法的簡單策略學習方法；
多人矩陣博弈和隨機博弈的詳細算法和示例；
群機器人和性格特徵進化中的學習示例。

強化學習是近年來在機器學習領域非常熱門的研究方嚮，尤其在多智能體機器學習中，若智能體的某個行為策略獲得強化信號，則智能體以後産生這個行為策略的趨勢便會加強，這對於群體智能具有十分重要的意義，是一種重要的機器學習方法，在智能控製機器人及分析預測等領域有廣泛應用。

《多智能體機器學習：強化學習方法》對於研究人員、研究生和從事多智能體學習的相關人員以及在電子和計算機工程、計算機科學以及機械和航空工程領域的相關人員非常有用。
在現有的機器學習書籍中，較少有以強化學習的方法對多智能體機器學習進行描述的，而有關強化學習的內容，也往往隻是在某些專業的機器學習書籍中在個彆章節進行闡述。本書以強化學習與協作策略在相關研究領域的應用為主，側重協作策略的應用，列舉瞭車輛路徑規劃、多播路由、供應鏈管理等問題中的解決方案，多智能體及群體智能微分博弈中的新進展以及在博弈理論和移動機器人中的先進應用，而較少涉及強化學習理論的演化。

內容簡介

《多智能體機器學習：強化學習方法》主要介紹瞭多智能體機器人強化學習的相關內容。全書共6章，首先介紹瞭幾種常用的監督式學習方法，在此基礎上，介紹瞭單智能體強化學習中的學習結構、值函數、馬爾科夫決策過程、策略迭代、時間差分學習、Q學習和資格跡等概念和方法。然後，介紹瞭雙人矩陣博弈問題、多人隨機博弈學習問題，並通過3種博弈遊戲詳細介紹瞭納什均衡、學習算法、學習自動機、滯後錨算法等內容，並提齣LRI滯後錨算法和指數移動平均Q學習算法等，並進行瞭分析比較。接下來，介紹瞭模糊係統和模糊學習，並通過仿真示例詳細分析算法。後，介紹瞭群智能學習進化以及性格特徵概念和應用。全書內容豐富，重點突齣。

作者簡介

Howard M.Schwartz 博士，在加拿大魁北剋濛特利爾的麥吉爾大學獲得工學學士學位，在美國馬薩諸塞州劍橋麻省理工學院獲得碩士和博士學位，現為加拿大渥太華卡爾頓大學係統與計算機工程係的教授，研究領域包括自適應和智能控製係統、機器人、機器學習、多智能體學習、係統辨識和狀態估計。

連曉峰，現為中國電子學會高級會員，係統仿真學會會員，北京高新技術企業認定委員會專傢庫專傢，《機器人技術與應用》雜誌社理事，國傢工信部工業和信息化科技人纔專傢庫專傢。

目錄

譯者序
原書前言

第1章監督式學習概述
1 1 LS算法
1 2 RLS算法
1 3 LMS算法
1 4隨機逼近法
參考文獻

第2章單智能體強化學習
2 1簡介
2 2 n臂賭博機問題
2 3學習結構
2 4值函數
2 5最優值函數
2 5.1網格示例
2 6 MDP
2 7學習值函數
2 8策略迭代
2 9 時間差分學習
2 10狀態一行為函數的時間差分學習
2 11 Q學習
2 12資格跡
參考文獻

第3章雙人矩陣博弈學習
3 1矩陣博弈
3 2雙人矩陣博弈中的納什均衡
3 3雙人零和矩陣博弈中的綫性規劃
3 4學習算法
3 5梯度上升算法
3 6 WoLF IGA算法
3 7 PHC算法
3 8 WoLF PHC算法
3 9矩陣博弈中的分散式學習
3 10學習自動機
3 11綫性迴報一無為算法
3 12綫性迴報一懲罰算法
3 13滯後錨算法
3 14 LR．滯後錨算法
3 14.1仿真
參考文獻

第4章多人隨機博弈學習
4 1簡介
4 2多人隨機博弈
4 3極大極小Q學習算法
4 3.1 2 x2網格博弈
4 4納什Q學習算法
4 4.1學習過程
4 5單純形算法
4 6 Lemke Howson算法
4 7納什Q學習算法實現
4 8朋友或敵人Q學習算法
4 9無限梯度上升算法
4 10 PHC算法
4 11 WoLF PHC算法
4 12 網格世界中的疆土防禦問題
4 12.1仿真和結果
4 13 LR．滯後錨算法在隨機博弈中的擴展
4 14 EMA Q學習算法
4 15 EMA Q學習與其他方法的仿真與結果比較
4 15.1矩陣博弈
4 15 2隨機博弈
參考文獻

第5章微分博弈
5 1簡介
5 2模糊係統簡述
5 2.1模糊集和模糊規則
5 2 2模糊推理機
5 2 3模糊化與去模糊化
5 2 4模糊係統及其示例
5 3模糊Q學習
5 4 FACL
5 5瘋狂司機微分博弈
5 6模糊控製器結構
5.7 Q(A)學習模糊推理係統
5 8瘋狂司機博弈的仿真結果
5 9雙車追捕者一逃跑者博弈中的學習算法
5 10雙車博弈仿真
5 11 疆土防禦微分博弈
5 12疆土防禦微分博弈中的形成迴報
5 13仿真結果
5 13.1 個防禦者對一個人侵者
5 13 2兩個防禦者對一個人侵者
參考文獻

第6章群智能與性格特徵的進化
6 1簡介
6 2群智能的進化
6 3環境錶徵
6 4群機器人的性格特徵
6 5性格特徵的進化
6 6仿真結構框架
6 7零和博弈示例
6 7.1收斂性
6 7 2仿真結果
6 8後續仿真實現
6 9機器人走齣房間
6 10機器人跟蹤目標
6 11小結
參考文獻

前言/序言

原 書 前 言

十年來，本人一直在教授自適應控製課程。這門課程主要是講授係統辨識的常用經典方法，並使用經典的教材，例如Ljung[1,2]。該課程著重介紹瞭參考模型自適應控製的常用方法以及基於Lyapunov技術的非綫性自適應控製方法。然而，這些理論已不再適用於當前的工程實踐。因此，在本人的研究工作以及研究生課程的重點內容中進行瞭相應調整，增加瞭自適應信號處理的內容，並融閤瞭基於最小方均（LMS）算法的自適應信道均衡和迴聲消除的內容。同時，課程名稱也相應地從“自適應控製”變為“自適應與學習係統”。本人的研究工作仍主要集中於係統辨識和非綫性自適應控製在機器人方麵的應用。然而，直到21世紀初，纔開始與機器人團隊開展閤作。目前，已能夠利用常用的機器人套件和低成本的微控製器來構建可協同工作的若乾個機器人。這使得“自適應與學習係統” 的研究生課程內容再次發生變化：減少瞭基於Lyapunov技術的非綫性自適應控製方麵的理論知識，取而代之的是有關強化學習的思想。這是一個全新的應用領域，機器人團隊必須要學會相互協作和競爭。
目前，研究生課程主要是集中於采用基於遞歸最小二乘（RLS）算法的係統辨識、基於參考模型的自適應控製（仍然采用Lyapunov技術）、基於LMS算法的自適應信號處理以及基於Q學習算法的強化學習。本書的前兩章簡要介紹瞭上述思想，但也足以說明這些學習算法之間的聯係，以及它們之間的相同之處和不同之處。與這些內容相關的其他材料可詳見文獻[24]。
由此，進一步的研究工作開始著重於機器人團隊如何學習以實現相互閤作。這些研究工作用於驗證機器人在閤作搜索和救援以確保重要設施和邊界區域安全方麵的應用。同時，也逐步開始關注強化學習和多智能體強化學習的研究。這些機器人就是具有學習能力的智能體。孩子們是如何學習玩捉人遊戲的？人們是如何練習踢足球的？以及在追捕罪犯的過程中警察是如何協作的？應該采用什麼樣的策略？如何製定這些策略？當和一群新朋友玩足球時，如何能夠快速評估每個人的能力，並在比賽中采用特殊策略呢？
隨著研究團隊開始緻力於深入研究多智能體機器學習和博弈理論，逐漸發現盡管已有很多相關論文發錶，但並不集中也不夠全麵。雖然已有一些綜述性文章[5]，但均未能充分說明這些不同方法的具體細節。本書旨在嚮讀者介紹一種特殊形式的機器學習。全書主要是關於多智能體機器學習，同時也包括一般學習算法的核心內容。學習算法的形式各不相同，然而往往都具有相似方法。在此，將著重比較這些方法的相同和不同之處。
本書的主要內容是基於本人的研究工作，以及過去10年裏所指導下的博士生、碩士生的研究工作。在此，特彆感謝Sidney Givigi教授。Givigi教授為本書第6章中所介紹的主要思路和算法提供瞭堅實基礎。另外，本書中還包含瞭Xiaosong（Eric）Lu博士的研究成果。其中，關於疆土守衛部分的內容主要來源於其博士論文。同時，還有一些研究生也為本書做齣瞭貢獻，他們是Badr Al Faiya、Mostafa Awheda、Pascal De BeckCourcelle和Sameh Desouky。如果沒有研究小組中學生們的辛勤工作，本書是不可能完成的。
原 書 前 言
Howard M.Schwartz
於加拿大渥太華
2013年9月

譯 者 序

“多智能體”——一般專指多智能體係統( Multi Agent System，MAS)或多智能體技術( Multi Agent Technology，MAT)。多智能體係統是分布式人工智能的一個重要分支，是20世紀末~ 21世紀初國際上人工智能的前沿學科。多智能體學習相關的研究領域已成為人工智能發展的熱點。
本書主要介紹瞭多智能體學習的相關內容，目的在於解決大型、復雜的現實問題，而解決這類問題已超齣瞭單個智能體的能力。研究者主要研究智能體之間的交互通信、協調閤作、衝突消解等方麵，強調多個智能體之間的緊密群體閤作，而非個體能力的自治和發揮，關於Lyapunov技術的非綫性自適應控製方麵的理論材料被減少，取而代之的是有關強化學習的思想。強化學習的目標是取得最大化的奬勵（迴報）。強化學習和非監督學習最有趣的部分就是奬勵的選擇，這是一個全新的發展迅速的應用領域。機器人團隊必須要學會共同工作和相互競爭。本書是一本專門介紹多智能體強化學習的著作。
本書中重點研究瞭雙人階段博弈和矩陣博弈問題。其中主要通過3個不同的博弈遊戲：猜硬幣、石頭一剪刀一布和囚徒睏境來進行闡述。這些都被稱為矩陣博弈(matrixgames)或階段博弈(stage games)的遊戲，因為在遊戲過程中沒有發生狀態轉移。本書沒有過於深入研究博弈論本身，而是專注於與這些遊戲相關的學習算法。另外，作者還結閤自己的教學實踐，探討瞭多機器人智能體的微分博弈問題，並通過“逃跑者一追捕者”博弈和“疆土防禦”博弈進行瞭深入討論。
需要指齣的是，書中矩陣、矢量為保持與原書一緻，並未使用黑斜體，請讀者注意。
本書第1~3章由譚勵翻譯，第4~6章由連曉峰翻譯，全書由連曉峰審校統稿，彭森、於嘉驥、李世明、李偉男、蔡有林、侯寶奇、竇超、張鵬、侯秀林、張欣、邵妍潔、張吉東、張丹瑤、趙辰等人也參與瞭部分內容的翻譯。
由於譯者的水平有限，書中不當或錯誤之處懇請各位業內專傢學者和廣大讀者不吝賜教。
譯者

很不錯的書，在老師的指導下買的，實驗室人手一本，不錯不錯

還不錯，買幾次瞭，好，為什麼要寫10字以上？

不錯，挺不錯的一款産品。

果然不錯，東西很好，下迴還來買。

這本書通俗易懂，是一本科普類的讀物，初學者入門者可以看一下

還不錯，買幾次瞭，好，為什麼要寫10字以上？

是正版書，還沒來得及看！

好書快讀，大熱天也需讀好書

書還沒怎麼看，不過感覺內容挺豐富的哈哈～