圖書基本信息 | |||
圖書名稱 | 凸優化理論 | 作者 | (美)博剋斯,趙韆川,王夢迪 |
定價 | 49.0元 | 齣版社 | 清華大學齣版社 |
ISBN | 9787302399568 | 齣版日期 | 2015-11-01 |
字數 | 285000 | 頁碼 | |
版次 | 1 | 裝幀 | 平裝 |
開本 | 16開 | 商品重量 | 0.4Kg |
內容簡介 | |
《凸優化理論》力圖以簡潔的篇幅,介紹凸優化 的一個完整理論分析框架。凸優化理論的基石在於對 偶。作者選取瞭*小公共點/*大相交點的幾何框架 (簡稱為MC/MC框架)作為凸優化問題的對偶性分析 的基礎框架。相比於基於函數共軛性的代數框架,MC /MC框架*適用於直觀地分析和理解各種重要的優化 問題,也*適閤初學者學習和理解凸優化理論。本書 可以作為高年級本科生、研究生“運籌學優化類”課 程的教材或相關研究人員的參考書。 原作者美國工程院院士博塞剋斯教授有極高的 學術造詣和學術聲譽,在學術專*和教材的寫在方麵 取得瞭公認的成就。 |
作者簡介 | |
目錄 | |
編輯推薦 | |
本書力圖以簡潔的篇幅,介紹凸優化的一個完整理論分析框架。凸優化理論的基石在於對偶。作者選取瞭小公共點/大相交點的幾何框架(簡稱MC/MC框架)作為凸優化問題的對偶性分析的基礎框架。相比於基於函數共軛性的代數框架,MC/MC框架更適用於直觀地分析和理解各種重要的優化問題,也更適閤初學者學習和理解凸優化理論。本書可以作為高年級本科生、研究生運籌學優化類課程的教材或相關研究人員的參考書。 原著作者美國工程院院士Dimitri P.Bertsekas教授有極高的學術造詣和學術聲譽,在學術專著和教材的寫作方麵取得瞭公認的成就。 |
文摘 | |
第 1章凸分析的基本概念 凸集和凸函數在優化模型中非常有用,是一種便於分析和算法設計的內涵豐富的結構 .這個結構的主體可以歸結為幾條基本性質 .例如,每個閉的凸集閤都可以被支撐該集閤的超平麵所描述;凸集邊界上的每個點都可以通過該集閤的相對內點集來逼近,以及包含於閉凸集的每條半直綫當被平移到該集閤中的任意一個點發齣的時候仍然包含於該集閤.不過,盡管有這些好的性質,凸集及其分析並非完全沒有理論和應用上難以處理的異常和例外情況 .例如,不同於仿射的緊集,像綫性變換和嚮量和這樣的某些基本運算並不保持閉凸集的閉性不變 .這會使得某些優化問題的處理,包括優解的存在性和對偶性,變得復雜起來 .因此,有必要認真對待凸集的理論和應用的學習 .第 1章的目標是建立凸集學習的基礎,特彆是要強調與優化有關的問題 . 1.1凸集與凸函數本章將介紹凸集閤與凸函數相關的基本概念,這些內容將貫穿本書所有的後續章節 .附錄 A列舉瞭本書將用到的綫性代數和實分析的定義、符號和性質.首先我們給齣凸集閤的定義如下 (見圖 1.1.1).定義 1.1.1 .n的子集 C被稱為凸集,如果其滿足 αx (1 . α)y ∈ C, . x, y ∈ C, . α ∈ 依慣例我們認為空集是凸的 .通常根據問題的背景,我們可容易地判定某特定凸集是否為非空 .然而多數情況下,我們會盡量說明集閤是否為非空,從而降低模糊性 .命題 1.1.1給齣瞭一些保持集閤凸性不變的集閤變換.命題 1.1.1 (a)任意多個凸集 {Ci | i ∈ I}的交集 ∩i∈I Ci是凸集. 圖 1.1.1凸集的定義 .凸集中任意兩點的連綫綫段都包含在集閤內部,因此左圖中的集閤是凸集,而右圖中的不是 . (b)任意兩個凸集 C1與 C2的嚮量和 C1 C2是凸集. (c)對任意凸集 C和標量 λ,集閤 λC是凸集 .另外,如 λ1, λ2為正標量,則以下集閤是凸的, (λ1 λ2)C = λ1C λ2C. (d)凸集的閉包 (closure)與內點集 (interior)是凸集. (e)凸集在仿射函數下的象和原象是凸集. 證明證明的思路是直接利用凸集的定義 .在 (a)中,我們在交集 ∩i∈I Ci中任取兩點 x,y.由於每個 Ci都是凸集,x和 y間的綫段被每個 Ci所包含,因而也屬於它們的交集.類似地在 (b)中,任取 C1 C2中的兩點,可以用 x1 x2和 y1 y2錶示,其中 x1,y1 ∈ C1且 x2,y2 ∈ C2.對任意 α ∈ 有如下關係 α(x1 x2) (1 . α)(y1 y2)= (αx1 (1 . α)y1) (αx2 (1 . α)y2).由於 C1和 C2分彆是凸集,上式右側中兩個小括號代錶的嚮量分彆屬於 C1和 C2,而它們的嚮量和屬於 C1 C2.因此根據定義 C1 C2是凸集.對 (c)的證明留給讀者作為練習.對 (e)可用類似 (b)的方法來證明.為證明 (d),考慮某凸集閤 C,以及 C的閉包中任取的兩點 x與 y.根據閉包的性質可得,在 C中存在序列 {xk}. C和 {yk}. C分彆收斂到 x與 y,即 xk → x且 yk → y.對任意 α ∈ ,我們構造一收斂到 αx (1 . α)y的序列 {αxk (1 . α)ykd,由於 C是凸集,則該序列被包含在 C內.我們可得到 αx (1 . α)y屬於 C的閉包,因此凸集 C的閉包也是凸集 .類似地,在 C的內點集中任取兩點 x與 y並構造分彆以 x,y為中心且半徑 r足夠小的開球,使得它們都被包含在 C內.對任意 α ∈ ,構造以 αx (1 . α)y為中心 r為半徑的開球 .則該球內的任意點都可錶示為 C中嚮量 x z和 y z的凸組閤 α(x z) (1 . α)(y z),其中 IzI (ii)函數 f為下半連續的. (iii)集閤 epi(f)為閉. 證明如果 f(x)= ∞對所有 x成立,那麼結果是平凡的,顯然成立 .n我們假定 f(x) < ∞對至少一個 x ∈ 成立 .這樣 epi(f)就是非空的,且 f至少有一個非空的水平集.先來證明 (i)蘊含 (ii).假定水平集 Vγ對於每個標量 γ都是閉的.反設 f(x) > lim inf f(xk)k→∞ 對某個 x和收斂到 x的點列 {xk}成立,並且令 γ為滿足 f(x) >γ> lim inf f(xk)k→∞ 的標量 .那麼必存在子列 {xk}K使得 f(xk)《 γ對所有 k ∈K成立 .於是 {xk}K . Vγ成立 .由於 Vγ是閉的, x必然也屬於 Vγ,於是 f(x)《 γ,從而導齣矛盾.n下麵證明 (ii)蘊含 (iii).假定 f在 上為下半連續,並令 (x, w)為點列 {(xk,wk)d . epi(f)的極限 .於是我們有 f(xk)《 wk,進而令 k →∞,由 f在 x處的下半連續性,我們得到 f(x)《 lim inf f(xk)《 wk→∞ 於是,(x, w) ∈ epi(f),故 epi(f)為閉.後證明 (iii)蘊含 (i).假定 epi(f)為閉,且令 {xk}為點列,它收斂到某個 x且屬於對應於某個標量 γ的水平集 Vγ .於是 (xk,γ) ∈ epi(f)對於所有的 k成立,並且 (xk,γ) → (x, γ),因而由於 epi(f)為閉,我們有 (x, γ) ∈ epi(f).故 x屬於 Vγ .這意味著這個集閤是閉的.口在大部分推導中,我們傾嚮於采用閉性的概念,而較少用到下半連續性.其中的一個原因是,不同於閉性,下半連續性是一個與定義域有關的性質.例如,由 / 0,x ∈ (0, 1);f(x)= ∞, x/∈ (0, 1).定義的函數 f : → (.∞, ∞]既不是閉的也不是下半連續的;但如果把它的定義域限製到 (0, 1)上,就變成為下半連續 .另一方麵,如果函數 f : X → 具有閉的有效定義域 dom(f)且在每個 x ∈ dom(f)處均為下半連續,那麼 f必然是閉的 .我們把這個結論敘述為一個命題.其證明可以據命題 1.1.2證明 (ii)蘊含 (iii)的過程給齣. 命題 1.1.3令 f : X → 為一函數 .如果它的有效定義域 dom(f)是閉的,且 f在每個 x ∈ dom(f)處均是下半連續的,那麼函數 f是閉的.舉例來說,集閤 X的示性函數為閉當且僅當 X是閉的 (“當”的部分可以根據上述命題得齣,而“僅當”的部分可以用上圖的定義導齣 ).更一般地,如果 fX是形如 / f(x),x ∈ X fX (x)= ∞,其他的函數,其中 f : n →為連續函數,那麼可以證明 fX是閉的當且僅當 X是閉的.後需要指齣非真的閉凸函數非常特殊:它不能在任何點上取有限值,因此它具有如下形式 / .∞,x ∈ dom(f),f(x)= ∞, x/∈ dom(f).n為明白其中的原因,讓我們來考慮非真的閉凸函數 f : → ,並假定存在著某個 x使得 f(x)為有限 .令 x滿足 f(x)= .∞ (這樣的點必然存在,因為 f是非真的並且 f不恒等於 ∞).因為 f是凸的,可知每個點 k . 11 xk = x x, . k =1, 2, ···kk 都滿足 f(xk)= .∞,同時有 xk → x.因為 f是閉的,這意味著 f(x)= .∞,從而導齣矛盾.總之,非真的閉凸函數在任何點都不能取有限值 . 1.1.3凸函數的運算我們可以通過幾種途徑來驗證函數的凸性 .像仿射函數 (a.ine func-tions)和範數 (模,norms)這樣的一些常見函數是凸的 .多麵體函數 (poly-hedral function)是一類重要的凸函數,根據定義是真凸函數,且其上圖是多麵體 (polyhedral set).從已知的凸函數齣發,可以通過保持凸性的運算來生成其他凸函數.保持凸性的主要運算如下: (a)與綫性變換做復閤運算. (b)與非負標量相加或相乘. |
序言 | |
本書的目標是給齣以下兩個主題的易懂、簡潔和直觀的展示 . (a)凸分析,特彆是與優化的聯係 . (b)優化與小大問題的對偶理論,特彆是在凸性框架中的情形 .它們是在廣泛的實際應用中相關的兩個主題.優化的重點在於推導齣約束問題存在原始和對偶優解的條件 .約束問題的例子是 minimize f(x) subject to x ∈ X, gj(x) . 0,j =1, ··· , r. 其他類型的優化問題,包括從 Fenchel對偶性産生的問題,也屬於我們考慮的範圍.小大問題的重點是推導保證等式 inf sup φ(x, z) = sup inf φ(x, z)x∈Xz∈Zz∈Zx∈X 成立,以及下確界 “inf”和上確界 “sup”可取到的條件.凸性的理論內容介紹得比較詳細 .囊括瞭這個領域幾乎所有重要的方麵,對於凸優化中核心的分析問題的展開是足夠瞭 .數學預備知識是綫性代數和實分析的入門知識 .附錄中包含瞭用到的有關知識的總結 .除瞭這些少量背景外,本書的內容是自足的,嚴格的證明會貫穿全書 .綫性和非綫性優化理論的先修知識不是必需的,盡管作為背景知識無疑它們是有幫助的 .我們的目標是盡量發揮凸性理論在以一種統一的方式建立強的對偶性方麵的作用 .為此,我們的分析常會偏離 Rockafellar 1970年的經典著作的思路,而是遵從 Fenchel/Rockafellar的框架 .例如,我們采用不同的方式來處理閉集相交理論和綫性變換下閉包的保持 (1.4.2和 1.4.3節);我們用約束優化情形下的對偶性來發展次微分運算 (5.4.2節);此外,我們沒有凸優化理論使用下確界捲積 (in.mal convolution)、函數圖像 (image)、極性集閤和函數 (polar sets and functions)、雙函數 (bifunctions)和共軛鞍點函數 (conjugate saddle functions)等概念 .類似於 Fenchel/Rockafellar,我們的理論體係是基於 Legendre/Fenchel共軛的思想,不過相比之下,在幾何和可視化方麵要來得直觀得多.我們的對偶框架是基於兩個簡單的幾何問題:小公共點問題 (min mon point problem)和大相交點問題 (max crossing point problem).小公共點 /大相交點 (MC/MC)框架的突齣優點在於其幾何上的直觀性.藉助這個框架,對偶性理論的核心問題都變得顯然,並且可以采用統一的方法處理 .我們的方法是先在 MC/MC框架裏得到許多廣泛可用的定理,然後把它們用於解決特定問題 (約束優化、 Fenchel對偶性、小大問題等)上.我們處理所有對偶性問題 (對偶間隙的存在性、對偶優解的存在性、對偶優解集閤的結構 )和其他問題 (次微分理論、擇一定理、對偶間隙估計)都按照這樣的思路.從根本上說, MC/MC框架與共軛性框架存在著密切的聯係 .也正因為如此, MC/MC框架在理論上很有用也有一般性 .不過,這兩個框架在分析對偶性和提供幾何解釋上扮演者互補的角色:共軛性強調函數 /代數描述,而 MC/MC強調集閤 /上圖描述 . MC/MC框架更簡單,而且看起來更適閤可視化和研究強對偶性和對偶優解的存在性問題 .共軛性框架,由於強調函數的描述,更適閤凸函數的數學運算比較復雜,而且共軛函數的計算可以用於分析和計算.本書源自作者早期的著作 (與 A. Nedi′c和 A. Ozdaglar閤著 ),但具有不同的特點 . 2003年的書內容很多,從結構上更像是學術專著,目標是利用非光滑分析的概念建立凸的和非凸的優化問題之間的聯係 .本書的組織與此不同,本書集中於介紹凸優化問題 .盡管有這些區彆,兩本書在寫作風格、數學基礎和某些內容上還是有共同之處 .本書各章的內容如下:第 1章:本章給齣後續各章描述對偶性理論所需要的全部凸分析工具 .會介紹基本的代數概念,如凸錐、超平麵、拓撲概念,如相對內點、閉包、綫性變換下閉性的保持,超平麵分離 .另外,本章還會給齣與對偶和優化相關的特定概念,如迴收錐和共軛函數 .第 2章:本章介紹多麵體凸性概念:頂點、 Farkas和 Minkowski-Weyl定理及其在綫性規劃中的應用 .在後續章節中不會用到,首次閱讀時可以跳過 . 前言 XI第 3章:本章集中在優化的基本概念上:極小值的類型、解的存在性和對偶理論專題,如部分小化和小大理論 .第 4章:本章介紹 MC/MC對偶框架 .我們會討論它和共軛理論之間的聯係,及在約束優化和小大問題上的應用 .本章後給齣與強對偶性和對偶優解存在性有關的應用廣泛的定理.第 5章:本章把第 4章的對偶定理應用到綫性規劃、凸規劃和小大理論等專題上 .我們還應用這些定理作為進一步發展凸分析工具的輔助 .這些工具包括強有力的 Farkas引理的非綫性版本、次微分理論、擇一定理 .後一節主要側重於可分問題,給齣非凸問題和對偶間隙的估計 .為瞭簡潔起見,我們略去瞭教師們可能會感興趣的一些話題 .例如把理論應用到特定結構的問題 ; Boyd和 Vanderbergue的著作 ,以及我和 John Tsitsiklis閤著的關於並行與分布式計算的著作 包含瞭這方麵的許多材料 (這兩本書都可在綫訪問).另外一個忽略的重要部分是計算方法 .不過,我補充瞭一個很長的第 6章 (超過 100頁),其中有常見的凸優化算法 (和一些新算法),並且可以從本書的網站下載 (.athenasc./convexduality.html).本章和更全麵的凸分析、優化、對偶性以及算法等內容一起,將成為作者正在編著的教材的一部分 .到那時,本章將在對偶性之外,為教師們提供凸優化算法內容 (如作者在麻省理工學院所做的 ).本章是一個定期更新的 “活”的章節 .它的當前內容是 :算法方麵的第 6章: 6.1.問題結構與計算方法; 6.2.算法中的遞減性 ; 6.3.次梯度法 ; 6.4.多麵體近似方法 ; 6.5.鄰近性和 Bundle方法 ; 6.6.對偶鄰近點算法 ; 6.7.內點法 ; 6.8.近似次梯度法 ; 6.9.優算法和復雜性.雖然作者沒有在書中提供習題,但是在本書的網站上提供瞭大量的習題 (並附有詳細的解答 ).讀者 /教師也可以使用 中給齣的章節後習題 (共 175道).這些習題的風格和符號與本書類似 .習題解答在本書的網站可以下載,也可以在綫獲取 (.athenasc./convexity.html).本書可以作為凸優化理論課程的教材,作者在過去十年在麻省理工學院和其他場所教授過類似課程 .本書也可以作為非綫性規劃課程的補充材料,或者作為凸優化模型 (而不是理論)方麵課程的理論基礎.本書的組織使得讀者 /教師可以選擇性地使用其中的內容 .例如,第 2章多麵體凸性的材料完全可以略去,因為第 3~5章完全不涉及這部分內容.類似地,小大理論 (3.4,4.2.5和 5.5節)可以被略去;並且如果是XII凸優化理論這樣,那麼 3.3和 5.3.4節這些使用部分小化工具的內容也可以略去 .另外,5.4~5.7節處在 “末端 ”,都可以略去而不會影響其他章節 .如作者在麻省理工學院的“非綫性規劃”課程 (加上網站上補充的關於算法的第 6章)上所做的,一種 “小的”選項包含以下內容: .第 1章,除去 1.3.3和 1.4.1節. .第 3.1節. .第 4章,除去 4.2.5節. .第 5章,除去 5.2,5.3.4和 5.5~5.7節.這種組閤側重於非綫性凸優化,而完全不涉及多麵體凸性和小大理論.作者感謝同事們對本書的貢獻 .作者與 Angelia Nedi′c和 Asuman Ozdaglar在他們的 2003年的著作上的閤作為本書打下瞭基礎 . Huizhen (Janey) Yu仔細閱讀瞭本書部分內容的早期書稿,並給齣瞭一些很有啓發的建議 . Paul Tseng通過與作者在集閤相交理論方麵的閤作研究,對本書做齣瞭實質性的貢獻 .部分體現在 1.4.2節 (這項研究受到與 Angelia Nedi′c的早期閤作的啓發 ).非常感謝 Dimitris Bisias,Vivek Borkar,John Tsitsiklis,Mengdi Wang和 Yunjian Xu等學生和同事提供的反饋信息 .後,作者希望感謝課堂上的許多學生所不斷提供的動力和靈感 . |
評分
評分
評分
評分
評分
評分
評分
評分
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度,google,bing,sogou 等
© 2025 book.cndgn.com All Rights Reserved. 新城书站 版權所有