正版 非线性规划(第3版) Dimitri P. Bertsekas 9787302482 pdf epub mobi txt 电子书 下载 2025

Contents

1. Unconstrained Optimization: BasicMethods . . . . . . p. 1

1.1. OptimalityConditions . . . . . . . . .. . . . . . . . . . p. 5

1.1.1. Variational Ideas . . . . . . . . .. . . . . . . . . . . p. 5

1.1.2. MainOptimalityConditions . . . . . .. . . . . . . . . p. 15

1.2. GradientMethods –Convergence . . . . .. . . . . . . . . p. 28

1.2.1. DescentDirections and StepsizeRules. . . . . . . . . . p. 28

1.2.2. ConvergenceResults . . . . . . . . .. . . . . . . . . p. 49

1.3. GradientMethods –Rate ofConvergence .. . . . . . . . . p. 67

1.3.1. The LocalAnalysisApproach . . . . .. . . . . . . . . p. 69

1.3.2. TheRole of theConditionNumber . . .. . . . . . . . . p. 70

1.3.3. ConvergenceRateResults . . . . . . .. . . . . . . . . p. 82

1.4. Newton’sMethod andVariations . . . . .. . . . . . . . . p. 95

1.4.1. ModifiedCholeskyFactorization . . .. . . . . . . . . p. 101

1.4.2. TrustRegionMethods . . . . . . . . .. . . . . . . p. 103

1.4.3. Variants ofNewton’sMethod . . . . .. . . . . . . . p. 105

1.4.4. Least Squares andtheGauss-NewtonMethod . . . . . . p. 107

1.5. Notes and Sources . . . . . . . . . .. . . . . . . . . p. 117

2. Unconstrained Optimization: AdditionalMethods . . p. 119

2.1. ConjugateDirectionMethods . . . . . .. . . . . . . . . p. 120

2.1.1. TheConjugateGradientMethod . . . . .. . . . . . . p. 125

2.1.2. ConvergenceRateofConjugateGradientMethod . . . . p. 132

2.2. Quasi-NewtonMethods . . . . . . . . .. . . . . . . . p. 138

2.3. NonderivativeMethods . . . . . . . . .. . . . . . . . p. 148

2.3.1. CoordinateDescent . . . . . . . . .. . . . . . . . p. 149

2.3.2. Direct SearchMethods . . . . . . . .. . . . . . . . p. 154

2.4. IncrementalMethods . . . . . . . . . .. . . . . . . . p. 158

2.4.1. IncrementalGradientMethods . . . . .. . . . . . . . p. 161

2.4.2. IncrementalAggregatedGradientMethods. . . . . . . p. 172

2.4.3. IncrementalGauss-NewtonMethods . . .. . . . . . . p. 178

2.4.3. IncrementalNewtonMethods . . . . . .. . . . . . . p. 185

2.5. DistributedAsynchronousAlgorithms . .. . . . . . . . . p. 194

v

vi Contents

2.5.1. TotallyandPartiallyAsynchronousAlgorithms . . . . . p. 197

2.5.2. TotallyAsynchronousConvergence . . .. . . . . . . . p. 198

2.5.3. PartiallyAsynchronousGradient-LikeAlgorithms. . . . p. 203

2.5.4. ConvergenceRateofAsynchronousAlgorithms . . . . . p. 204

2.6. Discrete-TimeOptimalControlProblems .. . . . . . . . p. 210

2.6.1. Gradient andConjugateGradientMethodsfor . . . . . . . .

OptimalControl . . . . . . . . . . . . . .. . . . . p. 221

2.6.2. Newton’sMethod forOptimalControl . .. . . . . . . p. 222

2.7. SolvingNonlinearProgrammingProblems -Some . . . . . . . .

PracticalGuidelines . . . . . . . . . . . .. . . . . . . p. 227

2.8. Notes and Sources . . . . . . . . . .. . . . . . . . . p. 232

3. Optimization Over a Convex Set . . . . .. . . . . p. 235

3.1. ConstrainedOptimizationProblems . . .. . . . . . . . . p. 236

3.1.1. Necessary and SufficientConditionsforOptimality . . . . p. 236

3.1.2. Existence ofOptimal Solutions . . .. . . . . . . . . p. 246

3.2. FeasibleDirections-ConditionalGradientMethod . . . . . p. 257

3.2.1. DescentDirections and StepsizeRules. . . . . . . . . p. 257

3.2.2. TheConditionalGradientMethod . . . .. . . . . . . p. 262

3.3. GradientProjectionMethods . . . . . .. . . . . . . . . p. 272

3.3.1. FeasibleDirections andStepsizeRulesBasedon . . . . . . . .

Projection . . . . . . . . . . . . . . . .. . . . . p. 272

3.3.2. ConvergenceAnalysis . . . .