优化问题数值方法 · 章节索引

本系列由手写笔记《优化问题数值方法》扫描件的 LaTeX 转录稿（ElegantBook 排版）改写为 MDX 博文。 原稿中红笔标出的重点，在网上以红色保留。

这份笔记从最优化问题的基本概念出发，依次讲无约束优化（线搜索、梯度下降、牛顿法、拟牛顿法）、 约束优化（对偶理论、KKT 条件、罚函数法与增广 Lagrange 乘子法）、ODE 控制优化， 最后是一批复习题。

章节

章	标题	内容
第一章	最优化基础	最优化问题的提法、梯度与 Hessian、方向导数、凸集与凸函数、极小点的存在性、优化算法基本概念
第二章	无约束优化问题	一阶/二阶最优性条件、线搜索（Armijo 与 Wolfe 准则、Zoutendijk 条件）、梯度下降法与收敛性、经典牛顿法、拟牛顿法（SR1、BFGS、DFP）
第三章	约束优化问题	Lagrange 对偶与弱/强对偶、Slater 条件、切锥与线性化可行方向锥、Farkas 引理、KKT 条件、二阶最优性条件、二次罚函数法、增广 Lagrange 乘子法
第四章	ODE 控制优化	半连续性与弱下半连续、最优控制的存在性、Kalman 可控性、直接算法
第五章	全书复习题	凸性与 Hessian 计算、牛顿法仿射变换、最优性条件、对偶问题求解、泛函变分与伴随方程、Kalman 可控性判据等

编号约定

原稿的定理类条目自带编号（如定义 1.2、定理 2.5（Zoutendijk 条件）、 定理 3.5（KKT 条件）），本系列沿用原编号，便于与 PDF 对照。

原稿个别处有编号重复（如复习题里出现两个「9.」、两个「15.」）， 转录时保持原样，未重新编号。

记号约定

记号	含义
$\min f(x)\ \ \mathrm{s.t.}\ x\in S$	最优化问题的标准写法，$S$ 为可行域
$\nabla f$、$\nabla^2 f$	梯度与 Hessian 矩阵
$d^k$、$\alpha_k$	第 $k$ 步的搜索方向与步长
$f(x^k+\alpha d^k)$	沿方向 $d^k$ 的截线 $\phi(\alpha)$
$\mathbb{R}_+^m$	分量非负的 $m$ 维向量
$T_S(x^*)$、$F_S(x^*)$	切锥与线性化可行方向锥
$\lambda_j$、$\mu_i$	不等式约束与等式约束的 Lagrange 乘子
$f^*$、$d^*$	原问题最优值与对偶问题最优值

几条主线

• 最优性条件：一阶必要条件 $\nabla f=0$ $\to$ 二阶必要条件（Hessian 半正定）$\to$ 二阶充分条件（Hessian 正定）
• 线搜索：Armijo 准则（充分下降）$\to$ Wolfe 准则（再加曲率条件）$\to$ Zoutendijk 条件（收敛性前提）
• 无约束算法：梯度下降（线性收敛）$\to$ 牛顿法（$Q$-二次收敛，但需 Hessian）$\to$ 拟牛顿法（只用一阶信息达超线性收敛）
• 对偶：弱对偶 $d^*\le f^*$ 恒成立；Slater 条件下强对偶成立
• 约束优化：KKT 条件 = 稳定性 + 原始可行 + 对偶可行 + 互补松弛
• 罚函数与增广 Lagrange：二次罚函数法要求罚参数 $\to\infty$（数值病态），增广 Lagrange 乘子法通过更新乘子避免这一点