全部笔记的汇总贴：最优化学习目录

约束优化问题

$$(P)\min f(x)$$$$s.t.g_i(x)⩽0,i=1,\dots \mathrm{m}$$$$h_i(x)=0,i=1,\dots .p$$

非光滑无约束优化问题有时可重构成光滑的约束问题

约束优化最优解的特征

$$\min f(x),x\in R^2$$$$s.t.g_1(x)⩽0$$$$g_2(x)⩽0$$$$g_3(x)⩽0$$

已知$x^{\ast }$是局部最优解
实际起作用的约束函数$g_1(x),g_2(x)$
$$g_1\left(x^{\ast }\right)=g_2\left(x^{\ast }\right)=0$$
不起作用的约束函数$g_3(x)$
$$g_3(x)<0$$

我们观察$x^{\ast }$有以下特点
$$\{\begin{array}{l}-\nabla f\left(x^{\ast }\right)={\lambda }_1\nabla g_1\left(x^{\ast }\right)+{\lambda }_2\nabla g_2\left(x^{\ast }\right)\\ {\lambda }_1,{\lambda }_2⩾0\end{array}$$

接下来会介绍最优解的一阶必要条件 KKT条件