由于文章涉及大量公式，在CSDN中公式又很难编辑，所以全部在word中编辑好然后直接上图片了。

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化

一、无约束优化问题及算法

min ⁡ f ( x ) g r a d i e n t    d e s c e n t    d k = − ∇ f ( x k ) s t e e p e s t    d e s c e n t    d k = arg min ⁡ ∣ ∣ v ∣ ∣ = 1 { ∇ f T ( x k ) v } c o o r d i n a t e    d e s c e n t s u b g r a d i e n t    d e s c e n t    d k = − ∂ f ( x k ) ∂ x N e w t o n ′ s    M e t h o d    d k = arg min ⁡ v { ∇ f T ( x ) v + 1 2 v T ∇ 2 f ( x ) v } = − ( ∇ 2 f ( x k ) ) − 1 ∇ f ( x k ) Q u a s i − N e w t e n    M e t h o d    d k = − B − 1 ∇ f ( x k ) \min f(x)\\gradient\;descent\;d^k=-\nabla f(x^k)\\steepest\;descent\;d^k=\argmin_{||v||=1}\{\nabla f^T(x^k)v\}\\coordinate\;descent\\subgradient\;descent\;d^k=-\frac{\partial f(x^k)}{\partial x}\\Newton's\;Method\;d^k=\argmin_v\{\nabla f^T(x)v+\frac12v^T\nabla^2f(x)v\}=-(\nabla^2f(x^k))^{-1}\nabla f(x^k)\\Quasi-Newten\;Method\;d^k=-B^{-1}\nabla f(x^k) minf(x)gradientdescentdk=−∇f(xk)steepestdescentdk=∣∣v∣∣=1argmin​{∇fT(xk)v}coordinatedescentsubgradientdescentdk=−∂x∂f(xk)​Newton′sMethoddk=vargmin​{∇fT(x)v+21​vT∇2f(x)v}=−(∇2f(xk))−1∇f(xk)Quasi−NewtenMethoddk=−B−1∇f(xk)

二、有约束优化问题

$$\begin{gathered} \min f(x) \\ s.t.Ax=b \end{gathered}$$

KKT条件

$$\begin{gathered} A{x}^{\ast }=b \\ \nabla f(x^{\ast })+A^T{v}^{\ast }=0 \end{gathered}$$

1)线性方程组

$$\begin{gathered} \min \frac{1}{2}{X}^{T}PX+q^{T}X+rP\in S_{+}^n \\ s.t.Ax=b \end{gathered}$$

KKT条件

$$\begin{gathered} A{x}^{\ast }=b \\ P{X}^{\ast }+q+A^T{v}^{\ast }=0 \\ \iff \left[\begin{array}{cc}P& A^T\\ A& O\end{array}\right]\left[\begin{array}{c}{x}^{\ast }\\ v^{\ast }\end{array}\right]=\left[\begin{array}{c}-q\\ b\end{array}\right] \end{gathered}$$

2)非线性方程组

下一章传送门：中科大-凸优化 笔记（lec50）-拉格朗日法（KKT条件）