约束优化问题
千次阅读 2019-03-06 19:31:45
Reference: https://blog.csdn.net/philthinker/article/details/78510361
```
Reference:

https://blog.csdn.net/philthinker/article/details/78510361
```
收起
展开全文

最优化基础理论与方法学习笔记——约束优化问题转化为无约束优化问题和曲线拟合问题

2020-08-26 13:00:13

若D=Rn，也就是所有元素都在这个可行域里面，那么就没有起约束作用的约束函数或者是根本就没有约束函数，此时最优化数学模型中的x叫做自由变量，此时的最优化问题叫做无约束优化问题。若D真包含于Rn，也就是不是...

设有一个可行域D：
若D=Rn，也就是所有元素都在这个可行域里面，那么就没有起约束作用的约束函数或者是根本就没有约束函数，此时最优化数学模型中的x叫做自由变量，此时的最优化问题叫做无约束优化问题。
若D真包含于Rn，也就是不是所有的元素都在这个可行域里面，也就是有元素x被限制在可行域外面了，此时的最优化问题叫做约束优化问题。

约束优化问题转为为无约束优化问题的方法：Lagrange乘子化（拉格朗日乘子化）。然后得到多元函数，然后对各个变量求偏导数。

曲线拟合问题：
比如某个实验得出一系列数据，但是由于实验误差导致使每个点都在某个函数上的函数很难找到，而且就算找到了，由于数据有误差，这样子的函数也没有意义，所以我们就只需要找到一条最贴近这一系列点的函数（就是这个函数使整体误差最小）就可以了，这样子还有排除误差的作用，反而会更精确。
在这里插入图片描述
有的时候绝对值算不出来（听老师说是很多时候都是这样），所以可以用平方，因为反正绝对值越大，对应的的平方也就越大，并且，平方越大，也就意味着这个数越大，所以完全可以平方化来简化运算。

曲线拟合基本思想：
1.找基函数。
基函数可以是x的n次幂（1，x,x2,x3…)，可以是sinx，或者是指数e的nx次方。
2.线性组合，在每个基函数前面乘上一系列系数，然后相加。
3.用函数在xi点的函数值s(xi)-yi，然后平方，得到误差的平方，然后求和。
4.求偏导数。

收起

展开全文

凸优化第九章无约束优化 9.1 无约束优化问题

2020-12-20 00:02:52

9.1 无约束优化问题 例子强凸性及其含义无约束优化问题 其中是二次可微凸函数（dom(f)是开集），假设该问题可解，存在最优点，这里用表示最优值。由于f是二次可微凸函数，最优点应满足：所以无约束优化问题...

9.1 无约束优化问题

例子
强凸性及其含义

无约束优化问题

$minimize \,\, f(x)$ 其中 $f:R^n \rightarrow R$ 是二次可微凸函数（dom(f)是开集），假设该问题可解，存在最优点 $x^*$ ，这里用 $p^*$ 表示最优值 $inf_xf(x)=f(x^*)$ 。

由于f是二次可微凸函数，最优点 $x^*$ 应满足： $\bigtriangledown f(x^*)=0$

所以无约束优化问题的求解变成了求解上述方程的解。一般情况下，必须采用迭代算法求解此方程，即计算点列 $x^{(0)},x^{(1)}\cdots \in dom(f)$ 使得 $k\rightarrow \infty$ 时， $f(x^{(k)})\rightarrow p^*$ ，这样的点列被称为优化问题的极小化点列。当 $f(x^{(k)})-p^* \leq \varepsilon$ 时，算法将终止，其中 $\varepsilon >0$ 是设定的容许误差值。

初始点和下水平集

迭代的方法需要一个适当的初始点 $x^{(0)}$ ，该初始点必须满足两个条件：

初始点必须在dom(f)内
下水平集 $S=\left \{ x \in dom(f)|f(x)\leq f(x^{(0)}) \right \}$ 必须是闭集。

条件１很容易满足，条件２却不容易满足。除非在全部的下水平集都是闭集的时候，条件２才容易满足。

全部下水平集都是闭集的情况：

epi f （ｆ的上境图）是闭集
$dom f=R^n$
当 $x \rightarrow bd(dom(f))$ ，即x趋于dom(f)的边界时， $f(x)\rightarrow \infty$

下水平集的条件数

对任意满足 $\begin{Vmatrix}q \end{Vmatrix}_2=1$ 的方向向量q，我们定义凸集 $C\subseteq R^n$ 的宽度如下：

$W(C,q)=sup_{z\in C}q^Tz-inf_{z \in C}q^Tz$

再定义C的最小宽度和最大宽度：

$W_{min}=\underset{\begin{Vmatrix} q\end{Vmatrix}_2=1}{inf}W(C,q), W_{max}=\underset{\begin{Vmatrix} q\end{Vmatrix}_2=1}{sup}W(C,q)$

于是凸集C的条件数可以表示成：

$cond(C)=\frac{W^2_{max}}{W^@_{min}}$

例子

无约束几何规划

$minimize \, \, f(x)=log(\sum_{i=1}^m exp(a_i^Tx+b_i))$

其最优性条件为：

$\bigtriangledown f(x^*)=\frac{1}{\sum_{i=1}^mexp(a_i^Tx+b_i)}\sum_{i=1}^mexp(a_i^Tx+b_i)$

但一般情况下，此方程组没有解析解，于是采用迭代方法，这里 $dom(f)=R^n$ ，所以人和店都可以是初始点。

线性不等式的解析中心

$minimize \, \, f(x)=-\sum_{i=1}^m log(b_i-a_i^Tx)$

其中 $dom(f)=\left \{ x|a_i^Tx<b_i,i=1,\cdots m\right \}$

采用迭代的方法，也可以找到初始点，因为当 $a_i^Tx\rightarrow b_i$ 时， $f(x)\rightarrow \infty$ ，满足下水平集为闭集的条件。

强凸性及其含义

假设目标函数在Ｓ上是强凸的，这是指存在 $m>0$ 使得 $\bigtriangledown^2 f(x)\succeq mI$ ，对任意的 $x \in S$ 都成立。

对于任意的 $x,y \in S$ 都有 $f(y)=f(x)+\bigtriangledown f(x)^T(y-x)+1/2(y-x)^T\bigtriangledown ^2f(z)(y-x),z \in [x,y]$

由强凸性可推出

$f(y) \geq f(x)+\bigtriangledown f(x)^T(y-x)+\frac{1}{2}m(y-x)^T(y-x)$

$f(y) \geq f(x)+\bigtriangledown f(x)^T(y-x)+\frac{1}{2}m\begin{Vmatrix} y-x\end{Vmatrix}_2^2$

可知，对固定的x，不等式右边是y的二次凸函数，记为Ｌ，令其对y的一阶导数为０

$\bigtriangledown f(x)+ my-mx=0$

$\hat{y}=x-\frac{1}{m}\bigtriangledown f(x)$

可知Ｌ的最小值为 $L(\hat{y})$ ，所以可推出

$f(y) \geq f(x)+\bigtriangledown f(x)^T(y-x)+\frac{1}{2}m\begin{Vmatrix} y-x\end{Vmatrix}_2^2\geq L(\hat{y})=f(x)+\bigtriangledown f(x)^T(-\frac{1}{m}\bigtriangledown f(x))+\frac{1}{2}m\begin{Vmatrix}-\frac{1}{m}\bigtriangledown f(x)\end{Vmatrix}_2^2=f(x)-\frac{1}{2m}\begin{Vmatrix}\bigtriangledown f(x)\end{Vmatrix}_2^2$

由于y是任意的，又可推出 $p^*\geq f(x)-\frac{1}{2m}\begin{Vmatrix}\bigtriangledown f(x)\end{Vmatrix}_2^2$ 即 $f(x)-p^*\leq \frac{1}{2m}\begin{Vmatrix}\bigtriangledown f(x)\end{Vmatrix}_2^2$

来源：https://blog.csdn.net/wangchy29/article/details/87944620

收起

展开全文

深度学习数学基础之约束优化问题
2021-01-10 16:20:17
介绍了深度学习中会用到的条件约束优化问题，主要是KKT法，实例讲解了等式约束、不等式约束优化时，KKT条件的来源和意义。最后简单说明了一下约束最优化问题的对偶问题。
收起
深度学习

凸优化第九章无约束优化　9.1无约束优化问题

2019-02-26 20:30:59

9.1无约束优化问题 例子强凸性及其含义无约束优化问题 其中是二次可微凸函数（dom(f)是开集），假设该问题可解，存在最优点，这里用表示最优值。由于f是二次可微凸函数，最优点应满足：所以无约束优化问题...

9.1无约束优化问题

例子
强凸性及其含义

无约束优化问题

由于f是二次可微凸函数，最优点 $x^*$ 应满足： $\bigtriangledown f(x^*)=0$