精华内容
下载资源
问答
  • 许多工程问题都可以归结为优化问题,而且其目标函数往往是局部最优点的复杂...典型函数优化Benchmark问题的仿真试验表明,提出的单纯形免疫算法比单一算法性能更优,适合于存在许多局部最优点的复杂高维非凸函数优化
  • 优化中称:目标函数是 极小化凸函数 或者极大化凹函数 数学分析中称:或者 晦涩的称为 极小化下凸(凹)函数 极大化上凸(凸)函数 其实没有凹函数的说法,只不过是上凸还是下凸罢了! 到此为止还是比较懵逼...

    凸函数

    凹函数

    上凸函数

    下凸函数

    非凸

     

    懵逼的我梳理一下学习的心得:

    凸优化是指

    约束条件是凸集

    凸优化中称:目标函数是 极小化凸函数 或者极大化凹函数

    数学分析中称:或者 晦涩的称为 极小化下凸(凹)函数 极大化上凸(凸)函数

    其实没有凹函数的说法,只不过是上凸还是下凸罢了!

     

    到此为止还是比较懵逼!但是终于看到有人说句公道话了!

    【不同的书有不同的定义,有的说二阶导数大于0是凹;有的又说二阶导数小于0是凹.要看自己用的是什么书】

    • 数学分析/高数中对凸函数定义:二阶导小于0 开口向下的函数

    f′′(x)>0,开口向上,函数为凹函数,f′′(x)<0,开口向下,函数为凸函数。

    • 凸优化中对凸函数的定义:

    好嘛,跟数学分析中第一的刚好相反!行吧!我算是懂了!

     

    除了凸函数 都是非凸函数

    凸和非凸是对问题的定义!

    而凸或者凹是对函数性质的描述!

    不是一个领域的知识点!

    虽然定义上有一点矛盾,但是不耽误理解知识和处理问题!

    经过此次学习,我收获:交流,探讨,查阅知识 是非常重要的!

    展开全文
  • 【时间】2019.08.03 【题目】凸优化优化 具体见:凸优化优化 为什么深度学习中往往要求...因为凸函数最终得到的解是全局最优解,非凸函数得到的可能是局部最优解,训练时可能不收敛。(个人理解) ...

    【时间】2019.08.03

    【题目】凸优化和非凸优化

    具体见:凸优化和非凸优化

    为什么深度学习中往往要求损失函数是凸函数?

    因为凸函数最终得到的解是全局最优解,非凸函数得到的可能是局部最优解,训练时可能不收敛。(个人理解)

    展开全文
  • 目录1 基本概念2 凸优化问题3 优化问题4 总结 1 基本概念 ...(3)凸函数(Convex function)和非凸函数(Convave function) 通常把函数分为凸函数非凸函数凸函数的几何意义在于,定义域中任意两

    1 基本概念

    (1)凸集和非凸集
    凸集是一个点集, 这个点集有一个性质, 就是在这个集合中任取不同的两个点x和y, 他们之间的线段(包括端点)上的点都属于这个点集,那么就说这个点集是一个凸集。比如下图中左边的图形是凸集,而右边就是非凸集,因为可以找到两个点,使它们之间的线段上的点不在集合中
    在这里插入图片描述

    (3)凸函数(Convex function)和非凸函数(Convave function)
    通常把函数分为凸函数和非凸函数。凸函数的几何意义在于,定义域中任意两点连线组成的线段都在这两点的函数曲线(面)上方。如图所示。凸函数是有且只有全局最优解的,而非凸函数可能有多个局部最优解。
    在这里插入图片描述

    判定方法:

    • 对于一元函数f(x),首先必须定义域是凸集,其次通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负,即f′′(x)≥0 ,则f(x)是凸函数。
    • 对于多元函数f(X),首先必须定义域是凸集,其次通过其Hessian矩阵(Hessian矩阵是由多元函数的二阶导数组成的方阵)的正定性来判断。如果Hessian矩阵是半正定矩阵,则是f(X)凸函数。

    (4)凸优化和非凸优化
    在最小化(最大化)的优化要求下,目标函数是凸函数且约束条件所形成的可行域集合是一个凸集的优化方法,因此凸优化的判定条件有两个

    • 函数定义域是凸集
    • 目标函数是凸函数

    (4)水平子集(sublevel sets)
    由凸函数的概念出发,我们可以引出水平子集(sublevel set)的概念。假定f(x)是一个凸函数, 给定一个实数α∈R,我们把集合
    { x ( f ) ∣ f ( x ) ≤ α } \{ x(f)| f(x) \leq \alpha \} {x(f)f(x)α}
    叫做α−水平子集。 也就是说α水平子集是所有满足f(x)≤α的点构成的集合。利用凸函数性质,我们可以证明水平子集也是凸集:
    f ( θ x + ( 1 − θ y ) ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) ≤ θ α + ( 1 − θ ) α f(\theta x +(1-\theta y)) \leq \theta f(x)+(1-\theta)f(y) \leq \theta \alpha +(1-\theta)\alpha f(θx+(1θy))θf(x)+(1θ)f(y)θα+(1θ)α
    水平子集告诉我们,给凸函数添加一个上限,定义域内剩下的点构成的点集还是一个凸集。
    (5)仿射函数(affine functions)
    数学上,我们把形如
    h ( x ) = A x + b h(x)=Ax+b h(x)=Ax+b
    的函数叫做仿射函数。其中,A是一个m*n的矩阵,x是一个k向量,b是一个m向量。直观上理解,仿射函数将一个n维空间的向量通过线性变换A映射到m维空间,并在其基础上加上向量b,进行了平移。实际上反映了一种从 k维到m维的空间映射关系。

    2 凸优化问题

    (1)定义
    数学上表示为
    m i n   f ( x ) s . t   x ∈ C min \space f(x)\\ s.t\space x∈C min f(x)s.t xC
    其中f是凸函数,C是凸集。以下是用仿射函数的表示法
    m i n   f ( x ) s . t   g i ( x ) ≤ 0 , i = 1 , . . . , m h i ( x ) = 0 , i = 1 , . . , p min \space f(x)\\ s.t\space g_i(x) ≤0,i = 1,...,m\\ h_i(x) = 0,i = 1,..,p min f(x)s.t gi(x)0,i=1,...,mhi(x)=0,i=1,..,p
    其中g(x)是凸函数,h(x)是仿射函数。原约束集C表示为了一系列凸集的交集。
    (2)简介
    优化方法是几乎所有机器学习模型中最重要的核心部分,凸优化是优化方法论中的特例,是一个非常大的领域。
    例如针对逻辑回归、线性回归这样的凸函数,使用梯度下降或者牛顿法可以求出参数的全局最优解,针对神经网络这样的非凸函数,我们可能会找到许多局部最优解。
    (3)经典凸优化问题

    • Least squares(最小二乘法,常用,目标:线性关系;限制条件:线性关系)
    • Convex quadratic minimization with linear constraints(线性约束条件下的二次规划问题,常用,目标:平方关系;限制条件:线性关系)
    • Linear programming(线性规划)
    • Quadratic minimization with convex quadratic constraints(具有凸二次约束的二次最小化)
    • Conic optimization(圆锥优化)
    • Geometric programming(几何规划)
    • Second order cone programming(二阶锥规划)
    • Semidefinite programming(半定规划)
    • Entropy maximization with appropriate constraints(具有适当约束的熵最大化)

    3 非凸优化问题

    (1)简介
    在实际解决问题过程中,都希望我们建立的目标函数是凸函数,这样我们不必担心局部最优解问题,但实际上,我们遇到的问题大多数情况下建立的目标函数都是非凸函数,因此我们需要根据场景选择不同的优化方法。
    我们在寻找优化方法论时,一定要选择更合理的方法论。很多非凸优化问题可以转化(并非是等价的)为凸优化问题,并给出问题的近似解。
    当非凸优化应用到机器学习中时,目标函数可以允许算法设计者编码适当和期望的行为到机器学习模型中,例如非凸优化中的目标函数可以表示为衡量拟合训练数据好坏的损失函数。正如 Goodfellow 所说,一般的非凸优化和深度学习中的非凸优化,最大的区别就是深度学习不能直接最小化性能度量,而只能最小化损失函数以近似度量模型的性能。而对目标函数的约束条件是允许约束模型编码行为或知识的能力,例如约束模型的大小。
    (2)传统解决方法
    面对非凸问题及其与 NP-hard 之间的关系,传统的解决方案是修改问题的形式化或定义以使用现有工具解决问题,即凸松弛(Relaxation),对问题限制条件的松弛,将原问题等价为凸优化问题。但是我们求出来的最优解与原问题的最优解可能是相等,也可能有一定的误差的,所以通过relaxation,我们需要证明relaxation得出的最优解和原问题的最优解的误差范围。
    由于该方法允许使用类似的算法技术,所谓的凸松弛方法得到了广泛研究。例如,推荐系统和稀疏回归问题都应用了凸松弛方法。对于稀疏线性回归,凸松弛方法带来了流行的 LASSO 回归。
    (3)非凸优化方法
    机器学习和信号处理领域出现了一种新方法,不对非凸问题进行松弛处理而是直接解决。引起目标是直接优化非凸公式,该方法通常被称为非凸优化方法。非凸优化方法常用的技术包括简单高效的基元(primitives),如投影梯度下降、交替最小化、期望最大化算法、随机优化及其变体。这些方法在实践中速度很快,且仍然是从业者最喜欢用的方法。
    如果该问题具备较好的结构,那么不仅可以使用松弛方法,还可以使用非凸优化算法。在这类案例中,非凸方法不仅能避免 NP-hard,还可以提供可证明的最优解。事实上,在实践中它们往往显著优于基于松弛的方法,不管是速度还是可扩展性

    4 总结

    当我们拿到一个业务问题,一定需要按照算法思维去做,先将问题转换为一个严谨的数学问题,判断我们写出的目标函数的凹凸性,如果目标函数非凸,我们需要对问题的限制条件做一些转化,进而求出转化后问题的近似解,并证明其与原问题的误差范围。如果是凸函数,我们需要选择相应的优化方法论进行优化,因为优化问题是机器学习算法中的核心部分。

    展开全文
  • 凸函数优化问题,凸函数优化的应用和数学算法。拉格朗日方程,KKT和CSC方法
  • 凸函数非凸函数---and why

    万次阅读 多人点赞 2018-09-14 16:59:27
    原文: 凸优化优化 - CSDN博客 ...凸优化问题是指是闭合的凸集且是上的凸函数的最优化问题,这两个条件任一不满足则该问题即为凸的最优化问题。 其中,是 凸集是指对集合中的任意两点...

     原文: 凸优化和非凸优化 - CSDN博客 https://blog.csdn.net/kebu12345678/article/details/54926287

     

    数学中最优化问题的一般表述是求取x^{*}\in \chi,使f(x^{*} )=min\{f(x):x\in \chi \},其中x是n维向量,\chix的可行域,f\chi上的实值函数。
    凸优化问题是指\chi闭合的凸集f\chi上的凸函数的最优化问题,这两个条件任一不满足则该问题即为非凸的最优化问题

    其中,\chi 凸集是指对集合中的任意两点x_{1},x_{2}\in \chi,有tx_{1}+(1-t)x_{2}\in \chi,t\in[0,1]即任意两点的连线段都在集合内直观上就是集合不会像下图那样有“凹下去”的部分。至于闭合的凸集,则涉及到闭集的定义,而闭集的定义又基于开集,比较抽象,不赘述,这里可以简单地认为闭合的凸集是指包含有所有边界点的凸集。

     

     

    注意:中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。Convex Function在某些中国大陆的数学书中指凹函数。Concave Function指凸函数。但在中国大陆涉及经济学的很多书中,凹凸性的提法和其他国家的提法是一致的,也就是和数学教材是反的。举个例子,同济大学高等数学教材对函数的凹凸性定义与本条目相反,本条目的凹凸性是指其上方图是凹集或凸集,而同济大学高等数学教材则是指其下方图是凹集或凸集,两者定义正好相反。

     

    为什么要求是凸函数呢?因为如果是下图这样的函数,则无法获得全局最优解。

    为什么要求是凸集呢?因为如果可行域不是凸集,也会导致局部最优

     

    实际建模中判断一个最优化问题是不是凸优化问题一般看以下几点:

    • 目标函数f如果不是凸函数,则不是凸优化问题
    • 决策变量x中包含离散变量(0-1变量或整数变量),则不是凸优化问题
    • 约束条件写成g(x)\le0时,g如果不是凸函数,则不是凸优化问题

    之所以要区分凸优化问题和非凸的问题原因在于凸优化问题中局部最优解同时也是全局最优解,这个特性使凸优化问题在一定意义上更易于解决,而一般的非凸最优化问题相比之下更难解决。

     

    非凸优化问题如何转化为凸优化问题的方法:
    1)修改目标函数,使之转化为凸函数
    2)抛弃一些约束条件,使新的可行域为凸集并且包含原可行域

    展开全文
  • 凸函数和凸优化

    2018-06-08 10:48:49
    凸函数一直是一个头疼的事,并不是凸函数有多难,而是凸函数的定义一直是个模棱两可的概念,博主也是经常看了就忘,因此为了方便记忆,对凸函数及凸优化相关定义进行总结。 凸函数图像: 根据函数图像更加清晰地...
  • 内附习题与答案。看起来是厚厚的一本大部头,读起来并不太费力。... 作者本身的工科背景使得这本书在工业问题和计算机等实用方面的优点更为突出,数学依据上覆盖面广而不强调深,非常值得想要了解线性规划的人一读。
  • 3.4 拟凸函数 定义及例子 基本性质 可微拟凸函数 ...结论:凸函数具有凸的下水平集,即凸函数也是拟凸函数,但从第一个图可以看出拟凸函数未必是凸函数。 对于上下水平集是否是凸集的判断,主要在于
  • 在数学优化中,Rosenbrock 函数是一种非凸函数,用作 Howard H. Rosenbrock 在 1960 年提出的优化算法的性能测试问题[1]。 它也被称为罗森布罗克的山谷或罗森布罗克的香蕉函数。 全局最小值位于一个狭长的抛物线形...
  • 无导数优化方法适用于复杂的优化问题,但难以扩展到高维度(例如,大于1,000)。...我们将SRE应用于几种最新的无导数优化方法,并对合成函数以及具有100,000个变量的非凸分类任务,实验结果验证了SRE的有效性。
  • 优化第三章凸函数 3.4拟凸函数

    千次阅读 2019-01-19 16:14:45
    3.4拟凸函数 定义及例子 基本性质 可微拟凸函数 定义及例子 定义 函数称为拟凸函数,如果其定义域和所有下水平集,都是凸集。 如果f(x)是拟凸函数,则-f(x)是拟凹函数。拟凹函数:每个上水平集均为凸集。如果...
  • 优化凸函数与拟凸函数

    千次阅读 2015-09-22 22:07:04
     函数f(x),对定义域S(凸集)上任意两点x1,x2∈S,Θ∈[0,1], 如果有f[Θx1+(1-Θ)x2]≤...凸函数一定是拟凸函数,但反向则不一定成立,如同是单调的函数的凹函数、线性函数、凸函数的图形中,同样满足
  • 一、凸集的定义: 典型的凸集 A、线段,射线,直线 B、超平面,半空间 ...二、凸函数 二、性质 2.1、一阶条件 2.2、二阶条件 Jensen不等式 三、凸优化 优化问...
  • 凸集、凸函数、凸优化问题

    千次阅读 2016-05-21 00:35:57
    机器学习中,经常会用到凸集、凸函数、凸优化问题。 这里对这些概念进行介绍,简单介绍其关系。凸集:如果集合A中任意两个元素的连线上的点也在集合内,则为凸集。见下图。 凸函数:函数任意两点连线上的值大于...
  • 关于凸集与凸集,凸函数与凹函数,凸优化的概念一直混淆,在此整理下相关定义和概念,希望给有需要的人。 凸集:集合中的任意两点连线的点都在该集合中,则称该集合为凸集;凹集为凸集。函数的凹凸是由函数...
  • 凸函数与凸优化的问题

    千次阅读 2018-03-28 15:23:45
    此文大致从文章file:///C:/Users/Administrator/Downloads/cs229-cvxopt.pdf 翻译得到。1 介绍在机器学习的很多领域,我们是...凸优化能够在很多情况下找到全局的解答。2 凸集定义:一个集合C,如果对于任何x,y属于...
  • 这一节主要学习凸函数的定义以及性质。了解保凸运算,以及上镜图与下水平集等。这些基础知识看似零乱,然而却是后面的基础。特别是,在实际应用中如果我们能把一个问题转化为凸优化问题,是非常好的一步。而能够这样...
  • 凸函数1(斯坦福凸优化笔记5)

    万次阅读 多人点赞 2017-07-03 23:00:35
    本节介绍了凸函数,举了一些凸函数的例子,给出了一些判断凸函数的方法。
  • 优化最基础的优化方法,设定凸函数、凸集合条件,满足该条件的优化问题可以方便地求解,同时优化问题可以转化成凸优化问题求解,这是凸优化最有价值的地方。 1 凸集 凸集定义:对于集合D,若对于任意两点...
  • 凸函数 设x1x1和x2x2为函数f(x)定义域内的任意两个实数,且x1x1 &lt; t &lt;x2x2,恒有: 则称f(x) 是定义域上的凸函数。 判别: 其中要求f一阶可微。  二阶充要条件为:    其中要求f二阶可微,...
  • 凸函数的非负加权求和得到的函数仍为凸函数 如果均为凸函数,,仍为凸函数。 证明: 因为是凸函数,故 得证 例子: 复合仿射映射 f(Ax+b),如果f是凸函数,f(Ax+b)也是凸函数,如果f是凹函数,f...
  • 3.5对数-凹函数和对数-凸函数 定义 相关性质 定义 称函数对数凹,如果是凹函数。 称函数对数凸,如果是凸函数。 函数f是对数凸的当且仅当1/f是对数凹的。 当时,,相当于对log(f)进行扩展值延伸,此时,如果...
  • 凸函数2(斯坦福凸优化笔记6)

    千次阅读 2017-07-09 21:39:00
    本节介绍了Jensen 不等式,保凸运算,共轭函数,拟凸运算和对数凸函数
  • 例如: g(x)=∥y−Ax∥2,h(x)=x2在x≥0上递减g(x)=\|y-Ax\|_2,h(x)=x^2\quad在x\ge 0上递减g(x)=∥y−Ax∥2​,h(x)=x2在x≥0上递减, 则 f(x)=∥y−Ax∥22f(x)=\|y-Ax\|^2_2f(x)=∥y−Ax∥22​ 是凸函数。...
  • 凸函数

    千次阅读 2020-03-01 12:54:26
    今天主要来学习的是凸函数:包括是什么是凸函数凸函数的判断,对于非凸函数的处理。 凸函数 先来看看什么是凸函数: 如图左边的是一个凸函数,右边的不是凸函数,从图片我们也可以清楚的看到凸函数的一个显著的...
  • 参考我的博客:http://blog.csdn.net/GoodShot/article/details/79162032机器学习中,经常会用到凸集、凸函数、凸优化问题。 这里对这些概念进行介绍,简单介绍其关系。... 凸优化:目标函数是凸函数,变量...
  • 优化第三章凸函数 3.2保凸运算

    千次阅读 2019-01-18 09:59:27
    凸函数的非负加权求和得到的函数仍为凸函数 如果均为凸函数,,仍为凸函数。 证明: 因为是凸函数,故 得证 例子: 复合仿射映射 f(Ax+b),如果f是凸函数,f(Ax+b)也是凸函数,如果f是凹函数,f...
  • 形象感受一下为什么凸优化问题的局部最优解是全局最优解 (1) 从下图可以看出当函数不是凸函数时,当对非凸函数f(x)进行最优化时,便可能得到局部最优解,无法获得全局最优解 (2) 从下图可以看出当目标函数可行域是非...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,267
精华内容 12,906
关键字:

非凸函数优化