精华内容
下载资源
问答
  • 机器学习-凸函数

    2019-07-22 22:24:22
    1 凸优化是指X 是闭合的凸集,f 是X 上的凸函数的最优化问题,这两个条件任一不满足则该问题即为非凸的最优化问题。 其中,X 是凸集是指对集合任意两点,即任意两点的连线段都在集合内,直观上就是集合不会像下面...

    https://www.nowcoder.com/discuss/205341

    1 凸优化是指X 是闭合的凸集,f 是X  上的凸函数的最优化问题,这两个条件任一不满足则该问题即为非凸的最优化问题。

    其中,X 是凸集是指对集合中任意两点,即任意两点的连线段都在集合内,直观上就是集合不会像下面那样有凹下去的部分,至于闭合的凸集,则涉及到闭合的凸集,则涉及到闭集的定义,而闭集的定义又基于开集。闭合的凸集是指包含所以边界点的凸集。

    实际建模中判断一个最优化问题是不是凸优化问题一般看一下几点:

    目标函数f 如果不是凸函数,则不是凸优化函数

    决策变量x 中包含离散变量(0-1 变量或整数变量),则不是凸优化问题

    约束条件写成g(x) <=0 时,g 如果不是凸函数,则不是凸优化问题

    之所以要区分凸优化问题和非凸的问题的原因在于凸优化问题中局部最优解同时也是全局最优解,

    2 人工智能,机器学习和深度学习的区别

    机器学习: 一种实现人工智能的方法

    使用算法来解析数据,从中学习,然后对真实世界中的事件做出决策和预测,使用大量的数据来训练,通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域,传统的算法包括决策树,聚类,贝叶斯分类,支持向量机,EM,Adaboost 等,在学习方法上,机器学习算法可以分为监督学习,无监督学习,半监督学习,集成学习,深度学习和强化学习。

    2 深度学习:一种实现机器学习的技术

    深度学习并不是一种独立的学习方法,其本身也会用到有监督和无监督的学习方法来训练深度神经网络,但由于近几年该领域发展迅猛,一些特有的学习手段相继提出(如残差网络) 。

    最初的深度学习是利用深度神经网络来解决表征表达的一种学习过程,深度神经网络本身并不是一个全新的概率,可大致理解为包含多个隐含层的神经网络结构,为了提高深层神经网络的训练效果,人们对神经元的连接方法和激活函数等方面做出了相应的调整,其实有不少想法早年间也曾有过,但是训练数据量不足,计算能力不足,因此最终的效果不尽人意。

     

    参考:https://blog.csdn.net/wwf_lightning/article/details/73477215

    http://www.sohu.com/a/227603209_163476

     

    展开全文
  • 机器学习各种优化问题,凸集、凸函数和凸优化等概念经常出现,其是各种证明的前提条件,因此认识其性质对于优化问题的理解尤为重要,本文便就凸集、凸函数和凸优化等各种性质进行阐述,文末分享一波凸优化的...

    前言:若需获取本文全部的手书版原稿资料,扫码关注公众号【机器学习与自然语言处理】,回复: 凸优化 即可获取。

    原创不易,转载请告知并注明出处!扫码关注公众号【机器学习与自然语言处理】,定期发布知识图谱,自然语言处理、机器学习等知识,添加微信号【17865190919】进讨论群,加好友时备注来自CSDN。
    在这里插入图片描述

    在机器学习各种优化问题中,凸集、凸函数和凸优化等概念经常出现,其是各种证明的前提条件,因此认识其性质对于优化问题的理解尤为重要,本文便就凸集、凸函数和凸优化等各种性质进行阐述,文末分享一波凸优化的学习资料和视频!



    一、几何体的向量表示

    在介绍凸集等概念之前,首先介绍一下空间几何体的向量表示,下面在定义凸集概念时便用到了线段的线段表示。先通过一个例子来认识一下如何使用向量表示线段

    已知二维平面上两定点A(5, 1)、B(2, 3),给出线段AB的方程表示如下:

    { x 1 = θ ∗ 5 + ( 1 − θ ) ∗ 2 x 2 = θ ∗ 1 + ( 1 − θ ) ∗ 3           θ ∈ [ 0 ,   1 ] \left\{ \begin{matrix} x_{1} = \theta*5 + \left( 1 - \theta \right)*2 \\ x_{2} = \theta*1 + \left( 1 - \theta \right)*3 \\ \end{matrix} \right.\ \ \ \ \ \ \ \ \ \theta \in \lbrack 0,\ 1\rbrack {x1=θ5+(1θ)2x2=θ1+(1θ)3         θ[0, 1]

    如果将点A看成向量a,点B看成向量b,则线段AB的向量表示为:

    x → = θ a → + ( 1 − θ ) ∗ b →         θ ∈ [ 0 ,   1 ] \overrightarrow{x} = \theta\overrightarrow{a} + \left( 1 - \theta \right)*\overrightarrow{b}\ \ \ \ \ \ \ \theta \in \lbrack 0,\ 1\rbrack x =θa +(1θ)b        θ[0, 1]

    而直线的向量表示是:

    x → = θ a → + ( 1 − θ ) ∗ b →         θ ∈ R \overrightarrow{x} = \theta\overrightarrow{a} + \left( 1 - \theta \right)*\overrightarrow{b}\ \ \ \ \ \ \ \theta \in R x =θa +(1θ)b        θR

    由此衍生推广到高维,可得以下几何体的向量表示,三角形的向量表示:

    x → = θ 1 a → 1 + θ 2 a → 2 + θ 3 a → 3        θ i ∈ [ 0 ,   1 ]  and  ∑ θ i = 1 \overrightarrow{x} = \theta_{1}{\overrightarrow{a}}_{1} + \theta_{2}{\overrightarrow{a}}_{2} + \theta_{3}{\overrightarrow{a}}_{3}\text{\ \ \ \ \ \ }\theta_{i} \in \left\lbrack 0,\ 1 \right\rbrack\text{\ and\ }\sum_{}^{}\theta_{i} = 1 x =θ1a 1+θ2a 2+θ3a 3      θi[0, 1] and θi=1

    三维平面的向量表示:

    x → = θ 1 a → 1 + θ 2 a → 2 + θ 3 a → 3        θ i ∈ R  and  ∑ θ i = 1 \overrightarrow{x} = \theta_{1}{\overrightarrow{a}}_{1} + \theta_{2}{\overrightarrow{a}}_{2} + \theta_{3}{\overrightarrow{a}}_{3}\text{\ \ \ \ \ \ }\theta_{i} \in R\text{\ and\ }\sum_{}^{}\theta_{i} = 1 x =θ1a 1+θ2a 2+θ3a 3      θiR and θi=1

    超几何体的向量表示:

    x → = θ 1 a → 1 + θ 2 a → 2 + … + θ k a → k        θ i ∈ [ 0 ,   1 ]  and  ∑ θ i = 1 \overrightarrow{x} = \theta_{1}{\overrightarrow{a}}_{1} + \theta_{2}{\overrightarrow{a}}_{2} + \ldots + \theta_{k}{\overrightarrow{a}}_{k}\text{\ \ \ \ \ \ }\theta_{i} \in \lbrack 0,\ 1\rbrack\text{\ and\ }\sum_{}^{}\theta_{i} = 1 x =θ1a 1+θ2a 2++θka k      θi[0, 1] and θi=1

    超平面的向量表示:

    x → = θ 1 a → 1 + θ 2 a → 2 + … + θ k a → k        θ i ∈ R  and  ∑ θ i = 1 \overrightarrow{x} = \theta_{1}{\overrightarrow{a}}_{1} + \theta_{2}{\overrightarrow{a}}_{2} + \ldots + \theta_{k}{\overrightarrow{a}}_{k}\text{\ \ \ \ \ \ }\theta_{i} \in R\text{\ and\ }\sum_{}^{}\theta_{i} = 1 x =θ1a 1+θ2a 2++θka k      θiR and θi=1




    二、凸集凸函数定义


    1、凸集

    集合C内任意两点间的线段也均在集合C内,则称集合C为凸集,数学定义为:
    在这里插入图片描述

    上面凸集定义中便用到了线段的向量表示,含义是如果点x1和点x2在集合C内,则线段x1x2上所有点都在集合c内,凸集的交集仍是凸集,下面展示几个凸集示例:
    在这里插入图片描述
    在这里插入图片描述



    2、凸函数

    凸函数定义为:
    f : C ⊆   R n − > R 1 ,   C . x 1 , x 2 ∈ C , : f:C \subseteq \ R^{n} - > R^{1},\ C.x_{1},x_{2} \in C,: f:C Rn>R1, C.x1,x2C,:

    f ( α 1 x 1 + α 2 x 2 ) < =   α 1 f ( x 1 ) +   α 2 f ( x 2 )     ∑ α i = 1 , α i > = 0 f\left( \alpha_{1}x_{1} + \alpha_{2}x_{2} \right) < = \ \alpha_{1}f\left( x_{1} \right) + \ \alpha_{2}f\left( x_{2} \right)\text{\ \ \ }\sum_{}^{}\alpha_{i} = 1,\alpha_{i} > = 0 f(α1x1+α2x2)<= α1f(x1)+ α2f(x2)   αi=1,αi>=0

    则成 f(x) 为定义在凸集C上的凸函数

    严格凸函数定义:设 f ⊆ Rn–> R1,C是凸集,对于x1, x2∈C 都有:

    f ( α 1 x 1 + α 2 x 2 ) <   α 1 f ( x 1 ) +   α 2 f ( x 2 )     ∑ α i = 1 , α i > 0 f\left( \alpha_{1}x_{1} + \alpha_{2}x_{2} \right) < \ \alpha_{1}f\left( x_{1} \right) + \ \alpha_{2}f\left( x_{2} \right)\text{\ \ \ }\sum_{}^{}\alpha_{i} = 1,\alpha_{i} > 0 f(α1x1+α2x2)< α1f(x1)+ α2f(x2)   αi=1,αi>0

    则成 f(x) 为定义在凸集C上的严格凸函数

    凸函数的等价定义:设f ⊆ Rn–> R1,C是凸集,对于x1, x2, x3∈C且x1<x2<x3,下式成立则 f(x) 为凸函数:

    f ( x 2 ) −   f ( x 1 ) x 2 −   x 1 < =   f ( x 3 ) −   f ( x 1 ) x 3 −   x 1 < =   f ( x 3 ) −   f ( x 2 ) x 3 −   x 2 \frac{f\left( x_{2} \right) - \ f\left( x_{1} \right)}{x_{2} - \ x_{1}} < = \ \frac{f\left( x_{3} \right) - \ f\left( x_{1} \right)}{x_{3} - \ x_{1}} < = \ \frac{f\left( x_{3} \right) - \ f\left( x_{2} \right)}{x_{3} - \ x_{2}} x2 x1f(x2) f(x1)<= x3 x1f(x3) f(x1)<= x3 x2f(x3) f(x2)



    3、凸函数定义几何解释

    对于凸函数公式描述:

    f ( α 1 x 1 + α 2 x 2 ) < =   α 1 f ( x 1 ) +   α 2 f ( x 2 )     ∑ α i = 1 , α i > = 0 f\left( \alpha_{1}x_{1} + \alpha_{2}x_{2} \right) < = \ \alpha_{1}f\left( x_{1} \right) + \ \alpha_{2}f\left( x_{2} \right)\text{\ \ \ }\sum_{}^{}\alpha_{i} = 1,\alpha_{i} > = 0 f(α1x1+α2x2)<= α1f(x1)+ α2f(x2)   αi=1,αi>=0

    如下图所示,设A1、A2是凸函数曲线上的两个点,他们对应的横坐标x1<x2,且x∈(x1, x2),则存在 α1, α2>0且 α1+ α2=1,使得x= α1x1+ α2x2,过点x做x轴的垂线交函数于A,交直线A1A2于B点,则上式左端即为A的纵坐标,右端即为B的纵坐标

    y A =   f ( α 1 x 1 + α 2 x 2 ) y_{A} = \ f\left( \alpha_{1}x_{1} + \alpha_{2}x_{2} \right) yA= f(α1x1+α2x2)

    y B = α 1 f ( x 1 ) +   α 2 f ( x 2 ) y_{B} = \alpha_{1}f\left( x_{1} \right) + \ \alpha_{2}f\left( x_{2} \right) yB=α1f(x1)+ α2f(x2)

    因此,凸函数的几何含义是:函数任意两点A1和A2之间的部分位于弦A1A2的下方或曲线任一点切线上方,不严谨一个说法:割线始终位于两点间函数曲线的上方
    在这里插入图片描述




    三、凸函数各种性质及其证明


    1、性质1:设 f ⊆ Rn–> R1,C是凸集,若f是凸函数,则对于∀β,证明下面水平集Dβ是凸集
    D β = { x ∣ f ( x ) < = β ,   x ∈ C } D_{\beta} = \{ x|f\left( x \right) < = \beta,\ x \in C\} Dβ={xf(x)<=β, xC}

    证明一个集合是凸集,按照凸集性质即证明凸集中任意两点构成的线段仍然在凸集内,证明见下图:
    在这里插入图片描述



    2、性质2:凸优化问题的局部极小值是全局极小值

    这个性质是凸优化问题一个良好的性质,在机器学习任务中我们只需将非凸问题转化为凸优化问题,便可直接求出问题的全局极值,下面给出证明:
    在这里插入图片描述

    我们观察下面两幅图,形象感受一下为什么凸优化问题的局部最优解是全局最优解
    (1) 从下图可以看出当函数不是凸函数时,当对非凸函数f(x)进行最优化时,便可能得到局部最优解,无法获得全局最优解
    在这里插入图片描述

    (2) 从下图可以看出当目标函数可行域是非凸时,则此时对函数进行优化时也可能错过全局最优解
    在这里插入图片描述



    3、性质3:设 f ⊆ Rn–> R1,C是凸集,对于x1, x2∈C

    (1) f为凸函数的充要条件是:对于∀x1, x2∈C且x1≠x2都有:

    f ( x 2 ) > f ( x 1 ) +   ∇ f ( x 1 ) T ( x 2 − x 1 ) f\left( x_{2} \right) > f\left( x_{1} \right) + \ \nabla{f\left( x_{1} \right)}^{T}(x_{2} - x_{1}) f(x2)>f(x1)+ f(x1)T(x2x1)

    (2) f为严格凸函数的充要条件是:对于∀x1, x2∈C且x1≠x2都有:
    f ( x 2 ) > =   f ( x 1 ) +   ∇ f ( x 1 ) T ( x 2 − x 1 ) f\left( x_{2} \right) > = \ f\left( x_{1} \right) + \ \nabla{f\left( x_{1} \right)}^{T}(x_{2} - x_{1}) f(x2)>= f(x1)+ f(x1)T(x2x1)

    证明过程如下:
    在这里插入图片描述
    在这里插入图片描述

    性质3描述的凸函数一阶可微时具有的性质,下面给出该性质的几何解释
    在这里插入图片描述

    看上图,凸函数f(x),在函数f(x)上取一点(x, f(x))做曲线的切线,切线的斜率为k,可以看出对于凸函数f(x)来说,切线始终是凸函数f(x)的下界,我们看点A、B,B是曲线上一点,A点是切线上一点,且A、B的横坐标都为y,则B点的纵坐标始终大于A点的纵坐标,于是便可得到上述性质:

    f ( y ) ≥ f ( x ) +   ∇ f ( x ) T ( y − x ) f\left( y \right) \geq f\left( x \right) + \ \nabla{f\left( x \right)}^{T}(y - x) f(y)f(x)+ f(x)T(yx)

    当y不断逼近x时,则上式等号成立



    4、性质4:凸函数其Hessian矩阵半正定

    性质4描述的凸函数二阶可微时满足的性质,即凸函数Hessian矩阵半正定,此性质可通过泰勒公式进行,在给出该性质证明之前,Hessian矩阵和泰勒公式定义

    Hessian矩阵是一个多元函数的二阶偏导数构成的方阵,一个多元函数Hessian矩阵定义如下:
    在这里插入图片描述

    泰勒公式是用若干项连加来表示一个函数,这些相加的项由函数在某一点的导数求得,下面给出一个函数f(x)在x=a点的泰勒展开式:
    在这里插入图片描述

    上述性质凸函数其Hessian矩阵半正定的证明如下:
    在这里插入图片描述



    5、性质5:若 x ⊆ Rn,y⊆ Rn,Q为半正定对称阵,证明f(x) = XTQX为凸函数

    在这里插入图片描述



    6、性质6:凸函数f(x),其中Q1+Q2+…+Qn=1,0<= Qi<=1,证明下面不等式:

    f ( Q 1 x 1 + Q 2 x 2 + … + Q n x n + ) < =   Q 1 f ( x 1 ) + Q 2 f ( x 2 ) + … + Q n f ( x n ) f\left( Q_{1}x_{1} + Q_{2}x_{2} + \ldots + Q_{n}x_{n} + \right) < = \ Q_{1}f\left( x_{1} \right) + Q_{2}f\left( x_{2} \right) + \ldots + Q_{n}f(x_{n}) f(Q1x1+Q2x2++Qnxn+)<= Q1f(x1)+Q2f(x2)++Qnf(xn)

    在这里插入图片描述



    7、Jessen不等式,f(x)为凸函数,其中E(x)是x的期望,证明:

    f ( E ( x ) ) < = E ( f ( x ) ) f\left( E\left( x \right) \right) < = E(f(x)) f(E(x))<=E(f(x))

    在这里插入图片描述




    四、凸优化定义


    1、凸优化问题定义

    一个凸优化问题可描述为:

    ⁡ f ( x )       s . t .    x ∈ C \operatorname{}{f\left( x \right)}\text{\ \ \ \ \ }s.t.\ \ x \in C f(x)     s.t.  xC

    s.t.   g i ( x ) < = 0    h i ( x )   = 0 \text{s.t.\ \ }g_{i}\left( x \right) < = 0\ \ h_{i}\left( x \right)\ = 0 s.t.  gi(x)<=0  hi(x) =0

    通过以下凸优化性质便可理解何为凸优化问题:

    (1) 目的是求解目标函数的最小值;
    (2) 目标函数f(x)和不等式约束函数g(x)都是凸函数,定义域是凸集;
    (3) 若存在等式约束函数,则等式约束函数h(x)为仿射函数;仿射函数指的是最高次数为1的多项式函数,一般形式为f(x)= Ax + b,A是m*k矩阵,x是一个k向量,b是一个m向量
    (4) 凸优化问题有一个良好的性质即:局部最优解便是全局最优解



    2、常见凸优化问题

    (1) 线性规划LinearProgramming(LP)

    如果目标函数和不等式约束函数都是仿射函数,则凸优化问题称为线性规划,数学表示为:

    ⁡ c T x + d \operatorname{}{c^{T}x} + d cTx+d

    s . t .    G x   ≼ h     A x = b s.t.\ \ Gx\ \preccurlyeq h\ \ \ Ax = b s.t.  Gx h   Ax=b


    (2) 二次规划QuadraticProgramming(QP)

    如果目标函数是凸二次函数,而不等式约束仍是仿射函数,则凸优化问题称为二次规划,数学表示为:

    ⁡ 1 2 x T P x + c T x + d \operatorname{}\frac{1}{2}x^{T}Px + c^{T}x + d 21xTPx+cTx+d

    s . t .    G x   ≺ = h     A x = b s.t.\ \ Gx\ \prec = h\ \ \ Ax = b s.t.  Gx =h   Ax=b


    (3) 二次约束的二次规划Quadratically Constrained Quadratic Programming(QCQP)

    如果目标函数和不等书约束均为凸二次函数,则凸优化问题称为二次约束的二次规划,数学表示为:

    ⁡ 1 2 x T P x + c T x + d \operatorname{}\frac{1}{2}x^{T}Px + c^{T}x + d 21xTPx+cTx+d

    s.t.   1 2 x T Q i x + r i T x + s i ≤ 0      i = 1 , 2 , … , m    A x = b \text{s.t.\ \ }\frac{1}{2}x^{T}Q_{i}x + r_{i}^{T}x + s_{i} \leq 0\ \ \ \ i = 1,2,\ldots,m\ \ Ax = b s.t.  21xTQix+riTx+si0    i=1,2,,m  Ax=b


    (4) 半正定规划Semidefinite Programming(SDP)

    半正定规划较前面的复杂,在机器学习中也经常用到,下面给出数学描述:

    ⁡ t r ( C X ) \operatorname{}{tr(CX)} tr(CX)

    s.t.  tr ( A i x ) = b i      i = 1 , 2 , … , p     X ≽ 0 \text{s.t.\ \ tr}\left( A_{i}x \right) = b_{i}\ \ \ \ i = 1,2,\ldots,p\ \ \ X \succcurlyeq 0 s.t.  tr(Aix)=bi    i=1,2,,p   X0

    其中符号tr(A)表示矩阵A的迹,矩阵A的迹是指A的对角线上各个元素的总和




    五、浅谈凸优化问题为何如此重要


    1、凸优化具有良好性质,如局部最优解是全局最优解,且凸优化问题是多项式时间可解问题,如:线性规划问题;

    2、很多非凸优化或NP-Hard问题可以转化成凸优化问题,方法:对偶、松弛(扩大可行域,去掉部分约束条件),在SVM算法中,为了对目标函数进行优化,便使用了拉格朗日乘子法、对偶问题、引入松弛因子等


    凸优化资料:百度云盘链接,密码:ei8e
    在这里插入图片描述

    展开全文
  • 机器学习凸函数的四种判断方法

    千次阅读 多人点赞 2019-04-24 12:08:11
    机器学习凸函数的四种判断方法 简介 凸函数的最大便利性就是,再进行优化求解的时候,令一阶导为零后,所求出的值必是全局极小值。 判断是否为凸函数有4种方法,如下图所示。(为了避免在电脑上打公式的繁琐,...

    机器学习之凸函数的四种判断方法

    简介
    凸函数的最大便利性就是,再进行优化求解的时候,令一阶导为零后,所求出的值必是全局极小值。
    判断是否为凸函数有4种方法,如下图所示。(为了避免在电脑上打公式的繁琐,直接以图片的形式展示)
    以下是参考《机器学习精讲》书,所书写的自己的学习笔记。

    凸函数判断

    展开全文
  • 机器学习理论】第4部分 凸函数

    万次阅读 2016-08-23 19:56:39
    凸函数一直是一个头疼的事,并不是凸函数有多难,而是凸函数的定义一直是个模棱两可的概念,为了方便记忆,现在对凸函数及其相关定义进行总结。 凸函数图像:   由函数图像更加清晰地辨别凸函数的形状,然后对定义...

          凸函数一直是一个头疼的事,并不是凸函数有多难,而是凸函数的定义一直是个模棱两可的概念,为了方便记忆,现在对凸函数及其相关定义进行总结。


    凸函数图像

                        这里写图片描述
    由函数图像更加清晰地辨别凸函数的形状,然后对定义的认识才能更加的清晰。


    凸函数定义

          这里写图片描述为函数f(x)定义域内的任意两个实数,且这里写图片描述,恒有
    这里写图片描述,则称f(x) 是定义域上的凸函数。


    凸函数的判定

    f(x) 在区间[a,b]上连续,在(a,b)内二阶可导,那么:
          (1)若f(x)>0,则f(x)是凸的;
          (2)若f(x)<0,则f(x)是凹的。


    凸函数一般性定义

          设f(x)定义在[a,b]上,若对任意的这里写图片描述及任意的这里写图片描述,有这里写图片描述,则f(x)称为[a,b]上的凸函数;
    此时就有:这里写图片描述
    其中:这里写图片描述

    展开全文
  • 凸函数的证明过程
  • 机器学习分类[1]监督学习(SL)包括分类预测、回归分析等。监督学习基于一个训练集(特征1,,特征2,…,特征n,已知目标)训练出一个监督学习算法,去计算仅知道特征的测试集(特征1,特征2,…,特征n,未知目标)未知目标的...
  • (转)机器学习中的损失函数 损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验...
  • 目录1 基本概念2 凸优化问题3 非凸优化问题4 总结 1 基本概念 (1)凸集和非凸集 凸集是一个点集, 这个点集有一个性质, 就是在这个集合任取不同的两个点x和y, 他们之间的...凸函数的几何意义在于,定义域任意两
  • 凸函数 (convex function)  一种函数,函数图像以上的区域为凸集。典型凸函数的形状类似于字母U。 严格凸函数只有一个局部最低点,该点也是全局最低点。经典的 U 形函数都是严格凸函数。不过,有些凸函数(例如...
  • 在很多机器学习算法,都会遇到最优化问题。因为我们机器学习算法,就是要在模型空间找到这样一个模型,使得这个模型在一定范围内具有最优的性能表现。因此,机器学习离不开最优化。然而,对于很多问题,我们并不...
  • 现在我们来学习凸函数相关的知识。如果你没有读过之前的文章,建议从 《第一部分》 开始学习。 1.1 如何找到全局最小值 有一种简单的方法可以找到全局最小值: 找到所有的局部极小值 最小的局部极小...
  • 数学最优化问题的一般表述是求取 x∗∈χx^{*}\in \chix∗∈χ,使 f(x∗)=min{f(x):x∈χ}f(x^{*} )=min\{f(x)...凸优化问题是指χ\chiχ是闭合的凸集且f是χ\chiχ上的凸函数的最优化问题,这两个条件任一不满足...
  • 凸优化和拉格朗日函数 对偶问题和拉格朗日函数: ...重点:在优化问题求假设函数最小值的时候,原函数不是一个凸函数,这时候给它加两个项构造一个拉格朗日函数, 取下确界获得拉格朗日对偶函...
  • 1)函数为可微凸函数,已知某点的函数值,求解该点的的方法 2)算法流程 第一步:令 第二步:计算 第三步:计算 第四步:更新 第五步:重复上述步骤(迭代),直至 2 梯度下降法 1)...
  • 机器学习算法1.有监督学习1.1分类预测(离散值) 1.2回归分析(连续值) 数据集分为:训练集和测试集 训练集包含n个特征(feature)和标签(label) 测试集只有特征没有标签。 任务就是根据测试集预测标签。2.无监督...
  • 机器学习之激活函数

    千次阅读 2018-09-30 11:20:38
    激活函数 目录 激活函数 一、为什么需要激活函数 二、常见的激活函数 1.Sigmoid 2、tanh 3、ReLU 4、Leaky ReLU 5、ELU 6、Maxout 三、如何选择合适的激活函数 一、为什么需要激活函数 神经网络单个...
  • ...凸集与凸函数 ... 沿梯度方向的方向导数是函数变化率最大的地方,此时方向导数的值就是...机器学习里的凸函数是高数里学过的凹函数。 3、 Γ \Gamma Γ 函数 4、斯特林公式 5、泰勒公式
  • f(x)=12xTAx+bTx+cf(x)=\frac{1}{2}x^TAx +b^Tx+cf(x)=21​xTAx+bTx+c 对于任意 A (半正定矩阵) 用二阶凸函数条件证明 • 范数为凸函数 • xTxt\frac {x^T x}{t}txTx​为凸函数(x>=0) 一阶的凸函数条件 First ...
  • 机器学习中和非优化问题

    千次阅读 2019-12-28 19:08:07
    题目(145):机器学习中的优化问题,哪些是优化问题,哪些是非优化问题?请各举一个例子。 - 优化定义 - 优化问题 - 非优化问题 - 优化定义:公式、geometric insight - 优化问题:逻辑回归;...
  • [机器学习篇]机器学习知识总结篇

    万次阅读 热门讨论 2017-03-08 22:36:48
    1、机器学习的数学基础1 - 数学分析 机器学习的一般方法和横向比较 数学是有用的:以SVD为例 ... 凸函数 Jensen不等式 组合数与信息熵的关系 2、机器学习的数学基础2 - 概率论与贝叶斯先验 概率论基础
  • 凸函数、凸规划的定义及学习

    千次阅读 2020-04-22 16:47:43
    早期人们对于图像的研究一般都是先建立坐标系,把图形转换成函数,然后用插值和逼近的数学方法,特别是用样条函数作为工具来分析图形,取得了可喜的成功。然而,这些方法过多地依赖于坐标系的选取,缺乏几何不变性,...
  • 证明p-norm是凸函数

    千次阅读 2021-02-24 09:26:24
    证明p-norm是凸函数 回顾一下 p-norm的定义,为: ∣∣x∣∣p=(∑i=1n∣xi∣p)1/p||x||_p=(\sum_{i=1}^{n}|x_i|^p)^{1/p}∣∣x∣∣p​=(∑i=1n​∣xi​∣p)1/p 结论 首先给出结论:当0<p<10<p<10<p&...
  • 可以看出,该函数是凸函数,求导时能够得到全局最优值。 导函数性质 交叉熵损失函数经常用于分类问题,特别是在神经网络做分类问题时,也经常使用交叉熵作为损失函数,此外,由于交叉熵涉及到计算每个类别的...
  • 什么是凸函数以及如何判断一个函数是否为凸函数凸函数的定义如何判断一个函数是否是凸函数Jensen不等式相关问题 部分内容转载于:https://www.cnblogs.com/always-fight/p/9377554.html 凸函数的定义 1.对于一元函数...
  • 机器学习中的损失函数分析

    万次阅读 多人点赞 2018-12-18 11:23:27
    这里分析讨论了机器学习中分类与回归问题应用的几个经典、简单的损失函数。 在机器学习中,所有的机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程,我们常常把最小化的函数称为损失函数,它主要...
  • 凸函数定义判定和性质简介

    千次阅读 2019-09-27 09:31:13
    给定集合SSS,对任意元素x1x_1x1​,x2x_2x2​属于该集合SSS,若对于任意ϑ∈[0,1]\vartheta\in[0,1]ϑ∈[0,1],有x=ϑx1+(1−ϑ)x2x=\vartheta x_1+(1-\vartheta )x_2x=ϑx1​+(1−ϑ)x2​,xxx也在集合SSS,则集合...
  • 机器学习中简单的非线性回归python代码,亲测有效。。
  • 凸优化学习笔记3(中科大)凸函数

    千次阅读 2020-06-23 16:35:32
    3. 凸函数 3.1 基本性质和例子 3.1.1 定义(凸、凹、严格凸、严格凹) (1)定义1   若函数-f是(严格)凸的,则函数f是(严格)凹的。 (2)定义2(将高维限制在一维来判断) 3.1.2 拓展值延伸 (1)定义 ...
  • 机器学习、深度学习,损失函数的优化问题一般是基于一阶导数梯度下降的。现在,从另一个角度来看,想要让损失函数最小化,这其实是一个最值问题,对应函数的一阶导数 f’(x) = 0。也就是说,如果我们找到了能让 f...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 24,196
精华内容 9,678
关键字:

机器学习中的凸函数