精华内容
下载资源
问答
  • Problem Description PrisonBreak is a popular TV programme in HDU. ACboy likes it very much, and he join a PrisonBreak discussing team called "PBD".Every Tuesday night, a lot of PBDers will contact ...
  • Matlab中已知自变量和因变量,怎么求极大值和极小值? 若diff(y)<0时,sign(diff(y))=-1,要想让y点为极大值,前面diff(y)要大于0,sign(diff(y))=1,也就是前后异号。 第二次diff等于-1-1=-2。因此代码如下,也可...

    Matlab中sign函数:

    在这里插入图片描述

    Matlab中已知自变量和因变量,怎么求极大值和极小值?
    在这里插入图片描述
    若diff(y)<0时,sign(diff(y))=-1,要想让y点为极大值,前面diff(y)要大于0,sign(diff(y))=1,也就是前后异号。
    第二次diff等于-1-1=-2。因此代码可以按照下面两种方法:

    indmax=find(diff(sign(diff(y)))==-2);
    
    indmax=find(diff(sign(diff(y)))<0)+1;
    

    diff(y)可以看作这一点的导数值,大于0递增(记为1),小于0递减(记为-1),等于0表示不增不减,是直线(记为0)。
    在第一次差分diff并sign后,得到的矩阵只有0,-1,1三个值,极大值点应该为-1与1之间(先1后-1),再diff之后等于-1-1=-2。
    由于每diff一次,新生成的量就少了一维,因此要想对应到原函数y中极大值点的索引位置,应该加1。

    下面以一个例子说明问题:
    在这里插入图片描述
    根据上述表格中的原始数据,可以看到,极大值点应该为4,索引位置为4,经diff1、sign、diff2操作后,极大值在diff2的索引位置为3,因此要加1

    对于极小值点,应该是1-(-1)=2,所以检测极小值:

    indmin=find(diff(sign(diff(y)))>0)+1
    
    展开全文
  • Hessian矩阵在求极的应用

    千次阅读 2017-11-05 20:12:28
     我们需要知道一个重要的结论:Hessian矩阵是半正定的,具体的推导不讲,这里主要讲讲怎么理解这个半正定性。  对一元函数f(x)来说,就极值而言,一阶导为0是极值点的必要但不充分条件,一阶导为0且二阶

     最近一段时间算是狠狠地了补了很多数学知识,也发现了数学作为工程中的强大工具能力,无论是在机器学习中推导cost funcktion还是在求解优化问题时,都会用到Hessian矩阵。
    这里写图片描述
     我们需要知道一个重要的结论:Hessian矩阵是半正定的,具体的推导不讲,这里主要讲讲怎么理解这个半正定性。
     对一元函数f(x)来说,就极值而言,一阶导为0是极值点的必要但不充分条件,一阶导为0且二阶导>0是极小值的充要条件。为什么呢,因为有泰勒展开这里写图片描述。如果一阶导为0,二阶导>0,dx不论是多少,f(x)一定不比f(x0)小。
    你把多元函数也泰勒展开,主要区别在于:
    1) 二阶导变成了Hessian。
    2) 以前只要考虑x怎么变,现在还要考虑y怎么变,x和y怎么一起变,头疼了很多。以二元为例,
    这里写图片描述从一元的情况类比过来,如果一阶导为0,是不是极小值完全取决于不同的dx, dy下,能不能做到最后一项一直非负。只有对于任意这里写图片描述,一直大于0的情况,我们才能说这是极小值。如果一直小于0,这就是极大值。如果它一会正一会负,就是鞍点。然后“对于任意,一直>0”这是啥?半正定的定义嘛!它就是这么引出来的,也是我们为什么需要半正定这个概念的原因(之一)。(我们假设函数有一些“良好”的性质,比如连续,可微等。)
    所以我们知道了Hessian矩阵的半正定指的是它在大于0的时候可以判断出该导函数为0的点为极小值点,但是当Hessian矩阵算法它等于0的时候,就没办法判断此点的是否是极值点。
    所以在优化理论中的原始牛顿法及阻尼牛顿法的缺陷就在这里,因为Hessian是半正定的所以,不能保证每次都能收敛到极小值点。

    展开全文
  • 那该怎么求呢?总不能全部统计一下吧,这样太费时费力了。然后你就想到了一个好办法,通过随机抽样,取出100个男生和100个女生,然后统计他们的身高分布,然后用这200个人的身高分布近似代替总体的身高分布。 上面这...

    机器学习中的极大似然估计

    极大似然估计

    这里有一个对极大似然估计较好的理解
    求极大似然函数估计值的一般步骤:
    (1) 写出似然函数;
    (2) 对似然函数取对数,并整理;
    (3) 求导数 ;
    (4) 解似然方程 。

    似然函数:
    在这里插入图片描述
    那么01分类任务中的似然函数是什么呢?
    在这里插入图片描述
    P是概率,y就是对应的二分类的值,因为当y=0的时候这一项就相当于不存在了。

    顾名思义,就是通过最大的可能性估计出最有可能的参数值。

    举个例子,你想要的知道学校的男生和女生的身高分布。你该怎么做呢?首先假设全校同学的身高分布是符合正态分布的。那么,我们就需要知道正态分布的均值和方差。那该怎么求呢?总不能全部统计一下吧,这样太费时费力了。然后你就想到了一个好办法,通过随机抽样,取出100个男生和100个女生,然后统计他们的身高分布,然后用这200个人的身高分布近似代替总体的身高分布。

    上面这就是极大似然估计的思想。下面就来具体解决一下实际过程中的一些问题。

    第一个问题:怎么样抽取200个人?

    在这里插入图片描述
    第二个问题:那为什么就恰好抽到了这200个人呢?

    其实这个问题真正想问的是,我们抽出来的这200个人的身高具有代表性吗?

    当然具有代表性了。。。(不然你让我怎么继续讲下去啊),毕竟只要你够随机,一般是具有代表性的。

    在学校那么学生中,我一抽就抽到这 200 个学生(身高),而不是其他人,那是不是表示在整个学校中,这 200 个人(的身高)出现的概率极大啊,也就是其对应的似然函数极大,即
    在这里插入图片描述
    所以这就是我们要求的极大似然估计量。

    第三个问题:怎么求极大似然函数?
    分别对所有的参数求导呗。

    总结一下:
    极大似然估计你可以把它看作是一个反推。多数情况下我们是根据已知条件来推算结果,而极大似然估计是已经知道了结果,然后寻求使该结果出现的可能性极大的条件,以此作为估计值。
    比如说,

    假如一个学校的学生男女比例为 9:1 (条件),那么你可以推出,你在这个学校里更大可能性遇到的是男生 (结果);

    假如你不知道那女比例,你走在路上,碰到100个人,发现男生就有90个 (结果),这时候你可以推断这个学校的男女比例更有可能为 9:1 (条件),这就是极大似然估计。

    极大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,通过若干次试验,观察其结果,利用结果推出参数的大概值。

    极大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率极大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。

    机器学习中的极大似然估计

    看到上面的总结是不是以为结束了。。。我们的题目是机器学习中的极大似然估计,上面根本和机器学习没有任何关系啊。下面才是我们要讲的重点。

    首先复习一下求极大似然函数的一般步骤:
    (1)写出似然函数;

    (2)对似然函数取对数,并整理;

    (3)求导数,令导数为 0,得到似然方程;

    (4)解似然方程,得到的参数。

    应用一
    回归问题中的极小化平方和:

    在这里插入图片描述
    在这里插入图片描述
    结论:极大化似然函数和最初的最小二乘损失函数的估计结果是等价的。但是要注意这两者只是恰好有着相同的表达结果,原理和出发点完全不同。

    应用二:分类问题中极小化交叉熵 (极小化代价函数)

    在这里插入图片描述
    在上面的基础上稍微进行一定的变换。
    添加一项与参数θ完全无关的项。
    在这里插入图片描述
    上式方括号内就是KL散度,所以如果直建模了条件概率,极大似然估计也等同于最小化KL散度等价。

    结论:交叉熵和KL散度的本质就是似然函数的极大化。

    展开全文
  • 一:极大似然 1:概念引入 极大似然参数估计是概率论中学习过的内容,就是预先定义概率分布模型,根据一堆的同概率分布的一堆样本数据去估计该概率模型中的未知参数。 举个例子:有很多西瓜x,我们可以得到每一个...

    一:极大似然
    1:概念引入
    极大似然参数估计是概率论中学习过的内容,就是预先定义概率分布模型,根据一堆的同概率分布的一堆样本数据去估计该概率模型中的未知参数。

    举个例子:有很多西瓜x,我们可以得到每一个西瓜的体积数值,每一个样本就是一个西瓜,每个西瓜是一个N维参数向量表示,为了简单起见我们先只用体积参数来叙述。
    这样一来,我们能够对这一一堆西瓜做一个概率分布统计,假如西瓜的体积服从高斯分布的话,就是
    在这里插入图片描述
    在这里插入图片描述

    5:怎么最大化求参数呢?
    答案就是求偏导数,对每个位置参数求偏导,偏导数为0,即可得到相应的参数值。

    6:总结一下运算过程
    写出似然函数,整个得根据提前设定的模型来写。
    对似然函数取对数,并整理,并且期望最大化。
    对每个参数求偏导数,令偏导数为 0,得到似然方程
    解似然方程,得到的参数

    7:极大似然的用途
    之前我们再学习Logistic Regression的时候,就推导过,逻辑回归的优化函数其实就是极大似然函数的相反数,J(θ)=-H(θ),这里不再推导。

    二:EM算法

    1:问题描述
    我们最常见的问题可能没有上述那么简单,我们这一对西瓜可能是不同品种的,也就是不同类别的,一个可能是来自新疆吐鲁番的,一个可能是来自黄土高原的,甚至是来自海南岛的,他们的类别不同,所服从的概率分布可能也不同,可能分别服从于
    在这里插入图片描述

    也就是说我们不能统一估计他们的概率分布,得想办法知道他们的种类,同种类同类别的次啊能遵从相同的分布。假设我们还是有一堆的西瓜X={x_1,x_2,x_3,x_…,x_n},且个数是N,但是我们只是知道它们有M个品种,但是具体哪个是哪个的品种我们无法得知。且他们分别服从各自的高斯模型分布。

    2:问题引入
    我们如果知道了哪个西瓜是哪个类别,那么我们就能把同类别的放在一起,利用极大似然估计进行模型估计了,这样我们就能得到同类别的分布模型,方后续的工作。

    问题就是我们如何知道哪个西瓜属于哪个类别呢?我们可以根据模型计算出一个概率,比如三个类别的高斯分布下,计算处各自类别的概率,哪个概率大就最可能属于某个类别。我们都知道,高斯模型,概率越大,越接近平均值,越靠近数据分布的中心,越有可能属于这个分布对应的类别。相反概率越小,越远离数据分布的中心,可能就是越不属于这个分布对应的类别。那么就得先估计出各自模型参数来。

    那么问题来了,我们需要得知模型得先直到参数,得知道参数得先搞清楚类别。

    以上描述就是有一个先有鸡还是先有蛋的矛盾了,知道了类别可以估算出概率模型,知道了概率模型可以去得出样本的类别归属。

    3:EM算法
    为了解决上述的矛盾,EM算法提出一个类似于 k-means的算法计算流程,流程如下:
    1)先给出一共有多少类别,给每个类别预先估计出各自的参数值
    2)将所有样本分别利用各个类别对应的概率模型进行计算,将样本归属于概率最大的那个概率模型对应的样本类别。
    3)得到一轮分类后,利用极大似然重新计算各个类别对应的模型参数。
    4)重复步骤二,直到类别不再发生变化。

    4:k-means
    这个很像k-means算法,这里啰嗦一下,给出k-means算法的过程
    1)给出一共多少个类别,预先鱼变给出几个类别的质心。
    2)将所有样本分别计算与各个质心的距离,找到距离最近的质心,就归属于该质心对应的类别
    3)得到一轮分类后,重新计算类别之间的质心
    4)重复步骤二,直到类别不再发生变化。

    5:EM算法总结
    因此EM算法和k-means很相似,k-means算法通过样本之间的距离来衡量样本和各个类别的相似度,将样本归属到距离最小的质心对应的类别,EM算法则是根据各个类别的概率模型计算的概率值来衡量样本到各个类别的相似度,将样本归属到概率最大的模型对应的类别。

    如果每个样本都是多维度的数据,不仅仅是一个维度的话,那么每一个维度都需要建立一个概率分布,各个维度的概率相乘,即是这个点属于该模型的概率,或者说是和该模型的相似程度。这一点在异常值检测那一篇里面有讲过。

    展开全文
  • 极大似然 ...问题来了,怎么求一个合理的p呢 L表示A出现的概率为p的情况下,进行50次实验,各种情况的概率。 这个很好理解,假如出现20次A,30次B,则x1+x2+...+x50=20,出现为1,不出现为0,所以...
  • 给你一个平面上的n个点,有白点与黑点,问你怎么插入一个隔板使得隔板左右的黑白点数相加最大。 思路 我们让隔板至少经过两个点,因为隔壁上的点属于左右两边的点,所以我们可以这么操作。我们枚举每个点,对于...
  • 要编写一个数据统计的页面 包括: 设备名,ip地址(取自s表) 端口名(取自r表) 策略名,流量方向(取自q表)...因为还有平均数的步骤所以不知道该怎么安排这个顺序了。还请教一下大家要怎么办 我觉得我写的太乱了
  • poj2079(*凸包内最大三角形面积)

    千次阅读 2017-02-25 16:41:51
    /* translation: 给出一组点,从这些点里面选择三个... * 如果固定一条边的话,那么枚举剩下的一个点,在枚举过程中面积肯定有达到极大值后又减小。根据这一特性,可以先固定 一点i,然后让另外两点a,b不断旋转来找
  • ![图片说明]...如图中的函数,A和B是常数数列,x范围为[-0.35,0.35],需要求函数y1的极大值和极小值,问matlab应该怎么实现? 以及怎么把y1中求和部分拆开成 x(1), x(2) …… x(n)的形式表示。
  • 自己是统计出身的我,一直很有自信,以为无非就是个极大似然估计,那个似然函数的极大值而已。然而实际上,这个之中也有很多的说法在里面,比如,参数的方法。 在逻辑回归中,我们极大似然估计的参数是可以...
  • 记得上小学的时候,老师让很多数中的最大数,肯定有最大值,感觉很棒,知道西瓜,芝麻之大小,很清晰明确,自己最需要什么;...上大学时,学的微积分,函数的极小值,极大值,再最小值,最大值也是能找到的...
  • 笔记_第七章_07

    2018-08-06 15:32:00
    用样本总体分布中的位置参数(如:方差,均差等)...参考文章“怎么通俗得到理解“极大似然法 无偏性,有效性和相和性 参考文章 传送门 区间估计 文章 传送门 2018-08-06 转载于:https://www.cnblogs....
  • 极大值抑制NMS,过滤掉不是那么角的 OpenCV中怎么检测Harris cv2.cornerHarris() img: 数据类型为 float32 的入图像 blockSize: 角点检测中指定区域的大小,前面提到的w(u,v),可能是个高斯函数 ksize: 就像Sobel...
  • 文章标题

    2016-09-25 11:30:09
    有人看到“二分答案”这个... 事实上,当你看到找极大值中的最小值或者极小值中的最大值的题目时,二分答案或许是一个不错的选择。根据数据范围判断是否选用二分(二分能把时间复杂度降到log n),再和上文所说的条件
  • 的是最小运输费用和对大运输费用,所以这道题是一个最小(大)费用最大流,所以s和所有仓库相连,流为ai,费用为0,将t与所有商店相连,流为bj,费用为0,再将仓库和商店相连,流为inf((极大值)费用为c[i...
  •  如果固定一条边的话,那么枚举剩下的一个点,在枚举过程中面积肯定有达到极大值后又减小。根据这一特性,可以先固定 一点i,然后让另外两点a,b不断旋转来找三角形面积最大值(a,b事先设定...
  • 问题就是怎么求删掉这条链后的极大子树的DP。 大力数据结构可以重链剖分后在每个点上存下轻儿子的DP之和,然后往上跳重链,每次加上这条重链上存的(单点修改区间求和),减去上一次跳上来的轻儿子,加上当前...
  • 腾讯笔试题

    2017-12-26 15:03:27
    第1题 定积分结果∫101dx 答案:1 第2题 已知总标准差=25,随着样本增加均值怎么变化。 第3题 已知K是第四名,A的年龄不是最大但比D... 答案:D>B>A>K 第4题 y=sin(x)+cos(x)的极大值 答案:2√第5题 max={Cx | Ax=0
  • 3,找出边缘上的穿越点,并进行非极大值抑制 4 ,使用染色算法,搞定 今天分享一下用sobel增强边缘的心得体会:(参考前面的sobel博文) 同一幅图: 很是吃惊吧,怎么会出现这种情况?边缘不明显! 其实...
  • 对于线性模型来说,无论是Logistic Regression、SVM或是简单的线性模型,都有一个基函数 ϕ()ϕ(),其中有很多 ww (参数)需要通过对损失函数 E()E() 求极(或最大似然估计)来确定,的过程,也就是使用...
  • 黄金分割法与Fibonacci法

    千次阅读 2016-04-15 20:10:27
    属于的一维搜索方法中的试探法,方式也是很简单那就是在值域[a,b][a, b]内选取两个点,通过两个值的函数值来缩小值域的取值范围下面我们来看一下用两种方法,怎么求出函数在区间[0,1][0,1]内的极大值点,容许误差为...
  • 二分答案

    2010-08-06 06:21:00
     事实上,当你看到找极大值中的最小值或者极小值中的最大值的题目时,二分答案或许是一个不错的选择。根据数据范围判断是否选用二分(二分能把时间复杂度降到log n),再和上文所说的条件结合,一般就不会...
  • 心得体会

    2019-05-05 10:15:51
    在深度学习时 遇到一个问题,不应该是直接去考虑怎么解决这个问题,而是应该去想这个问题比最基本的问题来说有哪些先验知识。 比如在图像识别和字体识别时,在遇到字体识别时,...我们需要去这个似然函数的是最...
  • 所谓的最终腐蚀并不是把图像不断腐蚀直到一片黑为止,那样还有什么意思呢。 最终腐蚀的意思是连续腐蚀过程中...最终腐蚀的通常算法会先对原图像使用距离变换,然后区域极大值。不过这种方法怎么说呢,速度倒是...
  • 一、Logistic回归损失函数的极大似然推导:西瓜书公式3.27怎么推来的? 二、Logistic回归损失函数的最优化算法:什么是牛顿法、拟牛顿法? 答: 牛顿法 假设我们下面函数的最小值: 假设f(x)具有连续的二阶的...

空空如也

空空如也

1 2 3 4
收藏数 70
精华内容 28
关键字:

极大值怎么求