精华内容
下载资源
问答
  • 为什么编译系统可以执行出来蓝桥杯系统测评结果错误 答案在vc++中可以运行出样例给出的结果 求解 (初学者第一次尝试蓝桥杯 见笑啦) 原题如下 输入包含一个整数r,表示圆的半径。 输出格式 输出一行,...
  • 第一次听到这个问题,大概大脑停顿了片刻,...这数学公式推导出来的——最大熵模型! 证明Logistic回归激活函数为什么是Sigmoid?假设我们已经证明: 最大熵模型中,条件概率   其中,wi参数,f为特征函数(...

    第一次听到这个问题,大概大脑停顿了片刻,这是个问题吗?因为sigmoid值在0-1之间符合概率分布,处处可导,关键是在0附近变化很快...这些都只是sigmoid的优点。为什么LR不用别的也具有这些优点的激活函数呢?这是数学公式推导出来的——最大熵模型!

    证明Logistic回归激活函数为什么是Sigmoid?假设我们已经证明:

    最大熵模型中,条件概率

     P_{w}(y|x)=\frac{1}{Z_{w}}exp(\sum_{i=1}^{n}w_{i}f_{i}(x,y))))

    其中\frac{1}{Z_{w}}=\sum_{y} exp(\sum_{i=1}^{n}w_{i}f_{i}(x,y))),wi是参数,f为特征函数(x,y满足某一条件为1,不满足为0),是不是很像softmax?

    假设LR可以使用最大熵模型这个结论,fi选取为线性的,即fi用x+b替代,则

    P_{w}(1|x)=\frac{exp(w_{1}(x+b))}{exp(w_{1}(x+b)))+exp(w_{0}(x+b))}

    \fn_cm P_{w}(1|x)=\frac{1}{1+exp((w_{0}-w_{1})(x+b))} 

    那么LR能否用最大熵模型的结论?接下来一探究竟---最大熵模型和最大熵模型的证明。

    最大熵模型:对一批数据,我们可以采用很多模型,在满足所有约束条件下,我们选择条件熵最大的模型(条件熵最大的模型我们叫最大熵模型,为啥最大?就好比鸡蛋不能放在一个篮子里面)。什么是条件熵?先说一下熵,表示信息的不确定性,不确定性越大,熵越大,熵也是概率的函数,定义为

    H(P)=-\sum_{x} P(x)logP(x)

    那为什么选择条件熵而不是熵?这不废话吗,因为我们是根据数据(即输入特征)预测输出的,也就是已经给定你条件x了,诺如LR中的P(y|x)。那这个条件熵怎么求呢?可不可以套用公式

    H(P(Y|X))=-\sum_{x} P(y|x)logP(y|x)

    答案是不可以,一知半解中...我按照书上的理解是:

    H(Y|X=x)变量Y在变量X取特定值x下的熵,H(Y|X)是取遍所有可能的x值的平均,所以

    H(P(Y|X))=-\sum_{x} P(x)H(Y|X=x) =-\sum_{x} P(x)\sum_{y} P(y|x)logP(y|x) =-\sum_{x}\sum_{y} P(x)P(y|x)logP(y|x)

    模型的最大熵公式确定,但同时模型还要满足一些约束,如抛硬币,硬币反面出现的概率要小于正面,因为我硬币正面放了个磁铁。这些约束可用特征函数f(x,y)表示:

    f(x,y)当x、y满足某一事实为1,否则为0(有人认为特征函数表示数据为训练集中的数,有点点偏,其实是表示约束)

    我们希望这些约束不仅在训练集上成立,还能在模型当中也是成立的,即它的期望在训练集上和在整个模型中是相等的。因为这个模型本质上就是  概率分布p(y|x)。因此,提出约束征函数f关于经验概率\widetilde{P}(x,y)的期望,用E_{\widetilde{P}}(f)表示:

    E_{\widetilde{P}}(f)=\sum _{x} \sum _{y} \widetilde{P}(x,y)f(x,y)

    特征函数f关于模型P(Y|X)与经验概率\widetilde{P}(X)(其实是P(X),这里用经验概率近似)的期望,用E_{P}(f)表示:

    E_{P}(f)=\sum _{x} \sum _{y} \widetilde{P}(x)P(y|x)f(x,y)

    所以:

    E_{P}(f) = E_{\widetilde{P}}(f)

    把条件熵也用经验概率\widetilde{P}(X)替代P(X):

    H(P(Y|X))=-\sum_{x}\sum_{y} \widetilde{P}(x)P(y|x)logP(y|x)

    s.t.   E_{P}(fi)=E_{\widetilde{P}}(fi), i=1,2,..,n    (n个约束)

           \sum _{y}P(y|x)=1

    接下来是优化环节,最大熵的模型等价于约束最优化问题:

    min -H(P(Y|X))=\sum_{x}\sum_{y} \widetilde{P}(x)P(y|x)logP(y|x)

    E_{P}(fi)-E_{\widetilde{P}}(fi)=0, i=1,2,..,n

    \sum _{y}P(y|x)-1=0

    引入拉格朗日乘子,定义拉格朗日函数为: 

    L(P,w) =\sum_{x}\sum_{y} \widetilde{P}(x)P(y|x)logP(y|x)+w_{0}(1-\sum _{y}P(y|x))+\sum_{i=1}^{n}w_{i}(E_{P}(fi)-E_{\widetilde{P}}(fi))

    =\sum_{x}\sum_{y} \widetilde{P}(x)P(y|x)logP(y|x)+w_{0}(1-\sum _{y}P(y|x))+\sum_{i=1}^{n}w_{i}( \sum_{x,y}\widetilde{P}(x,y)fi(x,y) - \sum_{x,y}\widetilde{P}(x)P(y|x)fi(x,y) )

    最优化原始问题  min_{P}max_{w}L(P,w)——>对偶问题max_{w}min_{P}L(P,w)

    求L(P,w)最优解,求导,对P(y|x)求导

    \frac{\partial P(P,w)}{\partial P(y|x)}=\sum _{x,y}(log(P(y|x))+1)-\sum _{y}w_{0}+\sum_{i=1}^{n}w_{i}(\widetilde{P}(X)\sum _{x,y}fi(x,y)))

    =\sum _{x,y}\widetilde{P}(X)(log(P(y|x))+1-w_{0}+\sum_{i=1}^{n}w_{i}fi(x,y)))

    这里介绍一下为什么整理了一下公式w0还是w0,实际上对w0做了缩放,但w0本来就是变量,为了表达方便就还是用w0表示。

    导数为0,可得最终条件概率模型:

    P(y|x)=\frac{exp(\sum_{i=1}^{n}w_{i}fi(x,y))}{exp(1-w_{0})}

    但注意,\sum_{y}P(y|x)=1

    P_{w}(y|x)=\frac{exp(\sum_{i=1}^{n}w_{i}fi(x,y))}{Z_{w}}

    Z_{w}=\sum _{y}exp(\sum_{i=1}^{n}w_{i}fi(x,y))

    所以证明了最大熵模型的条件概率表达式。接下来可用梯度下降法去优化模型(即学习)

    等等,还有一个问题,LR可以用最大熵模型吗?当然LR是假设伯努利分布(区别泊松),这是一个概率模型,而最大熵就是用在概率模型上,所以可以用最大熵模型。当然,西瓜书老师是这么引入LR的,这只是引入,而非为什么用sigmoid函数。

    假设为1的概率是p,即P(1|x)=p,P(0|x)=1-p,然后预测值为概率大一点的值,定义一个odds,叫对偶几率:

    log(p/(1-p)),当p>1-p,则说明类别是1,此时p/(1-p)>1,那么log(p/(1-p))>0,而sigmoid就是正数标签1,负数标签0。

    所以对偶几率就很有意义啦,然后令它等于wx+b,最后可导出p=1/(1+exp^(wx+b))。

    展开全文
  • EXCEL函数公式

    热门讨论 2010-03-16 03:26:38
    数据区包含某一字符的项的总和,该用什么公式 函数如何实现分组编码 【数值取整及进位】 取整数函数 数值取整 求余数的函数 四舍五入公式 对数字进行四舍五入 如何实现“见分进元” 四舍五入 如何四舍五入取两位小数 ...
  • 用户检测到电流,就可以知道现在的油压多少,比如检测到4毫安电流,就表示0MPa,检测到20毫安,就是1MPa,检测到其它值,也可以算出来(不会算?数学等比公式而已,确实不会算的话,你就可以改行了)。 ...

    工业传感器,都喜欢使用4到20mA的输出表示一定的量,比如下面这个“油压传感器”,输出4到20mA来表示0~1MPa的压强。用户检测到电流,就可以知道现在的油压是多少,比如检测到4毫安电流,就表示0MPa,检测到20毫安,就是1MPa,检测到其它值,也可以算出来(不会算?数学等比公式而已,确实不会算的话,你就可以改行了)。

    4到20毫安电流2

    不仅是油压传感器,还有很多的传感器,都采用这个4到20mA的输出标准,不仅在国内,整个地球都是这样。

    为什么最低点选择4毫安,而不是0毫安?

    因为当我们检测到0毫安的时候,不知道是传感器坏了,还是没有上电,或者其它的问题引起的。

    为什么最高点选择20毫安,而不是更高的值?

    因为大于20毫安,容易引起某些敏感的东西爆炸。

    为什么选用电流传输?

    因为电流信号不容易受干扰,电流源的内阻很大,这就保证了即使你的传输导线有电阻,也不会影响到输出值,大大的加大了传输距离,可以到上百米。

    展开全文
  • 数据区包含某一字符的项的总和,该用什么公式 函数如何实现分组编码 【数值取整及进位】 取整数函数 数值取整 求余数的函数 四舍五入公式 对数字进行四舍五入 如何实现“见分进元” 四舍五入 如何四舍五入取两位小数 ...
  • 用户检测到电流,就可以知道现在的油压多少,比如检测到4毫安电流,就表示0MPa,检测到20毫安,就是1MPa,检测到其它值,也可以算出来(不会算?数学等比公式而已,确实不会算的话,你就可以改行了)。 不仅...

    工业传感器,都喜欢使用4到20mA的输出表示一定的量,比如下面这个“油压传感器”,输出4到20mA来表示0~1MPa的压强。用户检测到电流,就可以知道现在的油压是多少,比如检测到4毫安电流,就表示0MPa,检测到20毫安,就是1MPa,检测到其它值,也可以算出来(不会算?数学等比公式而已,确实不会算的话,你就可以改行了)。

    4到20毫安电流2

    不仅是油压传感器,还有很多的传感器,都采用这个4到20mA的输出标准,不仅在国内,整个地球都是这样。

    为什么最低点选择4毫安,而不是0毫安?

    因为当我们检测到0毫安的时候,不知道是传感器坏了,还是没有上电,或者其它的问题引起的。

    为什么最高点选择20毫安,而不是更高的值?

    因为大于20毫安,容易引起某些敏感的东西爆炸。

    为什么选用电流传输?

    因为电流信号不容易受干扰,电流源的内阻很大这就保证了即使你的传输导线有电阻,也不会影响到输出值,大大的加大了传输距离,可以到上百米。

    转载于:https://www.cnblogs.com/liang2713020/p/5501183.html

    展开全文
  • 是错误值,那你知道他们都是什么含义吗?不知道的赶紧来看。 一、【#DIV/0】 错误原因:公式中有除数为0或者除数空的单元格。 解决方法:更正除数为0或者除数空的单元格。 二、【#N/A】 错误原因:公式中引用了...

    在职场办公中,很多朋友都会遇到这样的情况,明明自己输入的是正确的公式,但显示出来的数值却

    是错误值,那你知道他们都是什么含义吗?不知道的赶紧来看。

    一、【#DIV/0】

    错误原因:公式中有除数为0或者除数为空的单元格。

    解决方法:更正除数为0或者除数为空的单元格。

    在这里插入图片描述

    二、【#N/A】

    错误原因:公式中引用了不正确的数据源或数据源不可用。

    解决方法:重新引用正确的数据源。

    在这里插入图片描述

    三、【#REF!】

    错误原因:公式中引用了无效的单元格。

    解决方法:更正公式中的单元格区域。

    在这里插入图片描述

    四、【#NAME?】

    错误原因:单元格公式中的函数名称有错误。

    解决方法:更正单元格的函数名称。

    在这里插入图片描述
    五、【#NULL!】

    错误原因:单元格公式中使用了不正确的运算符。

    解决方法:更正单元格公式中的运算符。

    在这里插入图片描述

    六、【#NUM!】

    错误原因:单元格公式中引用了无效的参数。

    解决方法:更正单元格公式中的无效参数。

    在这里插入图片描述
    今天的分享就到这里了,还不知道这些错误值的是什么含义吗?不会的赶紧收藏一份。

    展开全文
  • 某数阶乘的尾数0的个数

    千次阅读 2016-04-15 13:01:35
    大数的阶乘后尾0的个数,求0的个数,让我们想到0就是由2,5的乘积组成,这里我为什么没有把10,100~~~等等,都出来而只单单说只是2,和5的乘积呢,我们先回忆一下,唯一分解定理。 2;唯一分解定理, 概念;任意一个...
  • 变上限积分求导的原理

    千次阅读 多人点赞 2020-07-28 18:42:22
    然而这种方法一看就是错误的,因为f(0)一个常数,如果这样正确的,那么F就变成一次函数了,而事实上我们这里的f什么不知道,怎么可能就把F的类型判断出来了呢? 那么有人就会疑惑了,为什么这个函数...
  • E题说是数学题,只能说是个高中数学题,H题明明按题意做就行不知为什么大家WA,可能卡到了什么细节。 E 这一个数学题 解析: 对公式两边的阶乘化简的到公式:Ai=A0*(n-i)/n+An/n; 题...
  • 这个题目关键最小的熔池单位应该设为什么,如果设每行每列至少有一个一的一种情况为最小单位A(i),然后求他们的并集的话,那么不同情况之间的交集的大小有一定的规律,但是难以用表达式写出来,如果设某一行或某一...
  • 纠正后的方差

    2020-09-03 14:32:41
    那么为什么最后推导出来公式是1/n-1而不是1/n呢?仔细观察上面的推导过程就可以发现,如果想要最后结果1/n那么需要在这里插入图片描述,可是它虽然将方差缩小了n倍,可他依然存在的,除非总体标准差等于0,那...
  • 课程内容: 今天我们讲解了由名字逆向回结构,发现找到的并不是我们想要的技能结构而是技能信息结构,为什么会找到这样的一个结构,而不是技能结构呢?这这节课留给大家的作业,请大家好好思考一下! 044 -技能结构的...
  • 批量归一化 ...为什么 批量归一化有利于让训练出来的模型更加稳定。 因为数值的不稳定会影响训练出来的模型的好坏。 公式 在什么时候用 1.卷积层之后。 2.全连接层之后。 3.预测之前。 代码实现 对于 ...
  • 身份证号码的组成

    2019-10-02 05:08:20
    一般身份证最后一位都是数字,为什么还会出现字母X呢?原因就是居民身份证号码是按照国家标准编制的,由18位组成,?第18位立为校验码。?校验码是由号码编制单位按统-?-的公式计算出来的,如果某人的尾号是0-9,都...
  • 关于WA: 大白上说不平行或重合就异面...关于异面直线公式错了:我没用大白上的代码,看不懂,算出来答案也错的,不知道为什么。。。自己的算法就是用二维的点到线段距离模板,错了,也不知道为什么。。。最好只好
  • verilog 中关于负数的理解

    千次阅读 2020-12-03 00:22:29
    首先要说的,二进制中关于一个负数,它的补码应该本身按位取反加1就可以得到,这个公式学过数字电路的人知道,但是为什么按位取反加1就可以得到这个负数的补码?可能很多人不知道。 那么,我们就来搞清楚它...
  • 前面详细介绍了两个特性给大家感受下为什么要重视特性。框架的特性太多不能每一个详细介绍ÿ0c;下面列出一些大家比较熟悉的通用特性: <ul><li>路由</li><li>状态和数据流管理</li><li>CLI工具</li><li>...
  • 1.0.5 为什么大多数图像处理算法都参照灰度图像进行,而实际中遇到的都是彩色图像? 2 1.0.6 一幅数字图像是如何形成的? 2 1.0.7 如果一个传感器对应物理世界中的一个小片,如何能让多个传感器对应场景中的同一...
  • hdu1165 规律递推

    2015-02-13 22:07:00
    并不知道为什么被杭电分类塞进了dp专题,但是我一开始显然看到这个题就觉得给那个公式用函数递归一下答案肯定能出来了,只不过既然放在了dp专题里面估计这样暴力求解会TLE的吧(的当时我还天真的以为真的dp```)...
  • 21.2.7总结

    千次阅读 2021-02-07 22:20:18
    下午听完讲题我又明白一个道理,为什么明明学过的东西考场想不出正解呢,因为就像今天的凸包摆在我面前了我还是看不出来。giao,所以吧,学好贪心很重要(这不还有十分吗)。 下午讲了题晚上要留时间想明天的杂题...
  • 然后我们需要把计算出来的值再通过一个公式算一遍ÿ0c;这里的 | 0</code> 作用取整数ÿ0c;也就是说 <code>11 / 10 | 0 = 1</code></p> <p><img alt="" src=...

空空如也

空空如也

1 2 3 4 5
收藏数 100
精华内容 40
关键字:

为什么公式出来都是0