-
为什么sigmoid激活函数,使用交叉熵损失函数更好。详细推导过程:
2019-08-13 16:00:55sigmoid+交叉熵为什么更好,这是困扰了我大半天的问题,网上所有的教程都直接给出了最后一部的结果,我手推了好久,终于醒悟,下面附上详细的推导过程: 首先,我们定义并简化一下公式: [a=\sum_{i=0}^{N} ( Wx^{...sigmoid+交叉熵为什么更好,这是困扰了我大半天的问题,网上所有的教程都直接给出了最后一步的结果,我手推了好久,终于醒悟,下面附上详细的推导过程:
我们定义并简化一下公式:
1、网络的最后一层输出为:其中W为权重,b为偏置,严格来说里面的参数都是矩阵,不过我们计算就当作单独的参数,过程是一样的。
2、我们需要在输出后面加上sigmoid损失函数:
3、上式的a就是我们最终的输出值,与期望的输出值y,也就是真实值,共同计算损失函数。这里我们使用交叉熵损失函数:
好了,这就是正向传播的一个输出,我们目的是反向传播得到W和b的梯度,由于 ,,所以我们就直接求。
首先,把z代入最后的损失函数里面,式中g(z)就是sigmoid激活函数:
对z求偏导:
里面两项合并:
展开,合并之后,得到:
之前推到这一步,就进展不下去了。但是sigmoid还有一个重要的性质,那就是sigmoid函数的导数,,我们这里的g(z)函数就是Sigmoid,仔细看一下,这个式子的分母,
所以最后得到的公式为:
使用sigmoid+交叉熵的计算过程,就可以完全省去计算Sigmoid梯度这一步,从而避免了Sigmoid本身弥散的致命缺点。 -
tensorflow的损失函数为什么要用均方差,用方差就不行了呢
2020-05-28 14:49:21为啥用sum就得不到结果呢,用mean就可以。不理解 import tensorflow.compat.v1 as tf import numpy as np # 使用 NumPy 生成假数据(phony data), 总共 100 个点. x_data = np.float32(np.random.rand(2, 100)) # ...损失函数求最小,求方差的最小,和求均方差的最小应该都是一个作用吧。为啥用sum就得不到结果呢,用mean就可以。不理解 import tensorflow.compat.v1 as tf import numpy as np # 使用 NumPy 生成假数据(phony data), 总共 100 个点. x_data = np.float32(np.random.rand(2, 100)) # 随机输入 y_data = np.dot([0.100, 0.200], x_data) + 0.300 # 构造一个线性模型 # b = tf.Variable(tf.zeros([1])) W = tf.Variable(tf.random.uniform([1, 2], -1.0, 1.0)) y = tf.matmul(W, x_data) + b # 最小化方差 loss = tf.reduce_mean(tf.square(y - y_data)) #这里,为什么用mean呢,用sum就出不来结果,得到很多[nan] optimizer = tf.train.GradientDescentOptimizer(0.2) train = optimizer.minimize(loss) # 初始化变量 init = tf.global_variables_initializer() # 启动图 (graph) sess = tf.Session() sess.run(init) # 拟合平面 for step in range(0, 201): sess.run(train) if step % 20 == 0: print(step, sess.run(W), sess.run(b))
-
使用yamlip求解,出现了inf是为什么?该怎么修改呢?
2019-10-29 09:56:58下面的是所编辑的代码的文字版,上传的第一张图片是代码的图片,第二张图片是出现的问题 %%设置决策变量 Ut=binvar(24,1,'full'); Un=binvar(24,1,'full'); ich=binvar(24,1,'full'); idis=binvar(24,1,'full... -
使用scipy.optimize做二次优化时,为什么有时候不进行迭代?
2021-01-16 13:51:09其他情况的结果全都是w0初始值[1/8,1/8,1/8,1/8,1/4,1/4]。</code></pre> 三、备注 1.大佬的代码用的是4个资产ÿ0c;我稍作修改ÿ0c;适用于6个资产ÿ0c;不知道算不算抄袭?如果是的话ÿ0c;请... -
关于数据库查询结果ResultSet判断是否为空的小知识点
2017-02-17 18:07:23数据库查询数据,在使用聚集函数时,代码中执行之后即使没有数据,rs中也会有数据,注:在数据库中执行该sql时是没有数据的,不知道为什么在java代码中会有,我当时使用的聚集函数是sum(),没有数据的部分都显示为0,...数据库查询数据,在使用聚集函数时,代码中执行之后即使没有数据,rs中也会有数据,注:在数据库中执行该sql时是没有数据的,不知道为什么在java代码中会有,我当时使用的聚集函数是sum(),没有数据的部分都显示为0,也就是有了数据。所以用rs.next()判断时就一直为真,导致程序运行出错。 -
在不同电脑上使用julia JUMP求解优化问题结果不同?
2019-05-08 12:16:49我用julia JUMP求解微电网中的机组组合问题(本质上是一个混合整数线性规划问题),调用CPLEX解法器,优化出的结果(储能功率)有时候会出现无意义的锯齿波,分析目标函数和约束条件,这样的结果是不应该出现的。... -
Excel公式与函数大辞典.宋翔(带书签高清文字版).pdf
2019-03-02 08:33:511.3.1 为什么使用函数 14 1.3.2 函数的类型 14 1.3.3 函数的参数 15 1.3.4 在公式中输入函数 16 1.4 在公式中使用名称 18 1.4.1 名称的作用范围 19 1.4.2 命名区域 19 1.4.3 命名公式 20 1.4.4 命名常量 21... -
如何在一个XLL+ 程序中call另外一个XLL+中的函数
2013-12-17 13:21:03我已经编好并运行成功了一个XLL+ user defined function,函数为sum1,在excel中加入这个add in以后,可以用sum1函数进行运算。现在我开始编写另外一个XLL,e.g.sum2,而在sum2程序中我想直接call sum1函数,然后由于... -
请各位老手帮我看看我的代码有什么问题,为什么编译通过了但是运行有错误。
2017-09-06 10:49:41做的数据结构课程设计,中缀算术表达式求值但是课程还没有学,参考书上代码编的。 代码如下: #include #include #include ... printf("表达式的计算结果是:%d\n",result); return 0; } ``` ``` -
async/await的使用
2020-06-21 10:44:04为什么要用async/await 单纯地使用promise对象+then的形式顺序执行,代码使用起来并不优雅,需要一种更接近传统语法的形式 异步请求axios的API都是返回的promise对象 基本用法 async 关键字用于函数上(async函数...为什么要用async/await
- 单纯地使用promise对象+then的形式顺序执行,代码使用起来并不优雅,需要一种更接近传统语法的形式
- 异步请求axios的API都是返回的promise对象
基本用法
- async 关键字用于函数上(async函数的返回值是Promise实例对象所以要用then得到返回值)
- await 关键字用于async函数当中,接在promise对象前面可以得到reslove或者reject的结果
var sum=0 function time(num){ return new Promise(function (resolve, reject) { setTimeout(function () { sum=sum+num resolve(sum) }, 1000); }) } async function test() { var num1 = await time(2) var num2 = await time(num1) var num3 = await time(num2) console.log(num3); } test() // 结果 // 8
- 可以看到通过await可以不用then直接的得到Promise对象resolve的结果
- 同时代码是从上往下执行更符合传统的语法更优雅
- 如果想要得到async函数return的结果
var sum=0 function time(num){ return new Promise(function (resolve, reject) { setTimeout(function () { sum=sum+num resolve(sum) }, 1000); }) } async function test() { var num1 = await time(2) var num2 = await time(num1) var num3 = await time(num2) return num3 } console.log(test()); // 结果 // Promise {<pending>}
- 可以看到打印还是promise对象,所以要用then得到结果
test().then(function(res){ console.log(res); }) // 结果 // 8
总结
- async/await更像是promise对象的语法糖
-
naddary一维数组使用reshape设置为一位数组后无法使用@运算符
2020-07-31 00:40:14Use a.any() <span class="hljs-keyword">or</span> a.all(),请问是为什么,有什么解决办法吗,我目前只能够在函数里面单独处理要调用的参数当做局部变量保持维度一致,一旦在函数外面当做全局变量设置维度一致的... -
excel的使用
2012-11-25 17:06:01再比如,公式: =if(SUM(A1:A5>0,SUM(A1:A5),0) 此式就利用了嵌套函数,意思是,当A1至A5的和大于0时,返回这个值,如果小于0,那么就返回0。 还有一点要提醒你注意:以上的符号均为半角,而且IF与括号之间... -
GDB 单步调试汇编
2020-12-02 12:26:11<div><p>之前在看汇编的时候一直是肉眼看GCC -S的结果ÿ0c;...同上面sum函数的解释一样ÿ0c;不再赘述。 程序运行成功退出。</p><p>该提问来源于开源项目:zhangyachen/zhangyachen.github.io</p></div> -
为什么不用线性回归的代价函数表示,因为线性回归的代价函数可能是非凸的,对于分类问题,使用梯度下降很难得到最小值,上面的代价函数是凸函数 的图像如下,即y=1时: 可以看出,当趋于1,y=1,与预测值一致,...
-
LINGO软件的学习
2009-08-08 22:36:502.1 为什么使用集 集是LINGO建模语言的基础,是程序设计最强有力的基本构件。借助于集,能够用一个单一的、长的、简明的复合公式表示一系列相似的约束,从而可以快速方便地表达规模较大的模型。 2.2 什么是集 集是... -
Oracle_Database_11g完全参考手册.part1/3
2012-08-18 17:29:134.3.4 为什么称作“关系 4.4 一些通用的、常见的示例 4.5 风险所在 4.6 新视角的重要性 4.6.1 变化的环境 4.6.2 代码、缩写和命名标准 4.7 如何减少混淆 4.7.1 规范化 4.7.2 表和列的英文名称 4.7.3 数据中的英文... -
精通sql结构化查询语句
2012-11-03 17:35:298.3.6 颠倒字符串的顺序 8.3.7 字符串替换 8.4 聚合函数 8.4.1 聚合函数概述 8.4.2 SUM函数运算 8.4.3 MAX函数运算 8.4.4 MIN函数运算 8.4.5 AVG函数运算 8.4.6 COUNT函数运算 8.4.7 聚合函数的组合使用 8.5 小结第9... -
这是什么? 安装编译 git clone git@github.com:AllenZYJ/Edge-Computing-Engine.git cd to install_diff 进入install_diff目录: 执行 make make install 编译demo入口程序 ➜ edge-computing-engine git:(master)...
-
MySql基本查询、连接查询、子查询、正则表达查询讲解
2017-08-24 18:38:30having 子句的作用是筛选满足条件的组,即在分组之后过滤数据,条件中经常包含聚组函数,使用having 条件显示特定的组,也可以使用多个分组标准进行分组。 having 子句被限制子已经在SELECT语句中定义的列和聚合... -
〖程序设计基础〗练习题2及答案
2011-05-30 14:39:319. 表达式3/6 * 5的计算结果是________ 。 10.定义初值为10的10次方的长整型变量 lvar 的语句是:__________________________。 11. 顺序结构、分支结构(或称选择结构)、____________是结构化程序设计的三种基本... -
oracle学习文档 笔记 全面 深刻 详细 通俗易懂 doc word格式 清晰 连接字符串
2017-05-06 20:26:52ORACLE数据库系统是美国ORACLE公司(甲骨文)提供的以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 拉里•埃里森 就业前景 从就业与择业的... -
求助各位大神!!!操作系统中消费者—生产者的代码问题???
2020-04-13 11:59:18为什么运行结果里面每个生产者产生的第一个数据值都是一样的,第二个数据也一样.......,明明是用rand()取的随机种子值???? 还有为什么消费者子线程一直没有结束??? ``` #pragma once #include... -
枸杞的由来和技术栈
2021-01-02 15:11:32当你需要的时候你就知道为什么要使用它。 而有一些项目本身交互就简单ÿ0c;数据流动一眼也就能望得到边。其实很可能连 React 都不需要ÿ0c;如果再加一个 Reduxÿ0c;这就有点像穿着一身蓑衣撑着一把巨伞在 ... -
华为编程开发规范与案例
2008-09-04 16:44:56为什么其它群的话单正常,唯独11群不正常呢?11群是四个群中最小的群,其中继计次表位于缓冲区的首位,打完电话后查询内存发现出中继群号在内存中是正确的,取完话单后再查就不正确了。 结 论: 话单池的一个备份... -
《数据结构 1800题》
2012-12-27 16:52:03使用抽象数据类型的主要好处是什么?【北京邮电大学 1994 一(8分)】 4. 回答问题(每题 2分)【山东工业大学 1997 一 (8分)】 (1)在数据结构课程中,数据的逻辑结构,数据的存储结构及数据的运算之间存在着... -
〖程序设计基础〗练习题3及答案
2011-05-30 14:40:556.下列程序段执行后t5的结果是( )。 int t1 = 9, t2 = 11, t3=8; int t4,t5; t4 = t1 > t2 ? t1 : t2+ t1; t5 = t4 > t3 ? t4 : t3; A) 8 B) 20 C) 11 D) 9 7.设 a, b, c, d 均为 int 型的变量,并已赋值,下列... -
c++ 面试题 总结
2009-09-16 08:44:40为什么? int n; if (n == 10) // 第一种判断方式 if (10 == n) // 第二种判断方式 如果少了个=号,编译时就会报错,减少了出错的可能行,可以检测出是否少了= -------------------------------------------------... -
MySQL命令大全
2018-01-15 11:19:17例如,往表 MyClass中插入二条记录, 这二条记录表示:编号为的名为Tom的成绩为.45, 编号为 的名为Joan 的成绩为.99,编号为 的名为Wang 的成绩为.5. mysql>insert into MyClass values(1,’Tom’,96.45),(2,’Joan... -
MapReduce实现TF-IDF算法问题,急问!!!!
2015-04-28 05:26:061.只有第一个单词可以显示所在文件名和TF-IDF的值,其他的词只能显示NULL和0.000000,请问这是为什么? 2.引入DistributedCache后提示无法找到文件 (我是用ubuntu 下eclipse编译运行的,hadoop单机版) 下面是我的... -
MYSQL常用命令大全
2011-05-30 13:31:24例如,往表 MyClass中插入二条记录, 这二条记录表示:编号为1的名为Tom的成绩为96.45, 编号为2 的名为Joan 的成绩为82.99,编号为3 的名为Wang 的成绩为96.5. mysql> insert into MyClass values(1,'Tom',96.45),(2,...
收藏数
40
精华内容
16