-
【机器学习与深度学习理论要点】02.什么是激活函数,神经网络中常用的激活函数都有哪些,各自的特点?
2020-08-07 23:53:08① 定义:sigmoid函数也叫Logistic函数,用于隐层神经元输出,能将(−∞,+∞)(-\infty,+\infty)(−∞,+∞)的数值映射到(0,1)的区间,可以用来做二分类。表达式为: f(x)=11+e−x f(x) = \frac{1}{1+e^{-x}} f(x)=1激活函数:
神经网络中将输入信号的总和转换为输出信号的函数,激活函数将多层感知机输出转换为非线性,使得神经网络可以任意逼近任何非线性函数,使神经网络可以应用到众多的非线性模型中。
常用的激活函数及特点:
1)sigmoid
① 定义:sigmoid函数也叫Logistic函数,用于隐层神经元输出,能将的数值映射到(0,1)的区间,可以用来做二分类。表达式为:
② 特点
- 优点:关于(0,0.5)对称,平滑、易于求导
- 缺点:激活函数计算量大,反向传播求误差梯度时,求导涉及除法;反向传播时,很容易就会出现梯度消失
2)tanh
①定义:双曲线正切函数,表达式为:
②特点:- 优点:关于坐标原点对称,平滑,易于求导,输出均值为0,收敛速度比sigmoid快,从而可以减少迭代次数。
- 缺点:很容易出现梯度消失。
3)Relu
①定义:修正线性单元,其表达式为:
②特点:- 优点:计算过程简单,避免了梯度爆炸和梯度消失。
- 缺点:小于等于0时无输出。
前两者sigmoid/tanh比较常见于全连接层,后者relu常见于卷积层
-
杂谈:几个知识点整理
2019-01-03 13:51:41目录 1.以下哪个是常见的时间序列算法模型 ...5.下列哪些方法可以用来对高维数据进行降维: 解析 参考 6.机器学习中做特征选择时,可能用到的方法有? 解析 参考 题目来源:牛客网 1....目录
题目来源:牛客网
1.以下哪个是常见的时间序列算法模型
A.RSI
B.MACD
C.ARMA
D.KDJ
解析
时间序列是时间间隔不变的情况下收集的不同时间点数据集合,这些集合被分析用来了解长期发展趋势及为了预测未来。
常用的时间序列模型有
AR模型(Autoregressive model:自回归模型)、
MA模型(moving average model:滑动平均模型)、
ARMA模型(Auto-Regressive and Moving Average Model:自回归滑动平均模型)
ARIMA模型(Autoregressive Integrated Moving Average Model:自回归积分滑动平均模型)等
相对强弱指数 (RSI, Relative Strength Index) 是通过比较一段时期内的平均收盘涨数和平均收盘跌数来分析市场买沽盘的意向和实力 , 从而作出未来市场的走势
移动平均聚散指标 (MACD, Moving Average Convergence Divergence), 是根据均线的构造原理 , 对股票价格的收盘价进行平滑处理 , 求出算术平均值以后再进行计算 , 是一种趋向类指标
随机指标 (KDJ) 一般是根据统计学的原理 , 通过一个特定的周期 ( 常为 9 日 ,9 周等 ) 内出现过的最高价 , 最低价及最后一个计算周期的收盘价及这三者之间的比例关系 , 来计算最后一个计算周期的未成熟随机值 RSV, 然后根据平滑移动平均线的方法来计算 K 值 , D 值与 J 值 , 并绘成曲线图来研判股票走势
参考
算法模型---时间序列模型(可以详细阅读一下)
题目下‘嘻嘻兔’及‘伊利殺白’的解答
2.下列不是SVM核函数的是:
A.多项式核函数
B.logistic核函数
C.径向基核函数
D.Sigmoid核函数
解析
SVM核函数包括线性核函数、多项式核函数、径向基核函数、高斯核函数、幂指数核函数、拉普拉斯核函数、ANOVA核函数、二次有理核函数、多元二次核函数、逆多元二次核函数以及Sigmoid核函数
参考
牛客‘忆梦&....’的答案
3.统计模式分类问题中,当先验概率未知时,可以使用()
A.最小最大损失准则
B.最小误判概率准则
C.最小损失准则
D.N-P判决
4.以下()不属于线性分类器最佳准则?
A.感知准则函数
B.贝叶斯分类
C.支持向量机
D.Fisher准则
解析
线性分类器:模型是参数的线性函数,分类平面是(超)平面
典型的线性分类器有:感知机、SVM支持向量机(线性核)、LDA线性判别分析(Fisher准则)
非线性分类器:模型的分界面可以是曲面或者超平面的组合
典型的非线性分类器:朴素贝叶斯(特定的某些朴素贝叶斯分类器本质上是线性分类器)、KNN、决策树、SVM支持向量机(非线性核)
参考
5.下列哪些方法可以用来对高维数据进行降维:
A.主成分分析法-PCA
B.线性判别法-LDA
C.LASSO
D.聚类分析
E.小波分析法
F.拉普拉斯特征映射
解析
降维的目的:便于计算和可视化;有利于提取有效信息、摈弃无用信息
降维的主要方法:线性映射和非线性映射
PCA主成分分析,是一种使用最广泛的数据压缩算法。是一种非监督学习算法。
LDA线性判别法,将有标签的数据点,通过投影的方法,投影到维度更低的空间中,使得投影后的点,会形成按类别区分。(高内聚,低耦合)
LASSO,一种压缩估计,它通过构造一个罚函数得到一个较为精炼的模型,使得它压缩一些系数,同时设定一些系数为零。因此保留了子集收缩的优点,是一种处理具有复共线性数据的有偏估计。Lasso的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下,使残差平方和最小化,从而能够产生某些严格等于0的回归系数,得到可以解释的模型。lasso通过参数缩减达到降维的目的
聚类分析,将个体(样品)或者对象(变量)按相似程度(距离远近)划分类别,使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。其主要依据是聚到同一个数据集中的样本应该彼此相似,而属于不同组的样本应该足够不相似。
小波分析法
拉普拉斯特征映射,它的直观思想是希望相互间有关系的点(在图中相连的点)在降维后的空间中尽可能的靠近
参考
机器学习降维方法概况(可以详细阅读一下)
高纬数据的降维方法(图片来源)
6.机器学习中做特征选择时,可能用到的方法有?
A.卡方
B.信息增益
C.平均互信息
D.期望交叉熵
解析
特征提取算法分为特征选择和特征抽取两大类
特征选择
常采用特征选择方法。常见的六种特征选择方法:
1、DF(Document Frequency) 文档频率
DF:统计特征词出现的文档数量,用来衡量某个特征词的重要性
2、MI(Mutual Information) 互信息法
互信息法用于衡量特征词与文档类别直接的信息量。
如果某个特征词的频率很低,那么互信息得分就会很大,因此互信息法倾向”低频”的特征词。
相对的词频很高的词,得分就会变低,如果这词携带了很高的信息量,互信息法就会变得低效。
3、(Information Gain) 信息增益法
通过某个特征词的缺失与存在的两种情况下,语料中前后信息的增加,衡量某个特征词的重要性。
4、CHI(Chi-square) 卡方检验法
利用了统计学中的”假设检验”的基本思想:首先假设特征词与类别直接是不相关的
如果利用CHI分布计算出的检验值偏离阈值越大,那么更有信心否定原假设,接受原假设的备则假设:特征词与类别有着很高的关联度。
5、WLLR(Weighted Log Likelihood Ration)加权对数似然
6、WFO(Weighted Frequency and Odds)加权频率和可能性
特征抽取(降维(见上一题))
参考
牛客‘chen尾巴’的答案
-
【机器学习与深度学习理论要点】20. 什么是激活函数,为什么要用激活函数,常见的激活函数和特点,softmax...
2020-08-16 11:05:381)什么是激活函数,为什么要用激活函数?...①定义:sigmoid函数用于影藏层神经元输出,能将数值映射到(0,1)区间,可用来做二分类,表达式为: f(x)=11+e−x f(x) = \frac{1}{1+e^{-x}} f(x)=1+e−x1 ②1)什么是激活函数,为什么要用激活函数?
激活函数,指神经网络中将输入信号的总和转换为输出信号的函数,激活函数将多层感知机输出转换为非线性,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。
2)神经网络中常用的激活函数有哪些,各自有什么特点?
(1)sigmoid
①定义:sigmoid函数用于影藏层神经元输出,能将数值映射到(0,1)区间,可用来做二分类,表达式为:
②特点:- 优点:平滑、易于求导
- 缺点:激活函数计算量大,反向传播时,很容易出现梯度消
(2)tanh
①定义:双曲正切函数,表达式为:
②特点:- 优点:平滑,易于求导,输出均值为0,收敛速度比sigmoid快,减少迭代次数
- 缺点:很容易出现梯度消失
(3)relu
①定义:修正线性单元,其表达式为:
②特点:- 优点:计算过程简单,避免了梯度消失和梯度爆炸问题
- 缺点:小于等于0时无输出
3)什么是softmax函数,主要作用是什么
- 定义:softmax函数可以将多分类的输出值转化为相对概率,而这些值的累加和为1,表达式为
其中 是分类器前级输出单元的输出。i 表示类别索引,总的类别个 数为 C。表示的是当前元素的指数与所有元素指数和的比值。
- 作用:softmax一般用于分类输出层,计算属于每个类别的概率
-
模型:$searchField 属性用来配置搜索字段,$listField 用来配置列表视图中需要展示哪些字段数据。 app/Repository/Admin/ConfigRepository.php 模型服务层:默认有一个list方法,该方法用来返回列表数据。需要注意...
-
软件工程-理论与实践(许家珆)习题答案
2011-01-12 00:49:42还有知识工程方法,例如,场记分析法、卡片分类法、分类表格技术和基于模型的知识获取等 。 (2) 模拟和分析需求 需求分析和模拟又包含三个层次的工作。首先是需求建模。需求模型的表现形式有自然语言、半形式化(如... -
2019数据运营思维导图
2019-03-29 21:34:09可以用来监控大R用户异常变化情况 如果该值异常波动,请进一步看鲸鱼用户数据 4、用户留存 新用户留存 次日、3日、7日、14日、30日留存 次日留存是对玩家“第一游戏体验”的最佳印证 与游戏的类型、题材、玩法、美术... -
数据运营思维导图
2018-04-26 14:24:22可以用来监控大R用户异常变化情况 如果该值异常波动,请进一步看鲸鱼用户数据 4、用户留存 新用户留存 次日、3日、7日、14日、30日留存 次日留存是对玩家“第一游戏体验”的最佳印证 与游戏的类型、题材、玩法... -
软件工程教程
2012-07-06 23:10:29用来建模对象是如何改变其状态以响应事件,展示对象从创建到删除的生命周期 状态图 状态标记符 状态图 实例:打电话 状态图 状态和转移 事件 状态图 如果你太喜欢 状态图 详细状态 状态图 子状态 状态图... -
ggplot2:数据分析与图形艺术
2017-05-18 10:10:35, 新增图例向导函数guide_legend()和guide_colorbar(),前者可以用来指导图例的排版,例如可以安排图例中元素排为n行m列;后者增强了连续变量图例的展示,例如当我们把颜色映射到一个连续变量上时,过去生成的图例是... -
java 面试题 总结
2009-09-16 08:45:34引用可以转换到接口类型或从接口类型转换,instanceof 运算符可以用来决定某对象的类是否实现了接口。 18、heap和stack有什么区别。 栈是一种线形集合,其添加和删除元素的操作应在同一段完成。栈按照后进先出的方式... -
量子机器学习不仅适用于量子化学模拟(如变分量子特征求解器 (VQE))等量子问题,也可以用来解决一些经典问题(如量子近似优化算法 (QAOA))。 问:想做量子机器学习,但对量子计算不是很了解,该如何入门? 答:...
-
超级有影响力霸气的Java面试题大全文档
2012-07-18 09:47:04引用可以转换到接口类型或从接口类型转换,instanceof 运算符可以用来决定某对象的类是否实现了接口。 21、heap和stack有什么区别。 栈是一种线形集合,其添加和删除元素的操作应在同一段完成。栈按照后进先出的... -
Oracle SQL高级编程(资深Oracle专家力作,OakTable团队推荐)--详细书签版
2013-02-04 12:43:52他当过开发人员,也做过DBA,目前是 Oracle ACE总监和OakTable成员。最近几年,他专注于研究Oracle内部原理以及解决性能问题。他的博客主页是 kerryosborne.oracle-guy.com。 ROBYN SANDS 思科公司的软件... -
Oracle SQL高级编程(资深Oracle专家力作,OakTable团队推荐)--随书源代码
2013-02-04 12:49:33他当过开发人员,也做过DBA,目前是 Oracle ACE总监和OakTable成员。最近几年,他专注于研究Oracle内部原理以及解决性能问题。他的博客主页是 kerryosborne.oracle-guy.com。 ROBYN SANDS 思科公司的软件... -
超文本笔记本,可以支持文字,图片,动态图混排,做便签十分方便,注意高清图片会压缩,目前笔记是保存本地 技术分享部分(鸿洋玩Android,还有代码家的干活集中营等等),关于flutter版本的极致体验玩Android客户端 ...
-
JAVA面试题最全集
2010-03-13 13:09:10IS09000和CMM(软件能力成熟度模型)认证是国际上通用的软件质量评估方法.CMM的五个成熟度等级。 第一,谈谈final, finally, finalize的区别。 final?修饰符(关键字)如果一个类被声明为final,意味着它不能再... -
opencv svm detector该怎么写?
2019-04-16 11:48:38但是换成64*64尺寸的图片,可以训练出svm模型,但是检测时会出错,觉得应该是detector的问题,但是不知道该怎么重写? 对提取好的HogFeatureMat进行pca降维后检测同样会出现类似的错误。detector该怎么重写,里面... -
测试培训教材
2014-04-01 12:10:48项目管理员可以使用QC的Excel插件工具来执行需求的批量导入,进行导入之前请先确认已经访问过MQC主页,并安装了QCMSExcelAddin.exe插件。 插件下载地址: http://updates.merc-int.com/qual ... /msexcel/index.html... -
精通Oracle PL/SQL--详细书签版
2012-08-21 13:06:28据我所知,它们中没有一本书可以作为风靡全球的畅销书摆放于哈利·波特那些书的旁边,那么究竟是什么鼓舞着我们这群作者走到一起写出关于这个主题的第39本书呢?. 原因是,无论可用的图书如何过剩,我们仍然在... -
Oracle DBA突击:帮你赢得一份DBA职位--详细书签版
2013-02-06 15:56:40第1章至第4章是基础篇,包括数据库建模、oracle体系结构、网络结构、备份恢复和使用oem,这些对于刚刚从事dba或者试图转做dba的朋友都是必备知识。第5章至第9章是中级篇,专门讨论性能调整,包括性能优化原理、... -
Oracle Database 11g数据库管理艺术--详细书签版
2012-09-30 01:09:45他拥有Oracle OCP DBA证书和HP UNIX System Administrator证书,做过Oracle公司的高级顾问,并曾在AT&T、NBC等世界顶级公司担任DBA。目前,他管理着世界上最大的Oracle数据库——美国童子军全国总部数据库。除本书外... -
微软活动目录管理管理简明手册
2010-12-08 11:04:17这样用户就可以根据用户的组织模型管理账户和资源的配置和使用。 1 e+ }# `! n6 {& h9 ~6 T) \* O0 q 8 V0 D0 S) [( v5 \$ [% R(3)目录树和目录林:4 t+ Q+ o8 q7 X: }% K 0 K+ g; |# ^; h3 S% y1 B 活动目录中的每...
-
中国县域统计年鉴数据合集2015~2019.rar
-
项目管理工具与方法
-
第04节 C语言程序初体验
-
AcWing 1089. 烽火传递(单调队列优化dp)
-
leetcode 977 有序数组的平方 [双指针]
-
IT安全风险评估管理指南_V1.0.doc
-
linux c spi应用层 通信源代码
-
python 计算列表中某个元素连续出现的次数
-
情感励志类短视频素材
-
linux基础入门和项目实战部署系列课程
-
公安系统集成项目标准汇总
-
linux c 通过FTP 协议上传文件 源码 亲测可用
-
实现 MySQL 读写分离的利器 mysql-proxy
-
华为1+X——网络系统建设与运维(高级)
-
Ubuntu xshell 无法连接 VMware 虚拟机 解决方案
-
基于电商业务的全链路数据中台落地方案(全渠道、全环节、全流程)
-
php5指定参数类型只有两个,一个为class类和数组array
-
朱老师鸿蒙系列课程第1期-2鸿蒙系统Harmonyos源码架构分析
-
信息安全风险评估培训教材.ppt
-
基于springboot实现表单重复提交.docx