-
常用的核函数
2020-08-04 09:29:00以下是几种常用的核函数表示: ...任意一个满足特性的函数 Φ都叫做径向量函数,标准的一般使用欧氏距离,尽管其他距离函数也是可以的。所以另外两个比较常用的核函数,幂指数核,拉普拉斯核也属于径向基核.以下是几种常用的核函数表示:
线性核(Linear Kernel)
多项式核(Polynomial Kernel)
径向基核函数(Radial Basis Function)
也叫高斯核(Gaussian Kernel),因为可以看成如下核函数的领一个种形式:
径向基函数是指取值仅仅依赖于特定点距离的实值函数,也就是
。任意一个满足
特性的函数 Φ都叫做径向量函数,标准的一般使用欧氏距离,尽管其他距离函数也是可以的。所以另外两个比较常用的核函数,幂指数核,拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核,二次有理核,多元二次核,逆多元二次核。
幂指数核(Exponential Kernel)拉普拉斯核(Laplacian Kernel)
ANOVA核(ANOVA Kernel)
二次有理核(Rational Quadratic Kernel)
多元二次核(Multiquadric Kernel)
逆多元二次核(Inverse Multiquadric Kernel)
另外一个简单实用的是Sigmoid核(Sigmoid Kernel)
以上几种是比较常用的,大部分在SVM,SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的,如小波核,贝叶斯核,可以需要通过代码自己指定。
-
中常用的函数_迁移学习中常用的核函数
2020-12-31 08:30:56在迁移学习中,经常要计算不同域之间的分布距离,常用的方法如最大均值差异(Maximum Mean Discrepancy): 其中, 分别表示源领域和目标领域的数据。 表示函数空间 上的一个泛函,将数据从原欧氏空间映射到再生核...一、为什么需要核函数?
在迁移学习中,经常要计算不同域之间的分布距离,常用的方法如最大均值差异(Maximum Mean Discrepancy):
其中,
分别表示源领域和目标领域的数据。
表示函数空间
上的一个泛函,将数据从原欧氏空间映射到再生核希尔伯特空间(RKHS)。由于这个空间对于函数来说是内积完备的,更容易找一个映射使得映射后的分布
。
上面距离式子经过数学技巧可以化简为:
其中
表示核函数。
因此,我们可以借助核函数,就能比较容易的计算源领域和目标领域的数据分布在再生核希尔伯特空间(RKHS)中的距离。
二、什么是核函数?
- 核方法
核方法本质是首先将数据映射到一个无穷维空间(这种映射会保持某种度量不变,这种度量由所采用的kernel决定)。该方法可将低维空间的非线性可分问题,转化为高维空间的线性可分问题。
- 核函数
设
是输入空间 (
) ,又设希尔伯特空间
为特征空间,如果存在一个
到
的映射:
使得对所有
, 函数
满足条件:
其中
表示内积,
表示核函数,
表示映射函数。
- 核技巧
核技巧直接计算
,而不是单独计算
。
三、常用核函数
- 线性核
- 多项式核
,
为多项式的次数
- 高斯核
,
为高斯核的带宽
- 拉普拉斯核
,
- Sigmod核
,
为双曲正切函数,
,
四、核函数的选择
- 如果特征数量很大,跟样本数量差不多,往往数据在原空间的可分性就比较大。因此,可选择线性核,极大较少计算量。
- 如果特征数量少,而样本数量不大。考虑使用非线性核如高斯核,将数据映射到无穷维可分的空间。
NLP小学生:核方法、核技巧和核函数zhuanlan.zhihu.com -
常用SVM核函数
2018-04-16 21:36:21以下是几种常用的核函数表示:线性核(Linear Kernel)多项式核(Polynomial Kernel)径向基核函数(Radial Basis ...任意一个满足特性的函数 Φ都叫做径向量函数,标准的一般使用欧氏距离,尽管其他距离函数也是可...以下是几种常用的核函数表示:线性核(Linear Kernel)多项式核(Polynomial Kernel)径向基核函数(Radial Basis Function)也叫高斯核(Gaussian Kernel),因为可以看成如下核函数的领一个种形式:径向基函数是指取值仅仅依赖于特定点距离的实值函数,也就是。任意一个满足特性的函数 Φ都叫做径向量函数,标准的一般使用欧氏距离,尽管其他距离函数也是可以的。所以另外两个比较常用的核函数,幂指数核,拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核,二次有理核,多元二次核,逆多元二次核。幂指数核(Exponential Kernel)拉普拉斯核(Laplacian Kernel)ANOVA核(ANOVA Kernel)二次有理核(Rational Quadratic Kernel)多元二次核(Multiquadric Kernel)逆多元二次核(Inverse Multiquadric Kernel)另外一个简单实用的是Sigmoid核(Sigmoid Kernel)以上几种是比较常用的,大部分在SVM,SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的,如小波核,贝叶斯核,可以需要通过代码自己指定。
转自:http://blog.csdn.net/xiaowei_cqu
-
目标检测常用的损失函数
2020-12-07 17:20:29缺点:不是特别的稳健,因为当函数的输入值距离中心值较远的时候,使用梯度下降法求解的时候梯度很大,可能导致梯度爆炸。 L2损失(平均绝对误差MAE) 表示了预测值的平均误差幅度,而不需要考虑误差的方向 优点:...L1损失(均方误差MSE)
优点:各点都连续光滑,方便求导,具有较为稳定的解
缺点:不是特别的稳健,因为当函数的输入值距离中心值较远的时候,使用梯度下降法求解的时候梯度很大,可能导致梯度爆炸。L2损失(平均绝对误差MAE)
表示了预测值的平均误差幅度,而不需要考虑误差的方向
优点:无论对于什么样的输入值,都有着稳定的梯度,不会导致梯度爆炸问题,具有较为稳健性的解。
缺点:在中心点是折点,不能求导,不方便求解。smooth L1损失函数
当|x-y|<1的时候,求导后的导数为(x-y),所以x接近0的时候的梯度也接近0
当|x-y|>=1的时候,求导后的导数为1,所以当x远离0的时候,梯度都是恒定为1loss对于离群点更加鲁棒,相比于L2损失函数,其对离群点(指的是距离中心较远的点)、异常值(outlier)不敏感,可控制梯度的量级使训练时不容易跑飞。
IOU损失:
优点:它可以反映预测检测框与真实检测框的检测效果。
缺点:- 如果两个框没有相交,根据定义,IoU=0,不能反映两者的距离大小(重合度)。同时因为loss=0,没有梯度回传,无法进行学习训练。
- IoU无法精确的反映两者的重合度大小。如下图所示,三种情况IoU都相等,但看得出来他们的重合度是不一样的,左边的图回归的效果最好,右边的最差
GIOU:
黑色框是原图 src
绿色是真实框 gt
蓝色是预测框 pre
黄色是包含真实框和预测框的最小框Ac
U = gt+pre
IOU就是绿色框和蓝色框相交的部分IoU取值[0,1],但GIoU有对称区间,取值范围[-1,1]。在两者重合的时候取最大值1,在两者无交集且无限远的时候取最小值-1,因此GIoU是一个非常好的距离度量指标。
与IoU只关注重叠区域不同,GIoU不仅关注重叠区域,还关注其他的非重合区域,能更好的反映两者的重合度。DIOU
DIoU要比GIou更加符合目标框回归的机制,将目标与anchor之间的距离,重叠率以及尺度都考虑进去,使得目标框回归变得更加稳定,不会像IoU和GIoU一样出现训练过程中发散等问题
DIOU优点:- 与GIoU loss类似,DIoU loss( [公式] )在与目标框不重叠时,仍然可以为边界框提供移动方向。
- DIoU loss可以直接最小化两个目标框的距离,因此比GIoU loss收敛快得多。
- 对于包含两个框在水平方向和垂直方向上这种情况,DIoU损失可以使回归非常快,而GIoU损失几乎退化为IoU损失。
- DIoU还可以替换普通的IoU评价策略,应用于NMS中,使得NMS得到的结果更加合理和有效。
CIOUS
论文考虑到bbox回归三要素中的长宽比还没被考虑到计算中,因此,进一步在DIoU的基础上提出了CIoU。
最后,CIoU loss的梯度类似于DIoU loss,但还要考虑 [公式] 的梯度。在长宽在 [0,1] 的情况下, w^2 + h^2 的值通常很小,会导致梯度爆炸,因此在 1/ (w平方+h平方) 实现时将替换成1。
分类损失
交叉熵损失
举个例子怎么用:
BCEloss是交叉熵损失的一个特列,BCE只是2分类损失,但是运行的时候交叉熵损失和BCEloss还是有一点区别,交叉熵用softmax激活,BCE用Sigmoid激活运算。BCEloss:
预测值y是经过激活函数的输出,所以在0-1之间。可见普通的交叉熵对于正样本而言,输出概率越大损失越小。对于负样本而言,输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优focalloss
横轴是 pt , 纵轴是 FL
总体来说,所有曲线都是单调下降的,即 “概率越大就越忽略”
当 gamma=0 时,FL退化成CE,即蓝色线条
当 gamma 很大时,线条逐步压低到绿色位置,即各样本对于总loss的贡献受到打压;
使用focal_loss,阿尔法用于正样本均衡,gamma用于难易样本均衡
难易样本均衡:是易检测目标对模型训练贡献以指数式削弱
正样本预测概率为0.9是容易区分的样本,那么(1-0.9)gama次方就会很小,loss很小,就会不关注这种容易分的样本
负样本预测概率为0.1也是容易区分的样本,0.1gamma次方会很小,loss也小,不关注
负样本或者正样本概率为0.5,都是不易区分样本,那么0.5gamma次方虽然虽然也是减少,但是相对而言减少得更少一些。
所以总体来说更加关注男区分样本,减少简单样本的影响类别权重是对正负样本进行调节。要是你知道正负样本的分布的话,负样本较少,数值就调大一些。类别权重的值域在0~1。
-
常用空间分析函数
2020-12-23 14:53:06本文主要记录一些自己开发中常用的一些分析函数,比较正宗和全面的可以看一些空间分析库,比如前端的 Turf 和 JSTS 1、点 1.1、点到点的距离 //点到点的距离 function dist2d(coord1, coord2) { let dx = coord1[0]... -
机器学习和深度学习中常用的损失函数
2019-11-06 22:20:37二、常用的损失函数 1、平方损失函数(最小二乘法) 最小二乘法认为,最优拟合直线应该是使各点到回归直线的距离和最小的直线,即平方和最小。这里的举例 2、log对数损失函数 三、模型与损失函数 ... -
各种距离函数
2019-11-07 17:17:32在做分类时常常需要估算不同样本之间的相似性(Similarity ...本文的目的就是对常用的相似性度量作一个总结。 本文目录: 1. 欧氏距离 2. 曼哈顿距离 3. 切比雪夫距离 4. 闵可夫斯基距离 5. 标准化欧氏距离 ... -
opencv中常用的自定义函数总结-1
2019-12-25 14:06:41整理自己工程中常用的一些opencv 函数,一般是opencv不自带的。 1:求距离 int get_distance(cv::Point p1,cv::Point p2); int get_distance(cv::Point p1,cv::Point p2) { int x_2 = (p1.x-p2.x)*(p1.x-p2.x)... -
Python Networkx 包常用的方法函数
2017-12-10 19:51:48找子节点: DiGraph.successors(n) Return a list of successor nodes of n. 找父节点:DiGraph.predecessors(n) Return a list of ...求距离某一节点(0)的最短路径: nx.shortest_path_length(G, 0, node) -
关于数组的常用函数
2016-05-03 22:19:51关于数组的常用函数:1, array_slice()截取数组的某一部分。事例:array_slice($a,3,2)截取数组$a中位置为3的值,长度为2,组成一个新的数组注意:如果第二个参数为负数,则从数组末端这么多的距离开始截取, 如果第... -
优化网络-----常用的损失函数
2020-07-15 10:27:37损失函数的优化:测量预测值和真实值之间的距离,优化的目标就是使loss最小。 常见的损失函数分为:均方误差(MSE),交叉熵损失等 均方误差(MSE):该统计参数是预测数据和原始数据对应点误差的平方和的均值。 一... -
机器学习中的距离和损失函数
2019-04-05 10:17:00常用距离函数:欧式距离、马氏距离、曼哈顿距离、明式距离 1.欧式距离 欧式距离是最容易直观理解的距离度量方法,我们小学,中学,高中所接触的两个空间中的距离一般都是指的是欧式距离。 2.曼哈顿距离(Manh... -
常用函数总结
2020-02-15 16:49:07常用函数 我们在编程的时候经常会调用一些函数,现在,我给大家总结下,我们经常使用的函数: Math类 Math.E:调用e的值 Math.PI:调用pi的值 ...Math.hypot(x,y):求两点之间的距离 x=deltX y=deltY Math.... -
四、Java常用的函数类
2020-02-15 14:30:54常用函数类有:Math类和String类这两个类在java.lang中的Math中. 一、Math类 Math.E和Math.PI,这两个函数可以直接使用。 Math.abs(a)--返回值为a的绝对值 Math.ceil(a)--大于a的最小整数,相当于向上取整 Math... -
comsol如何设置距离梯度_常用的COMSOL操作符和数学函数
2020-12-23 14:51:47d(f,x)f对x方向的微分1.使用d算符来计算一个变量对另一个变量的导数,如:d(T,x)指变量T对x求导,而d(u^2,u)=2*u等;2.如果模型中含有任何独立变量,建模中使用d算符会使模型变为非线性;3.在解的后处理上使用d算符,... -
SVM常用核函数
2015-06-03 10:11:10以下是几种常用的核函数表示: 线性核(Linear Kernel) 多项式核(Polynomial Kernel) 径向基核函数(Radial Basis Function) 也叫高斯核(Gaussian Kernel),因为可以看成如下核... -
MySQL常用函数
2018-03-18 22:10:08数学函数ABS(X) 绝对值CEIL(X) 向上取整FLOOR(X) 向下取整RAND(X) 0-1的随机数ROUND(X) 距离x最近的整数ROUND(X,Y) 保留x后y位的小数,在截断时使用四舍五入POW(X,Y) y次方SQRT(X,Y) 开y次方根、2.字符函数CHAR_... -
MATLAB常用函数
2020-06-19 11:05:33计算距离的函数 dist(A,B) %计算A中每个行向量与B中每个列向量之间欧氏距离,A的列数(行维数)必须等于B的行数(列维数),类似于矩阵乘法(m,n)&(n,l)→(m,l) mandist(A,B) %计算A中每个行向量与B中每个列... -
评价函数_常用损失函数和评价指标总结
2021-01-07 18:05:17平方损失函数(最小二乘法):回归问题中常用的损失函数,在线性回归中,可以通过极大似然估计(MLE)推导。计算的是预测值与真实值之间距离的平方和。实际更常用的是均方误差(MSE): 2. 平均绝对值误差(L1)-- ... -
js的常用封装函数库之Dom操作
2019-05-23 15:54:44js的常用封装函数库之Dom操作: ... * @desc 获取滚动条距顶部的距离 */ function getScrollTop() { return (document.documentElement && document.documentElement.scrollTop) || docume... -
常用js函数
2019-09-14 22:32:221、获得元素到页面的绝对距离 1 function getPos(obj) { 2 var pos = {left:0, top:0}; 3 while (obj) { 4 pos.left += obj.of... -
回归问题常用的三种损失函数
2020-07-10 11:14:42回归问题是常见的一中,其有三个常用的损失函数,今天来学习下这三种损失函数 均方误差(Mean Square Error,MSE) 均方误差指的是模型预测值和真实值之间的距离平方的平均值,其公式如下所示: MSE=1m... -
python常用字符处理函数
2018-09-18 23:19:13break语句: 作用:跳出for和while循环,只跳出距离他最近的一层循环。 join(): 作用:以指定的字符串分隔符,将列表中的所有元素组合成字符串。 -
K-means文本聚类使用自定义距离函数
2020-12-23 08:59:47但是,如果我们想在K-menas中使用自己定义的距离函数,该怎么办呢,计算文本相似度时,经常会遇到根据任务需求自定义相似度计算指标的情况哦,改scikit-learn的源代码或者自己实现一份支持自定义 -
tensorflow中同时两个损失函数_深度度量学习中的损失函数
2020-12-30 13:45:25深度度量学习(deep metric learning)是度量学习的一种方法,它的目标是学习一个从原始特征到低维稠密的向量空间(称之为嵌入空间,embedding space)的映射,使得同类对象在嵌入空间上使用常用的距离函数(欧氏距.... -
Mysql 常用函数
2017-11-19 03:51:35日期、时间函数 select UNIX_TIMESTAMP(); -- 返回当前时间距离 1970-01-01 00:00:00 GMT 的秒数 select UNIX_TIMESTAMP('2017-01-01'); -- 返回参数时间距离 1970-01-01 00:00:00 GMT 的秒数 select FROM_UNIXTIME... -
js中getDay()和getDate(),常用的时间函数
2017-04-26 17:27:40getDay()是返回几号 ...另外,getTime()返回的是距离1970年1月1日零点的毫秒数。 date对象没提供直接返回时间的函数, 可以通过 console.log("现在是"+ d.getFullYear() +"年"+ (d.getMonth()+1)+"月
-
长汀7642收音机图片
-
tools【dz论坛修改创始人密码工具】.zip
-
《文件和目录操作命令》
<2.> -
基于ssm框架的名宿网站的设计与实现
-
Oracle_11g_Linux到Linux_DataGuard部署
-
基于java的图书管理系统的设计与实现
-
2021年软考系统规划与管理师-上午历年真题解析视频课程
-
【爱码农】C#制作MDI文本编辑器
-
差分
-
数据库阶段-day8-MySQl数据库之存储引擎与MySQL日志
-
基于SSM的兼职论坛系统的设计与实现
-
网页只显示一部分内容 其他内容用..替代
-
CS83785单节锂电池内置升压2x10W双声道D类音频功放IC.pdf
-
matlab实现图像的高斯滤波
-
山东师范大学文学院党史馆等改造工程.pdf
-
毕业设计+源码).pdf
-
MySQL 性能优化(思路拓展及实操)
-
转行做IT-第15章 Collection、泛型、Iterator
-
MySQL DML 语言(插入、更新与删除数据)
-
Amoeba 实现 MySQL 高可用、负载均衡和读写分离