以下是几种常用的核函数表示：

线性核（Linear Kernel）



多项式核（Polynomial Kernel）



径向基核函数（Radial Basis Function）



也叫高斯核（Gaussian Kernel），因为可以看成如下核函数的领一个种形式：

 



径向基函数是指取值仅仅依赖于特定点距离的实值函数，也就是。任意一个满足特性的函数 Φ都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。所以另外两个比较常用的核函数，幂指数核，拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核，二次有理核，多元二次核，逆多元二次核。

幂指数核（Exponential Kernel）

 

拉普拉斯核（Laplacian Kernel）

 

ANOVA核（ANOVA Kernel）

 

二次有理核（Rational Quadratic Kernel）

 

多元二次核（Multiquadric Kernel）

 

逆多元二次核（Inverse Multiquadric Kernel）

 

另外一个简单实用的是Sigmoid核（Sigmoid Kernel）

 

以上几种是比较常用的，大部分在SVM，SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的，如小波核，贝叶斯核，可以需要通过代码自己指定。

一、为什么需要核函数？
在迁移学习中，经常要计算不同域之间的分布距离，常用的方法如最大均值差异（Maximum Mean Discrepancy）：
其中， 
 分别表示源领域和目标领域的数据。 
 表示函数空间 
 上的一个泛函，将数据从原欧氏空间映射到再生核希尔伯特空间（RKHS）。由于这个空间对于函数来说是内积完备的，更容易找一个映射使得映射后的分布 
 。
上面距离式子经过数学技巧可以化简为：
其中 
 表示核函数。
因此，我们可以借助核函数，就能比较容易的计算源领域和目标领域的数据分布在再生核希尔伯特空间（RKHS）中的距离。
二、什么是核函数？
核方法
核方法本质是首先将数据映射到一个无穷维空间（这种映射会保持某种度量不变，这种度量由所采用的kernel决定）。该方法可将低维空间的非线性可分问题，转化为高维空间的线性可分问题。
核函数
设 
 是输入空间 ( 
 ) ，又设希尔伯特空间 
 为特征空间，如果存在一个 
 到 
 的映射：
使得对所有 
 , 函数 
 满足条件：
其中 
 表示内积， 
 表示核函数， 
 表示映射函数。
核技巧
核技巧直接计算 
 ，而不是单独计算 
 。
三、常用核函数
线性核
多项式核
 , 
 为多项式的次数
高斯核
 ， 
 为高斯核的带宽
拉普拉斯核
 ， 
Sigmod核
 ， 
 为双曲正切函数， 
 ， 
四、核函数的选择
如果特征数量很大，跟样本数量差不多，往往数据在原空间的可分性就比较大。因此，可选择线性核，极大较少计算量。
如果特征数量少，而样本数量不大。考虑使用非线性核如高斯核，将数据映射到无穷维可分的空间。
铜豌豆：核方法​zhuanlan.zhihu.com
NLP小学生：核方法、核技巧和核函数​zhuanlan.zhihu.com

以下是几种常用的核函数表示：
线性核（Linear Kernel）
多项式核（Polynomial Kernel）
径向基核函数（Radial Basis Function）
也叫高斯核（Gaussian Kernel），因为可以看成如下核函数的领一个种形式：
径向基函数是指取值仅仅依赖于特定点距离的实值函数，也就是
。任意一个满足
特性的函数 Φ都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。所以另外两个比较常用的核函数，幂指数核，拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核，二次有理核，多元二次核，逆多元二次核。
幂指数核（Exponential Kernel）
拉普拉斯核（Laplacian Kernel）
ANOVA核（ANOVA Kernel）
二次有理核（Rational Quadratic Kernel）
多元二次核（Multiquadric Kernel）
逆多元二次核（Inverse Multiquadric Kernel）
另外一个简单实用的是
Sigmoid核（Sigmoid Kernel）
以上几种是比较常用的，大部分在SVM，SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的，如小波核，贝叶斯核，可以需要通过代码自己指定。
转自：http://blog.csdn.net/xiaowei_cqu

L1损失(均方误差MSE)



优点：各点都连续光滑，方便求导，具有较为稳定的解

缺点：不是特别的稳健，因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸。
L2损失(平均绝对误差MAE)
表示了预测值的平均误差幅度，而不需要考虑误差的方向




优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。

缺点：在中心点是折点，不能求导，不方便求解。
smooth L1损失函数




当|x-y|<1的时候，求导后的导数为(x-y),所以x接近0的时候的梯度也接近0

当|x-y|>=1的时候，求导后的导数为1，所以当x远离0的时候，梯度都是恒定为1
loss对于离群点更加鲁棒，相比于L2损失函数，其对离群点（指的是距离中心较远的点）、异常值（outlier）不敏感，可控制梯度的量级使训练时不容易跑飞。
IOU损失：


优点：它可以反映预测检测框与真实检测框的检测效果。

缺点：

如果两个框没有相交，根据定义，IoU=0，不能反映两者的距离大小（重合度）。同时因为loss=0，没有梯度回传，无法进行学习训练。
IoU无法精确的反映两者的重合度大小。如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差



GIOU:




黑色框是原图 src

绿色是真实框 gt

蓝色是预测框 pre

黄色是包含真实框和预测框的最小框Ac

U = gt+pre

IOU就是绿色框和蓝色框相交的部分
IoU取值[0,1]，但GIoU有对称区间，取值范围[-1,1]。在两者重合的时候取最大值1，在两者无交集且无限远的时候取最小值-1，因此GIoU是一个非常好的距离度量指标。

与IoU只关注重叠区域不同，GIoU不仅关注重叠区域，还关注其他的非重合区域，能更好的反映两者的重合度。
DIOU
DIoU要比GIou更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题



DIOU优点：

与GIoU loss类似，DIoU loss（ [公式] ）在与目标框不重叠时，仍然可以为边界框提供移动方向。
DIoU loss可以直接最小化两个目标框的距离，因此比GIoU loss收敛快得多。
对于包含两个框在水平方向和垂直方向上这种情况，DIoU损失可以使回归非常快，而GIoU损失几乎退化为IoU损失。
DIoU还可以替换普通的IoU评价策略，应用于NMS中，使得NMS得到的结果更加合理和有效。

CIOUS
论文考虑到bbox回归三要素中的长宽比还没被考虑到计算中，因此，进一步在DIoU的基础上提出了CIoU。





最后，CIoU loss的梯度类似于DIoU loss，但还要考虑 [公式] 的梯度。在长宽在 [0,1] 的情况下， w^2 + h^2  的值通常很小，会导致梯度爆炸，因此在 1/ (w平方+h平方) 实现时将替换成1。
分类损失
交叉熵损失


举个例子怎么用：





BCEloss是交叉熵损失的一个特列，BCE只是2分类损失，但是运行的时候交叉熵损失和BCEloss还是有一点区别，交叉熵用softmax激活，BCE用Sigmoid激活运算。
BCEloss：


预测值y是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优
focalloss
横轴是  pt , 纵轴是  FL

总体来说，所有曲线都是单调下降的，即 “概率越大就越忽略”

当 gamma=0 时，FL退化成CE，即蓝色线条

当 gamma 很大时，线条逐步压低到绿色位置，即各样本对于总loss的贡献受到打压；



使用focal_loss，阿尔法用于正样本均衡，gamma用于难易样本均衡

难易样本均衡：是易检测目标对模型训练贡献以指数式削弱

正样本预测概率为0.9是容易区分的样本，那么(1-0.9)gama次方就会很小，loss很小，就会不关注这种容易分的样本

负样本预测概率为0.1也是容易区分的样本，0.1gamma次方会很小，loss也小，不关注

负样本或者正样本概率为0.5，都是不易区分样本，那么0.5gamma次方虽然虽然也是减少，但是相对而言减少得更少一些。

所以总体来说更加关注男区分样本，减少简单样本的影响
类别权重是对正负样本进行调节。要是你知道正负样本的分布的话，负样本较少，数值就调大一些。类别权重的值域在0~1。