精华内容
下载资源
问答
  • Huber loss
    2021-02-07 23:04:10

    Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对噪声(或叫离群点,outliers)的鲁棒性。

    当预测偏差小于 δ 时,它采用平方误差,
    当预测偏差大于 δ 时,采用的线性误差。

    相比于最小二乘的线性回归,Huber Loss降低了对离群点的惩罚程度,所以 Huber Loss 是一种常用的鲁棒的回归损失函数。

    Definition

    由定义可知 Huber Loss 处处可导

    更多相关内容
  • python中具有Huber准则的稀疏鲁棒线性回归 此代码说明了将Huber准则用于各种任务的说明。 它包含一个与本文相关的工具箱: Block-wise Minimization-Majorization Algorithm for Huber's Criterion: Sparse Learning...
  • HUBER+SUHNER(上海灏讯)公司推出了一整套用于光纤配线与管理的产品,称为LISA(Leading for Interconnect System Approach)互连解决方案。随着高清电视、视频点播、电视点播、用户自制电视节目、移动电视等服务...
  • 为提高随机变量非高斯分布时广义高阶容积卡尔曼滤波(GHCKF)的鲁棒性,提出一种基于Huber的鲁棒GHCKF算法.从近似贝叶斯估计角度,解释Huber方法作用于卡尔曼滤波的本质是对新息进行截断平均.采用Huber方法处理观测量,...
  • 利用基于最大似然准则的Huber函数压缩大于门限的误差,减小野值在算法中的权重。并采用双重门限对Huber函数作了改进,消除较大野值的权重,对较小的野值进行压缩,给出了门限参数的选取依据。该方法不需要噪声的先验...
  • HUBER+SUHNER推出了可应用于3G的新型快锁连接器QN和QMA系列,该系列连接器符合新的QLF标准,便于快速、灵活地安装,其广泛应用于射频,微波和数据通信领域,在为客户控制总成本上有着独到的优势。 QN和QMA系列连接器...
  • HUBER+SUHNER(灏讯中国)推出了新型的QMA系列衰减器,该款衰减器提供的衰减值为3、6以及10分贝,2瓦特信号衰减,固定使用频率范围至18千兆赫兹(0至6千兆赫兹经优化设计),从而代替了常规的SMA衰减器,也代表了...
  • Huber+Suhner推出世界上首款自动熄灭EMP保护器——SEMPER,这是该公司避雷(LEMP)和核(NEMP)器件的产品中的最新产品。据介绍,SEMPER自动熄灭保护器比气室放电避雷器更安全可靠,消除了DC/AC线路或高功率RF信号带来的...
  • 为使Huber-SVR更具鲁棒性,深入研究了Huber-SVR中参数与输入噪声之间的关系。运用SVR的贝叶斯框架,分别推导出了鲁棒的Huber-SVR中参数μ与拉斯噪声和均匀噪声之间呈近似线性关系,并结合仿真结果和已有的相关结论,...
  • 基于门控循环单元神经网络和Huber-M估计鲁棒卡尔曼滤波融合方法的锂离子电池荷电状态估算方法.pdf
  • <p>Cubature 卡尔曼滤波器(CKF) 在非高斯噪声或统计特性未知时滤波精度将会下降甚至发散, 为此提出了统计回归估计的鲁棒CKF 算法. 推导出线性化近似回归和直接非线性回归的鲁棒CKF 算法, 直接非线性回归克服了观测...
  • 针对低分辨率文档图像中噪声模型不确定、字符边缘和纹理走向复杂多变的问题,提出Geman&McClure(G&M)范数替代L1、L2范数用于提高算法的鲁棒性,设计了结合双边全变分(BTV)和Huber函数的正则化项,采用Lucas-Kanade...
  • Huber稳健估计

    2013-10-16 19:46:39
    鲁棒估计中的Huber估计,C#源码,仅供参考
  • 利用Huber罚凸优化函数从基因表达数据预测代谢通量
  • 首先使用WPF,MVVM和实体框架代码构建企业应用程序 这是Pluralsight上的Thomas Claudius Huber撰写的有关程序的演示应用程序。
  • 近日,HUBER+SUHNER公司成功的研制出了新产品-射频电子开关,该产品射频应用频率可达4GHz, 回波损耗性能优越达25dB,可通过最大4安培电流,能处理最大80瓦的射频信号。此项研究的成功为HUBER+SUHNER公司与未来需求...
  • 为了满足市场对更高传输频率连接器的需求,全球著名的通讯传送产品制造商HUBER+SUHNER近日推出了针对此设计的新型微型同轴电缆连接器MMPX系列产品,其传输频率高达65 GHz,最大限度地实现了客户利益。其主要优势在于...
  • HUBER+SUHNER推出了可应用于3G的新型快锁连接器QN和QMA系列,该系列连接器符合新的QLF标准,便于快速、灵活地安装,其广泛应用于射频,微波和数据通信领域,在为客户控制总成本上有着独到的优势。 QN和QMA系列连接器...
  • Huber Loss

    2021-07-27 10:07:29
    Huber Loss Huber Loss 是⼀个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。 当预测偏差小于 δ 时,它采用平方误差, 当预测偏差大于 δ 时,采用的线性...

    Huber Loss

    Huber Loss 是⼀个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。

    • 当预测偏差小于 δ 时,它采用平方误差,
    • 当预测偏差大于 δ 时,采用的线性误差。

    相比于最小二乘的线性回归,Huber Loss降低了对离群点的惩罚程度,所以 Huber Loss 是⼀种常用的鲁棒的回归损失函数。

    Huber Loss 定义如下:

    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • HUBER+SUHNER推出了全球第一款适合户外使用的高性能防水QMA连接器,可靠的防水性能、最新设计的接口可以满足电信和工业领域内客户的更高需求。 新款QMA连接器主要面向那些在室外应用时需要快速连接以及希望有效利用...
  • 全球著名通讯传送产品制造商HUBER+SUHNER(灏讯中国)推出了一种可支持通讯射频单元中高综合、小型化应用的超小型同轴连接器:MMBX系列(MICRO MINIATURE BOARD CONNECTOR),它是具有盲插功能和工作余量的板对板、...
  • TP04-HUBER-Florian

    2021-03-28 19:27:37
    TP04HUBER弗洛里安 该项目是使用版本11.2.2生成的。 开发服务器 为开发服务器运行ng serve 。 导航到http://localhost:4200/ 。 如果您更改任何源文件,该应用程序将自动重新加载。 代码脚手架 运行ng generate ...
  • Huber 9300控制器说明书

    2022-03-23 11:53:24
    Huber 9300控制器说明书
  • 一、huber函数的近似函数 众所周知我们rmse会对异常值的损失关注度特别高,mae对异常会没有那么敏感。将两者进行结合就可以更加关注大部分的样本的损失,减少关注异常值,在一定程度上提升模型的泛化能力。 h u b e...

    很多时候为了达到更好的训练效果我们需要改变损失函数,以加速数据的拟合。

    一、huber函数的近似函数

    众所周知我们rmse会对异常值的损失关注度特别高,mae对异常会没有那么敏感。将两者进行结合就可以更加关注大部分的样本的损失,减少关注异常值,在一定程度上提升模型的泛化能力。
    h u b e r l o s s = { 1 2 ( y t r u e − y p r e d ) 2           i f    ∣ y t r u e − y p r e d ∣ < δ δ ∣ y t r u e − y p r e d ∣ − 1 2 δ 2    i f    ∣ y t r u e − y p r e d ∣ > = δ huber_loss = \left\{\begin{matrix} \frac{1}{2}(y_{true} - y_{pred})^2 \ \ \ \ \ \ \ \ \ if\ \ |y_{true} - y_{pred}| < \delta \\ \delta|y_{true} - y_{pred}|-\frac{1}{2}\delta^2 \ \ if\ \ |y_{true} - y_{pred}| >= \delta \end{matrix}\right. huberloss={21(ytrueypred)2         if  ytrueypred<δδytrueypred21δ2  if  ytrueypred>=δ

    但是在gbdt模型中,需要运用一阶导与二阶导的比值来结算树节点的拆分增益。mse不具有二阶导。所以我们需要寻找近似可导函数来替代。
    P s e u d o _ h u b e r _ l o s s = δ 2 ( 1 + ( y ^ − y δ ) 2 + 1 ) Pseudo\_huber\_loss= \delta ^2(\sqrt{1 + (\frac{\hat{y} - y}{\delta})^2} + 1) Pseudo_huber_loss=δ2(1+(δy^y)2 +1)
    一阶导:
    g = δ 2 x 1 + ( x δ ) 2 ;    x = y ^ − y g = \delta ^2\frac{x}{\sqrt{1 + (\frac{x}{\delta})^2}};\ \ x=\hat{y} - y g=δ21+(δx)2 x;  x=y^y
    二阶导:
    h = δ 2 1 ( 1 + ( x δ ) 2 ) 3 2 h = \delta ^2\frac{1}{(1 + (\frac{x}{\delta})^2)^{\frac{3}{2}}} h=δ2(1+(δx)2)231

    二、boston数据集实战

    2.1 数据加载

    import lightgbm as lgb
    from sklearn.datasets import load_boston
    from sklearn.metrics import mean_absolute_error
    from sklearn.model_selection import train_test_split
    import pandas as pd
    import numpy as np
    
    bst_dt = load_boston()
    bst_df = pd.DataFrame(bst_dt.data, columns = bst_dt.feature_names)
    bst_df['target'] = bst_dt.target
    x_tr, x_te, y_tr, y_te = train_test_split(bst_df.drop('target', axis=1), bst_df['target'], test_size=0.2, random_state=42)
    
    

    2.2 sklearn接口lgb简单拟合

    
    lgb_params = {
        'objective' : 'regression',
        'num_leaves' : 30,
        'max_depth': 6,
        'metric': 'rmse',
        'bagging_fraction':0.9,
        'feature_fraction': 0.8,
        'n_jobs': -1 ,
        'n_estimators': 100,
        'subsample_for_bin': 500
    }
    
    lgb_model = lgb.LGBMRegressor(**lgb_params)
    lgb_model.fit(x_tr, y_tr, eval_set=[(x_tr, y_tr)], verbose=10)
    y_pred = lgb_model.predict(x_te)
    mae_o = mean_absolute_error(y_te, y_pred)
    

    自定义huber loss

    def huber_objective(y_true, y_pred):
        error = y_pred - y_true
        delta = 8
        scale = 1 + (error / delta) ** 2
        scale_sqrt = np.sqrt(scale)
        g = delta * delta / scale * error
        h = delta * delta / scale / scale_sqrt
        return g, h
    
    
    lgb_params.update({'objective': huber_objective})
    print(lgb_params)
    lgb_model = lgb.LGBMRegressor(**lgb_params)
    lgb_model.fit(x_tr, y_tr, eval_set=[(x_tr, y_tr)], verbose=10)
    y_pred = lgb_model.predict(x_te)
    mae_huber = mean_absolute_error(y_te, y_pred)
    mae_o, mae_huber
    

    结果简单分析

    仅仅从rmse上看,很显然,huber loss的损失会更大。我们进一步观察一下拟合差值
    的分布情况。

    """
    - rmse
    [10]    training's rmse: 4.78619
    [20]    training's rmse: 3.35349
    [30]    training's rmse: 2.84163
    [40]    training's rmse: 2.56263
    [50]    training's rmse: 2.35089
    [60]    training's rmse: 2.20306
    [70]    training's rmse: 2.06908
    [80]    training's rmse: 1.95886
    [90]    training's rmse: 1.86569
    [100]   training's rmse: 1.79135
    - huber
    [10]    training's rmse: 5.49376
    [20]    training's rmse: 3.54926
    [30]    training's rmse: 3.07389
    [40]    training's rmse: 2.89136
    [50]    training's rmse: 2.73511
    [60]    training's rmse: 2.61101
    [70]    training's rmse: 2.50242
    [80]    training's rmse: 2.42138
    [90]    training's rmse: 2.35478
    [100]   training's rmse: 2.30335
    (2.116972786370626, 2.0635595381991485)
    
    """
    

    从差值中,我们可以看出huber loss 对较为集中的值拟合较好,会忽略部分异常值。从target的分布看确实存在着小部分的异常值。用huber loss拟合的模型会具有更佳的泛化能力。
    在这里插入图片描述

    import matplotlib.pyplot as plt
    import seaborn as sns
    sns.distplot(bst_df['target'])
    plt.show()
    
    """
    rmse loss
    >>> (y_te-y_pred).map(int).value_counts()
     0     33
     1     16
    -1     16
     2     11
    -2      9
     4      5
     3      3
    -3      3
    -6      1
    -5      1
     18     1
    -12     1
     7      1
     5      1
    # huber loss
    >>> (y_te-y_pred).map(int).value_counts()
     0     37
    -1     18
     1     10
    -2      9
     2      8
     3      7
    -3      4
    -5      2
     4      2
     23     1
    -10     1
     7      1
     6      1
     5      1
    """
    

    参考

    展开全文
  • Huber-Hugo远程功能协议:H2RFP 主意 原始的H2事件协议(H2EP)处理由服务器和客户端平均生成的事件,并在另一端触发了一个事件。 这导致程序流程非常混乱,并且服务器和客户端实现之间存在高度的依赖关系。 具体地...
  • 近日,HUBER+SUHNER公司成功的研制出了新产品-射频电子开关,该产品射频应用频率可达4GHz, 回波损耗性能优越达25dB,可通过最大4安培电流,能处理最大80瓦的射频信号。
  • Huber和berHu损失函数

    千次阅读 2021-05-02 19:27:20
    Huber损失,平滑的平均绝对误差 Huber损失对数据中的异常点没有平方误差损失那么敏感。 本质上,Huber损失是绝对误差,只是在误差很小时,就变为平方误差。误差降到多小时变为二次误差由超参数δ(delta)来控制。...

    L1范数损失函数,也被称为最小绝对值偏差(LAD),最小绝对值误差(LAE)

    在这里插入图片描述

    L2范数损失函数,也被称为最小平方误差(LSE)
    在这里插入图片描述

    L2损失函数 : 不是非常的鲁棒 ; 稳定解 ;;;总是一个解
    L1损失函数 : 鲁棒 ;;;;;; 不稳定解 ; ; 可能多个解

    鲁棒性

    最小绝对值偏差之所以是鲁棒的,是因为它能处理数据中的异常值。如果需要考虑任一或全部的异常值,那么最小绝对值偏差是更好的选择。

    L2范数将误差平方化(如果误差大于1,则误差会放大很多),模型的误差会比L1范数来得大,因此模型会对这个样本更加敏感,这就需要调整模型来最小化误差。如果这个样本是一个异常值,模型就需要调整以适应单个的异常值,这会牺牲许多其它正常的样本,因为这些正常样本的误差比这单个的异常值的误差小。

    稳定性

    最小绝对值偏差方法的不稳定性意味着,对于数据集的一个小的水平方向的波动,回归线也许会跳跃很大。

    相反地,最小平方法的解是稳定的,因为对于一个数据点的任何微小波动,回归线总是只会发生轻微移动

    总结

    MSE对误差取了平方,如果存在异常值,那么这个MSE就很大。

    MAE更新的梯度始终相同,即使对于很小的值,梯度也很大,可以使用变化的学习率。MSE就好很多,使用固定的学习率也能有效收敛。
    在这里插入图片描述

    总而言之,处理异常点时,L1损失函数更稳定,但它的导数不连续,因此求解效率较低。L2损失函数对异常点更敏感,但通过令其导数为0,可以得到更稳定的封闭解。

    Huber

    l1和l2都存在的问题:

    若数据中90%的样本对应的目标值为150,剩下10%在0到30之间。

    那么使用MAE作为损失函数的模型可能会忽视10%的异常点,而对所有样本的预测值都为150,因为模型会按中位数来预测;

    MSE的模型则会给出很多介于0到30的预测值,因为模型会向异常点偏移。

    这些情况下最简单的办法是对目标变量进行变换。而另一种办法则是换一个损失函数,这就引出了下面要讲的第三种损失函数,即Huber损失函数。

    Huber损失,平滑的平均绝对误差

    Huber损失对数据中的异常点没有平方误差损失那么敏感。

    本质上,Huber损失是绝对误差,只是在误差很小时,就变为平方误差。误差降到多小时变为二次误差由超参数δ(delta)来控制。当Huber损失在[0-δ,0+δ]之间时,等价为MSE,而在[-∞,δ]和[δ,+∞]时为MAE。
    在这里插入图片描述

    berHu损失

    berHu恰恰和Huber相反,头很铁,当berHu损失在[0-δ,0+δ]之间时,等价为MAE,而在[-∞,δ]和[δ,+∞]时为MSE.

    这样做的目的,就是给一个 超严格的监督,让模型尽量达到最好效果 。

    参考:https://www.cnblogs.com/pacino12134/p/11104446.html

    展开全文
  • 使用 LMS 算法和 Huber 的成本函数最小化对 FIR 滤波器进行建模,以防止出现一定百分比的异常值。 在这里,我们必须识别和建模一个权重为 [0.26 0.93 0.26] 的 3 抽头 FIR 滤波器。 这必须使用: 1)均方误差最小化...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,343
精华内容 2,537
关键字:

huber

友情链接: MFCC提取.zip