精华内容
下载资源
问答
  • Lp范数详解

    千次阅读 2021-07-23 22:27:57
    看到代表范数(Norm)时一头雾水,这是啥。。。 先给一个通式 再来一个图像 p=0 表示向量中非0元素的个数 但由于是个NP-hard问题,很难求解,所以常将L0问题转为L1问题 p=1 表示向量中所有元素绝对值之和。 ...

    看到 \left \| . \right \|_{p}代表范数(Norm)时一头雾水,这是啥。。。

    先给一个通式

     再来一个图像

    p=0 

    表示向量中非0元素的个数

    但由于是个NP-hard问题,很难求解,所以常将L0问题转为L1问题

    p=1

    表示向量中所有元素绝对值之和。

    难有平滑解,借助现有凸优化算法(线性规划或是非线性规划),就能够找到我们想要的可行解。

    p=2

    表示向量(或矩阵)的元素平方和开根号,可理解为向量的模

    更容易找到最优解

    Why范数?

    较小数据集时容易发生过拟合(机器太聪明而显得过于死板),所以需要范数稀释矩阵(使之变为稀疏矩阵)

    How范数?

    损失函数中加入正则项,比如用 L1范数表示的正则项,只要使得 L1范数的数值尽可能变小,就能够让我们期望的解变成一个稀疏解 (即解的很多元素为0)。

    如果我们想解决的优化问题是损失函数最小化。优化目标就变成minf(x)+\left \| x \right \|_{1}

    What范数?

    待训练集   Ax=b

    A 是一个训练数据构成的矩阵,b是一个带有标签的向量,这里的x是我们希望求解出来的解。

     

     若A不是满秩的(训练样本行数少),x(特征)恰巧又很多,有那么x就不是唯一解

    多余的x不是都有用,这样就要引入L1,x稀疏后非零值就为有用的特征(留下的都是有用的)

    ps:稀疏程度要把范数数值和损失函数结合来看

     图像

    如果我们绘制所有 L1 范数等于常数 c 的点,这些点应该形成如下所示的东西(红色)它的形状是一个正方形 (红色线),不过在这些边上只有很少的点是稀疏的,即与坐标轴相交的4个顶点

    \left | x \right |+\left | y \right |=c

     

     把红色的正方形( 范数为常数)与蓝色的线 (线性解)放在同一个坐标系,于是,我们发现蓝线与横轴的交点恰好是满足稀疏性要求的解。同时,这个交点使得 范数取得最小值。

    更深层参考:

    https://www.jianshu.com/p/de05e6745fb6

    https://rorasa.wordpress.com/2012/05/13/l0-norm-l1-norm-l2-norm-l-infinity-norm/

    https://blog.mlreview.com/l1-norm-regularization-and-sparsity-explained-for-dummies-5b0e4be3938a

    展开全文
  • 基于Lp范数的Split Bregman迭代算法用于生物自发荧光断层成像,胡熠昉,刘杰,分子影像技术是一门运用影像学手段显示组织水平、细胞和亚细胞水平的特定分子,反映活体状态下分子水平变化,对生物学行为在影像
  • Lp范数与数据拟合

    千次阅读 2018-05-17 23:11:45
    Lp范数--------------------------------------------------------------------------------------定义如下,p取值范围[0,+∞)其中L0范数表示非零数据的个数 L+∞范数表示数据中的最大值 L-∞ 范数表示数据中的...

    Lp范数


    定义如下,p取值范围[0,+∞) 

    其中L0范数表示非零数据的个数

       L+∞范数表示数据中的最大值

       L-∞ 范数表示数据中的最小值

     

    与数据拟合的关系


    数据拟合中,通常说通过Lp范数最小化求解,是指yi的p次方和作为损失函数(无需再开p次方)

      

    损失函数最小,以求解表达式中的参数。通常取 p>=1(主要是了大数据计算方便)

    实际在小数据、少量参数情况下,通过优化算法,可以实现0<p<1情况的数据拟合

    以上公式只有在p=0,以及p=+∞时,才需要严格按照Lp范数的定义赋予损失函数

     

    要理解Lp范数对数据拟合的意义,我们先考虑如下情况

    p= 0  时,a 的结果为数列X的     众数 (由于0^0问题,此时损失函数需要按L0范数的定义写)

    p= 1  时,a 的结果为数列X的  中位数

    p= 2  时,a 的结果为数列X的  平均数

    p=+∞时,a 的结果为数列X的  中程数(即最大数与最小数的平均值,此时损失函数需要按L+∞范数的定义写)

     

    以上结论可以完全适用在Lp范数最小化的数据拟合上(偏差=真实数据-拟合函数预测值)

    在对异常值敏感度上,某数据在偏差Lp范数总和(损失函数)中占比越大,则对结果影响越大

    如p=2,异常值对应的偏差 y - f(a ,b...) (通常较大) 经过平方之后,在损失函数值中占比更大

    对结果的影响也更大,因此,相比L1范数求解方法,L2范数对异常值更敏感


    总结,Lp范数最小化进行数据拟合时,有如下意义:

       L0范数为      众数回归,对异常值    无感,有0偏差最多

       L1范数为   中位数回归,对异常值不敏感,有正偏差和负偏差数量相等

       L2范数为   平均数回归,对异常值较敏感,有平均偏差为0

       L+∞范数为中程数回归,对异常值高敏感,有最大正偏差和最小负偏差绝对值相等

     

    对于p等于其它数,其结果和对异常值的敏感性将介于以上两者其间

    如L0.5范数最小化数据拟合,应是融合中位数和众数的一种回归,对异常值敏感性也介于不敏感和无感之间

    0<p<1 的范数最小化数据拟合,能进一步降低异常值影响(相对于L1范数),同时把握整体规律,不至于陷入局部众数的影响(相对于L0范数),并在两者之间取得一个平衡。当然,其缺点也是有的,比如计算复杂、容易局部最优等,因此在实际应用中并不常见。

     

    参考资料


    https://blog.csdn.net/tiandijun/article/details/50380538

    https://www.zhihu.com/question/46664595

    展开全文
  • L0范数:是指向量中非0的元素的个数。 L1范数:是指向量中各个元素绝对值之和。 L2范数:是指向量各元素的...Lp范数: 是指向量各个元素绝对值p次方和的1/p次方。 无穷范数:是指向量中各个元素绝对值的最大值。 ...

    L0范数:是指向量中非0的元素的个数。

    L1范数:是指向量中各个元素绝对值之和。

    L2范数:是指向量各元素的平方和然后求平方根。

    Lp范数: 是指向量各个元素绝对值p次方和的1/p次方。

    无穷范数:是指向量中各个元素绝对值的最大值。

    展开全文
  • sas噪声环境下基于lp范数的music算法
  • 三种Lp范数距离定义

    2021-05-10 00:09:05
    L1范数,所有元素的绝对值之和。 L2范数,所有元素平方再开方。 L∞范数,所有行中某一行最大的所有元素的绝对值之和代表它。

    L1范数,所有元素的绝对值之和。
    L2范数,所有元素平方再开方。
    L∞范数,所有行中某一行最大的所有元素的绝对值之和代表它。

    展开全文
  • lp_music_lp范数_MUSIC算法.zip
  • 基于lp范数和融合字典的人脸识别算法.pdf
  • 迭代权重最小二乘(Iteratively reweighted least squares, IRLS) [1] 方法用于求解\(p\)范数(\(p\) norm)的最小化问题。问题如下: \[\arg \min_{x} \sum_{i} | y_i - f_i (x) |^p\] 通过迭代的方法,在每次迭代我们...
  • 该存储库适用于以下论文中介绍的具有Lp范数约束的非凸优化(NOLC),并且是在Matlab R2014a中构建的。 Zhang T,Wu H,Liu Y,et al。 [J]。 遥感,2019,11(5):559。 有关我的更多信息,您可以访问我的。 内容 ...
  • lp_music_lp范数_MUSIC算法_源码.zip
  • 针对已有的基于l
  • lp范数约束的去冲击干扰优化算法.pdf
  • 分数O-U过程的最小Lp范数估计的相合性,苗雨,郑凯,这篇文章我们将通过一个分布朗运动的极大不等式给出分数0-U过程参数的最小lp范数估计的相合性.
  • 基于LP范数最大化的线性判别分析
  • 基于Lp范数的样本对加权的人脸识别.pdf
  • 为了克服L2范数的去噪模型不能保持图像边缘和L1范数的总变差(total variation,TV)模型容易引起梯子现象的缺陷,提出了一个基于Lp(1≤p≤2)范数的自适应模型,并且给出了自适应函数p(x,y)的构造公式。将Primal-Dual...
  • 基于矩阵的IRLS算法用于二维FIR滤波器的最小lp范数设计
  • 提出一种HSV颜色直方图与像素的位置空间金字塔结合的方法,该方法既考虑像素的信息,又考虑了像素的位置信息,来进行视频镜头分割。将图像进行一次亚采样,对得到的第一层亚采样图像进行均匀的四分割;...
  • 研究了 l p ( p>1)下的两台平行同型机的半在线排序问题 .对于分别已知即将到来的工件队列的最大工件尺寸,工件总加工时间分别对应的 P2| max| l p , P2| sum| l p两类问题,提出了最优的半在线算法.
  • 取次对角线数据matlab代码libigl-一个简单的C ++几何处理库 开始使用: git clone --recursive ...libigl是一个简单的C ++几何处理库。 我们具有广泛的功能,包括构造稀疏的离散微分几何算子和有限元矩阵,例如切线...
  • LP范数

    千次阅读 2017-06-05 20:18:58
    一维情况 ...%description:p范数 clc close all clear all x1= -2:0.01:2; x=abs(x1); p=[0.5 1 2]; y1=x.^(p(1)); y2=x.^(p(2)); y3=x.^(p(3)); plot(x1,y1,'c:','linewidth',2); hold on plot(x1
  • Lp距离, L1范数, 和 L2范数

    千次阅读 2018-10-18 17:49:19
    原文地址:https://blog.csdn.net/hanhuili/article/details/52079590
  • Lp距离, L1范数, 和L2范数

    万次阅读 2016-07-31 17:12:22
    LpL_p距离, L1L_1范数, 和 L2L_2范数LpL_p 距离定义为: Lp(xi,xj)=(∑l=1n|x(l)i−x(l)j|p)1p L_p(x_i, x_j) = \left( \sum_{l=1}^{n} | x_i^{(l)} - x_j^{(l)} |^p \right)^{\frac{1}{p}} 其中xi∈Rnx_i \in \...
  • Lp空间和L范数

    万次阅读 2018-09-18 15:20:56
    1. Lp空间和L范数 1.1 Lp空间: Lp空间是由p次可积函数组成的空间; 1.2 L范数:给定向量 ...Lp范数:向量各个元素绝对值的p次方求和然后求1/p 次方 范数:向量各个元素求绝对值,最大那个元素的绝对值...
  • 几种范数的简单介绍

    万次阅读 多人点赞 2016-06-25 10:48:05
    在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,
  • 向量、矩阵的范数--Lp定义

    千次阅读 2020-11-16 21:44:10
    ➤01 向量范数(Norm) 1.定义 对于向量xˉ\bar xxˉ的范数LpL_pLp​定义如下: ∥xˉ∥p=(∑i∣xi∣p)1p\left\| {\bar x} \right\|_p = \left( {\sum\limits_i^{} {\left| {x_i } \right|^p } } \right)^{{1 \over...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,675
精华内容 670
关键字:

lp范数