精华内容
下载资源
问答
  • 多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息数据,在一定的准则下加以自动分析综合,以完成所需要的决策估计而进行的信息处理过程。...

     

     

    多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。

    1、多传感器融合几个概念

    硬件同步、硬同步:使用同一种硬件同时发布触发采集命令,实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。

     

    软件同步:时间同步、空间同步。

     

    时间同步、时间戳同步、软同步:通过统一的主机给各个传感器提供基准时间,各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息,可以做到所有传感器时间戳同步,但由于各个传感器各自采集周期相互独立,无法保证同一时刻采集相同的信息。

     

    空间同步: 将不同传感器坐标系的测量值转换到同一个坐标系中,其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。

     

    2、基本原理

    多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。在这个过程中要充分地利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

     

    3、多传感器的前融合与后融合技术

     

                                         图 1.2.2a后融合算法典型结构

    后融合算法:

    1. 每个传感器各自独立处理生成的目标数据。
    2. 每个传感器都有自己独立的感知,比如激光雷达有激光雷达的感知,摄像头有摄像头的感知,毫米波雷达也会做出自己的感知。
    3. 当所有传感器完成目标数据生成后,再由主处理器进行数据融合。

     

                                                    图 1.2.2a前融合算法典型结构

     

    前融合算法:

    1. 只有一个感知的算法。对融合后的多维综合数据进行感知。
    2. 在原始层把数据都融合在一起,融合好的数据就好比是一个Super传感器,而且这个传感器不仅有能力可以看到红外线,还有能力可以看到摄像头或者RGB,也有能力看到LiDAR的三维信息,就好比是一双超级眼睛。在这双超级眼睛上面,开发自己的感知算法,最后会输出一个结果层的物体。

     

    展开全文
  • 版权声明:本文为博主转载文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接本声明。 ...
    
    

     

    多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。

    1、多传感器融合几个概念

    硬件同步、硬同步:使用同一种硬件同时发布触发采集命令,实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。

     

    软件同步:时间同步、空间同步。

     

    时间同步、时间戳同步、软同步:通过统一的主机给各个传感器提供基准时间,各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息,可以做到所有传感器时间戳同步,但由于各个传感器各自采集周期相互独立,无法保证同一时刻采集相同的信息。

     

    空间同步: 将不同传感器坐标系的测量值转换到同一个坐标系中,其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。

     

    2、基本原理

    多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。在这个过程中要充分地利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

     

    3、多传感器的前融合与后融合技术

     

                                         图 1.2.2a后融合算法典型结构

    后融合算法:

    1. 每个传感器各自独立处理生成的目标数据。
    2. 每个传感器都有自己独立的感知,比如激光雷达有激光雷达的感知,摄像头有摄像头的感知,毫米波雷达也会做出自己的感知。
    3. 当所有传感器完成目标数据生成后,再由主处理器进行数据融合。

     

                                                    图 1.2.2a前融合算法典型结构

     

    前融合算法:

    1. 只有一个感知的算法。对融合后的多维综合数据进行感知。
    2. 在原始层把数据都融合在一起,融合好的数据就好比是一个Super传感器,而且这个传感器不仅有能力可以看到红外线,还有能力可以看到摄像头或者RGB,也有能力看到LiDAR的三维信息,就好比是一双超级眼睛。在这双超级眼睛上面,开发自己的感知算法,最后会输出一个结果层的物体。

     

    展开全文
  • 数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合数据融合
  • 内容包括:遥感影像融合:PCA变换融合,HIS变换融合,Brovery乘积变换融合。 内涵4种融合方式的matlab程序脚本。 适用于遥感应用的数字图像处理方向。
  • 程序实现了对两个传感器的ROC曲线,以及经过融合之后融合系统的ROC曲线,融合系统的融合规则包括“与”规则,“或”规则,以及NK表决融合,通过融合之后大大降低了系统的虚警概率,并且NK融合准则的融合性能较高
  • 投影融合 、桌面融合

    2020-12-02 13:15:04
    软件基于Windows开发的显示融合系统,运用显卡GPU运算处理,兼容NVIDIA、ATI各类显卡,纯GPU融合渲染,运算速度极快。支持任意弧面、球面、异面等不规则⾯面的几何校正。它比标准投影系统具备更大的显示尺寸、更宽的...
  • 利用ENVI对最佳波段组合高分辨率CBERS-02B影像进行校正、裁剪、融合,并对融合前后数据分别进行监督分类。通过比较融合前后分类结果的总体精度Kappa系数,发现多波段数据与高精度数据融合能够提高地物类型的分类...
  • nsct图像处理代码,关于图像融合方面的
  • 数据融合方法数据融合方数据融合数据数据融合方法融合方法方法法
  • 深度特征融合---理解addconcat之多层特征融合

    万次阅读 多人点赞 2019-03-08 18:00:38
    如何理解concatadd的方式融合特征 在各个网络模型中,ResNet,FPN等采用的element-wise add来融合特征,而DenseNet等则采用concat来融合特征。那add与concat形式有什么不同呢?事实上两者都可以理解为整合特征图...

    一、如何理解concat和add的方式融合特征

    在各个网络模型中,ResNet,FPN等采用的element-wise add来融合特征,而DenseNet等则采用concat来融合特征。那add与concat形式有什么不同呢?事实上两者都可以理解为整合特征图信息。只不过concat比较直观,而add理解起来比较生涩。
    在这里插入图片描述
    从图中可以发现,

    • concat是通道数的增加;
    • add是特征图相加,通道数不变

    你可以这么理解,add是描述图像的特征下的信息量增多了,但是描述图像的维度本身并没有增加,只是每一维下的信息量在增加,这显然是对最终的图像的分类是有益的。而concatenate是通道数的合并,也就是说描述图像本身的特征数(通道数)增加了,而每一特征下的信息是没有增加。
    concat每个通道对应着对应的卷积核。 而add形式则将对应的特征图相加,再进行下一步卷积操作,相当于加了一个先验:对应通道的特征图语义类似,从而对应的特征图共享一个卷积核(对于两路输入来说,如果是通道数相同且后面带卷积的话,add等价于concat之后对应通道共享同一个卷积核)。

    因此add可以认为是特殊的concat形式。但是add的计算量要比concat的计算量小得多。

    另解释:
    对于两路输入来说,如果是通道数相同且后面带卷积的话,add等价于concat之后对应通道共享同一个卷积核。下面具体用式子解释一下。由于每个输出通道的卷积核是独立的,我们可以只看单个通道的输出。假设两路输入的通道分别为X1, X2, …, Xc和Y1, Y2, …, Yc。那么concat的单个输出通道为(*表示卷积):
    在这里插入图片描述
    而add的单个输出通道为:
    在这里插入图片描述
    因此add相当于加了一种prior,当两路输入可以具有“对应通道的特征图语义类似”(可能不太严谨)的性质的时候,可以用add来替代concat,这样更节省参数和计算量(concat是add的2倍)。FPN[1]里的金字塔,是希望把分辨率最小但语义最强的特征图增加分辨率,从性质上是可以用add的。如果用concat,因为分辨率小的特征通道数更多,计算量是一笔不少的开销

    在这里插入图片描述
    Resnet是做值的叠加,通道数是不变的,DenseNet是做通道的合并。你可以这么理解,add是描述图像的特征下的信息量增多了,但是描述图像的维度本身并没有增加,只是每一维下的信息量在增加,这显然是对最终的图像的分类是有益的。而concatenate是通道数的合并,也就是说描述图像本身的特征增加了,而每一特征下的信息是没有增加。

    参考文章:https://blog.csdn.net/u012193416/article/details/79479935
    通过keras代码,观察了add对参数的影响,以及concat操作数组的结果。

    二、concat实操

    Concat层解析
    https://blog.csdn.net/weixin_36608043/article/details/82859673
    在channel维度上进行拼接,在channel维度上的拼接分成无BN层和有BN层。
    (1)无BN层:直接将deconvolution layer 和convolution layer concat。实验结果表明,该方式取得的结果精度较低,低于原有的VGG模型,分析主要的原因是漏检非常严重,原因应该是concat连接的两层参数不在同一个层级,类似BN层用在eltwise层上。

    (2)有BN层:在deconvolution layer 和convolution layer 后面加batchnorm和scale层(BN)后再concat。实验结果表明,该方式取得了比原有VGG模型更好的检测效果(表中的迭代次数还没有完哦),增加了2%的精度,但是速度上慢了一些。
    在这里插入图片描述
    总结:concat层多用于利用不同尺度特征图的语义信息,将其以增加channel的方式实现较好的性能,但往往应该在BN之后再concat才会发挥它的作用,而在num维度的拼接较多使用在多任务问题上,将在后续的博客中介绍,总之concat层被广泛运用在工程研究中。

    三、concat与add实例

    3.1 Densenet

    https://blog.csdn.net/Gentleman_Qin/article/details/84638700
    与inception 的加宽网络结构以及ResNet的加深网络结构不同,DenseNet着重于对每一层feature maps的重复利用。在一个Dense block中,每一个卷积层的输入都是前几个卷积层输出的concatenation(拼接),这样即每一次都结合了前面所得到的特征,来得到后续的特征。
    但是,其显存占用率高的缺点也比较明显(因为concatenation,不过好在后续有了解决方法:(论文)Memory-Efficient Implementation of DenseNets)。

    DenseNet优势:
    (1)解决了深层网络的梯度消失问题
    (2)加强了特征的传播
    (3)鼓励特征重用
    (4)减少了模型参数
    (5)能够减少小样本的过拟合问题
    DensNet缺点:
    (1)非常消耗显存

    Densnet基本结构

    DenseNet的网络基本结构如上图所示,主要包含DenseBlock和transition layer两个组成模块。其中Dense Block为稠密连接的highway的模块,transition layer为相邻2个Dense Block中的那部分。
    在这里插入图片描述

    DenseBlock结构

    在这里插入图片描述
    上图是一个详细的Dense Block模块,其中

    • 层数为5,即具有5个BN+Relu+Conv(3*3)这样的layer,
    • 网络增长率为4,简单的说就是每一个layer输出的feature map的维度为4。
    • 由于DenseNet的每一个Dense Block模块都利用到了该模块中前面所有层的信息,即每一个layer都和前面的layer有highway的稠密连接。假设一个具有L层的网络,那么highway稠密连接数目为L*(L+1)/2。

    和Resnet不同的是,这里的连接方式得到的feature map做的是concat操作,而resnet中做的是elementwise操作。

    DenseNet降维

    highway的稠密连接方式具有诸多的优势,增加了梯度的传递,特征得到了重用,甚至减少了在小样本数据上的过拟合。但是随之产生2个缺点:
    (1)DenseBlock靠后面的层的输入channel过大—每层开始的时候引入Bottleneck
    这里假设第L层输出K个feature map,即网络增长率为K,那么第L层的输入为K0+K*(L-1),其中K0为输入层的维度。也就是说,对于Dense Block模块中每一层layer的输入feature map时随着层数递增的,每次递增为K,即网络增长率。那么这样随着Dense Block模块深度的加深,后面的层的输入feature map的维度是很大的。
    为了解决这个问题,在DenseNet-B网络中,在Dense Block每一层开始的时候加入了Bottleneck 单元,即1x1卷积进行降维,被降到4K维(K为增长率)。

    (2) DenseBlock模块的输出维度很大—transition layer模块中加入1*1卷积降维
    每一个DenseBlock模块的输出维度是很大的,假设一个L层的Dense Block模块,假设其中已经加入了Bottleneck 单元,那么输出的维度为,第1层的维度+第2层的维度+第3层的维度+****第L层的维度,加了Bottleneck单元后每层的输出维度为4K,那么最终Dense Block模块的输出维度为4KL。随着层数L的增加,最终输出的feature map的维度也是一个很大的数。
    为了解决这个问题,在transition layer模块中加入了1
    1卷积做降维。 在这里插入图片描述

    在这里插入图片描述

    其中,DenseNet-B在原始DenseNet的基础上,在Dense Block模块的每一层都加入了1*1卷积,使得将每一个layer输入的feature map都降为到4k的维度,大大的减少了计算量。

    DenseNet-BC在DenseNet-B的基础上,在transitionlayer模块中加入了压缩率θ参数,论文中将θ设置为0.5,这样通过1*1卷积,将上一个Dense Block模块的输出feature map维度减少一半。

    附:tensorflow下实现DenseNet对数据集cifar-10的图像分类
    https://blog.csdn.net/k87974/article/details/80352315

    3.2 Feature-Fused SSD: Fast Detection for Small Objects

    https://blog.csdn.net/zhangjunhit/article/details/78031452
    在这里插入图片描述
    这里我们尝试了两种融合策略:concat和add

    Concatenation Module
    在这里插入图片描述
    Element-Sum Module
    在这里插入图片描述

    3.3 Scene Classification Based on Two-Stage Deep Feature Fusion

    https://www.cnblogs.com/blog4ljy/p/8697313.html
    在这里插入图片描述

    3.4 Deep Heterogeneous Feature Fusion for Template-Based Face Recognition

    https://blog.csdn.net/u011732139/article/details/69943954
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 深度特征融合---高低层(多尺度)特征融合

    万次阅读 多人点赞 2019-03-09 23:00:07
    在很多工作中,融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。高层特征具有更强的语义信息,但是分辨率很低,对...

    概述

    基本概念

    在很多工作中,融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。如何将两者高效融合,取其长处,弃之糟泊,是改善分割模型的关键。
    很多工作通过融合多层来提升检测和分割的性能,按照融合与预测的先后顺序,分类为早融合(Early fusion)和晚融合(Late fusion)。

    早融合(Early fusion): 先融合多层的特征,然后在融合后的特征上训练预测器(只在完全融合之后,才统一进行检测)。这类方法也被称为skip connection,即采用concat、add操作。这一思路的代表是Inside-Outside Net(ION)和HyperNet。 两个经典的特征融合方法:
    (1)concat:系列特征融合,直接将两个特征进行连接。两个输入特征x和y的维数若为p和q,输出特征z的维数为p+q;
    (2)add:并行策略[36],将这两个特征向量组合成复向量,对于输入特征x和y,z = x + iy,其中i是虚数单位。

    晚融合(Late fusion):通过结合不同层的检测结果改进检测性能(尚未完成最终的融合之前,在部分融合的层上就开始进行检测,会有多层的检测,最终将多个检测结果进行融合)。这一类研究思路的代表有两种:
    (1)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
    (2)feature进行金字塔融合,融合后进行预测,如Feature Pyramid Network(FPN)等。

    DenseASPP for Semantic Segmentation in Street Scenes
    语义分割–(DenseASPP )DenseASPP for Semantic Segmentation in Street Scenes

    典型方法概述

    在本文中,我们介绍了多篇文章,但归纳起来共讨论了4类方法:
    (1)早融合:用经典的特征融合方法:在现有的网络(如VGG19)中,用concat或add融合 其中的某几层;

    • FCN、Hypercolumns—>add
    • Inside-Outside Net(ION)、 ParseNet 、HyperNet—>concat
    • 变种:用DCA特征融合方法代替concat和add操作;

    (2)晚融合:
    (2.1)采用类似特征金字塔网络(FPN)的思想,对特征融合后进行预测。 (FPN一般用于目标检测,提高小目标检测能力) 三个变种:

    • YOLO2的方法,只在金字塔的top-down路径的最后一层进行预测,此外还有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
    • YOLO3的方法,在金字塔的每一层都进行预测
    • FSSD的方法,对 FPN进行细微改造

    (2.2)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)

    (3)用一个具有高低特征融合能力的网络替代普通的网络,如Densenet;
    (4)不进行高低层特征融合,而是在高层特征预测的基础上,再用底层特征进行预测结果的 调整

    相关工作:多尺度模型设计

    【AI不惑境】深度学习中的多尺度模型设计

    ===========================================================================================

    Deep Feature Fusion for VHR(高分辨率图像) Remote Sensing Scene Classification(DCA特征融合方法)

    https://blog.csdn.net/snail_crawling/article/details/84568071
    特征融合的目的,是把从图像中提取的特征,合并成一个比输入特征更具有判别能力的特征。如何正确融合特征是一个难题。两个经典的特征融合方法

    (1)concat:系列特征融合[35],直接将两个特征进行连接。两个输入特征x和y的维数若为p和q,输出特征z的维数为p+q;
    (2)add:并行策略[36],[37],将这两个特征向量组合成复向量,对于输入特征x和y,z = x + iy,其中i是虚数单位。

    孙等人[38]引入典型相关分析canonical correlation analysis (CCA) 来融合特征。基于CCA的融合方法使用两个输入特征间的相关关系,计算两种变换,变换后的特征比输入的两个特征集有更高的相关性 。
    CCA的主要不足,在于忽略了数据集中类结构间的关系。我们想要最大化特征集之间的相关性,所以将每组特征中的类分开。
    最近,[44]解决了CCA的弱点,引入了DCA。DCA最大化两个特征集中对应特征的相关关系,同时最大化不同类之间的差异
    在这里插入图片描述

    基于神经网络的目标检测论文之目标检测方法:改进的SSD目标检测算法(DensNet)

    我们的改进是使用DenseNet代替原始SSD结构中的VGG,以提高目标检测准确性。图4-9显示了以DenseNet为基础网络的SSD。
    改进后的SSD网络对小物体比较敏感,能够对小物体产生很好的拟合。SSD中小物体检测的弱点可以通过所提出的模型来解决,并且对于具有独特上下文的类来说,性能更好。
    在这里插入图片描述
    在这里插入图片描述

    FPN(feature pyramid networks)

    https://blog.csdn.net/wangdongwei0/article/details/83140839
    https://blog.csdn.net/WZZ18191171661/article/details/79494534

    特征金字塔是识别不同尺度的目标时常用的结构,但是特征金字塔需要较大的计算量和显存,所以最近研发的一些探测器都不再使用这种结构。
    作者开发出的一种构建特征金字塔的新方法,可以减少额外的对计算量和显存的消耗
    使用FPN作为backbone,Faster RCNN的精度进一步提升(因为提取的特征更加丰富),速度为6fps on a GPU
    最近在coco和imagenet上取得靠前名次的网络都采用了多尺度的方法。

    在这里插入图片描述
    在这里插入图片描述

    YOLOv3——引入:FPN+多尺度检测 (目标检测)(one-stage)(深度学习)(CVPR 2018)

    https://blog.csdn.net/Gentleman_Qin/article/details/84350496
    在这里插入图片描述
    YOLOv2网络结构中有一个特殊的转换层(Passthrough Layer),假设最后提取的特征图的大小是1313,转换层的作用就是将前面的2626的特征图和本层的1313的特征图进行堆积(扩充特征维数据量),而后进行融合,再用融合后的特征图进行检测。这么做是为了加强算法对小目标检测的精确度。为达更好效果,YOLOv3将这一思想进行了加强和改进。
    **YOLO v3采用(类似FPN)上采样(Upsample)和融合做法,融合了3个尺度(13
    13、2626和5252),在多个尺度的融合特征图上分别独立做检测**,最终对于小目标的检测效果提升明显。(有些算法采用多尺度特征融合的方式,但是一般是采用融合后的单一特征图做预测,比如YOLOv2,FPN不一样的地方在于其预测是在不同特征层进行的。)
    在这里插入图片描述

    融合特征的SSD:对小目标的快速检测

    FSSD: Feature Fusion Single Shot Multibox Detector
    https://blog.csdn.net/wangxujin666/article/details/83065261
    https://blog.csdn.net/Dlyldxwl/article/details/79324944
    本文是以SSD为基底进行“改造”的一篇文章。SSD是从网络的不同层中抽取不同scale的feature直接做predict,所以没有充分融合不同scale的feature。后续有提出DSSD,RSSD等改进方法,但是因为模型的complexity导致速度变慢很多。**本文借鉴了FPN的思想,重构了一组pyramid feature map,**使得算法的精度有了明显的提升,速度也没有太降。先看一张图直观感受一下FSSD对比其它算法的效果。

    Approach
    对比下图中几种结构:
    在这里插入图片描述
    (a)中棕色的block之间没有联系,所以是使用不同scale的图片来生成不同scale的feature map进行predict,这是最不高效的一种方法;
    (b)代表faster rcnn之类的two-stage算法,利用某一个scale的feature map来生成多scale的anchors去检测multi-scale objects;
    ©是典型的Top-Down结构,FPN为代表网络。该结构在此不做赘述,有不清楚的移步这里。DSSD也是该网络结构的应用;
    (d)是SSD的结构代表图,从网络不同层抽取不同scale的feature做预测,这种方式不会增加额外的计算量,但是各个scale之间没有联系;
    (e)是FSSD的结构图,就是把网络中某些feature调整为同一szie再 contact,得到一个像素层,以此层为base layer来生成pyramid feature map,作者称之为Feature Fusion Module。

    Feature Fusion Module

    下面解释一下Feature Fusion Module。

    作者用一组公式表示整个过程:
    在这里插入图片描述
    对公式的字母含义进行说明:

    (1)Xi 是前置网络中希望融合的feature map,作者在文中说明了size小于10的feature map能合并的信息太少了,因此不做考虑,此外将conv6-2的stride设为1,这样conv7-2的size就是10了(给出FSSD的网络结构链接),所以选择 conv4-3 (38*38) ,fc7 , conv7-2输出的feature map来进行融合(为什么非用7-2,难道原始s=2的6-2用起来效果很差?作者没有说明)。至于为什么不用conv3-3的特征,可以对比Tab 2的2,3行看出;
    (2)Ti 表示对feature map进行降采样或者上采样方法的选择,目的让其scale一致。FSSD中均采用billnear将fc7 , conv7-2的scale统一为38;
    (3)φf 是选择对scale一致的feature map进行Contact还是Element-wise sum。目的是融合feature map生成一个scale的feature,FSSD应用了concact,可对比Tab 2的2,7两行看出;
    (4)**φp是如何利用得到的feature重构一组predict layer,也即Pyramid feature maps,**作者实验了Fig 3中的三种结构,其中棕色的block用来做predict,第一个结构使用fusion feature map作为第一层,**第二个是fusion feature map接了个33卷积后作为第一层,**最后一个结构是对于每一个predict层都先用11卷积来降低计算量,也就是bottleneck layer。从Tab 1可以看出中间的效果最好。
    在这里插入图片描述

    利用多层卷积神经网络(CNN)特征的互补优势 进行图像检索

    https://blog.csdn.net/qq_40716944/article/details/78506086
    高层特征用于度量语义相似度,低层特征用于度量细粒度相似度。给出一个简单易懂的例子,当查询图像是一个建筑物时,高层相似性捕捉到的图像包含一个建筑物,而低层相似性则捕获同一个从属同类实体的建筑物。显然,低层和高层特征的互补性可以提高查询图像与其他候选图像之间的相似性度量。一些现有的方法试图利用多尺度无序汇集来进行CNN激活。例如,CNN特征分别从不同层次提取和编码,然后将这些不同层次的聚合特征进行连接以测量图像。但直接拼接不能充分利用高层和低层特征的互补性。高层特征可以搜索具有相似语义的候选图像的集合作为查询图像,但是它不足以描述细粒度的细节。因此,高层相似性会削弱低层相似性的有效性,当最近邻居之间的细粒度差别被区分时,语义相似。
    在本文中,我们建议以一种简单而有效的方式利用不同层次的CNN特征的更多互补优势。我们的方法试图突出低层相似性的有效性,当查询图像和最近的邻居之间的细粒度的相似性与相似的语义。换句话说,低层特征用于细化高层特征的排序结果,而不是直接连接多个层。如图2所示,高层特征不足以描述细节信息,而低层特征则来自背景混乱和语义歧义。以直接拼接的方式,由于高层相似度的影响,低层相似度在区分细粒度差异方面不起重要作用。使用映射函数,我们的方法利用低层特征来测量查询图像与具有相同语义的最近邻居之间的细粒度相似性。在实验中,我们证明了我们的方法比单层功能,多层连接以及其他基于手工特征的方法更好。

    五种方法提升特征融合的效率

    参考文章:
    ExFuse: Enhancing Feature Fusion for Semantic Segmentation
    https://arxiv.org/abs/1804.03821
    https://blog.csdn.net/u010158659/article/details/80413719
    https://blog.csdn.net/weixin_41876817/article/details/83058437
    这篇文章着重研究语义分割网络中高低层特征融合的效率问题。本文发现,当前语义分割方法直接融合高、低特征并不奏效,继而提出新架构 ExFuse.

    本文工作主要聚焦于 U-Net 分割架构的特征融合问题,并选择当前最优的 U-Net 架构之一——全局卷积网络(Global Convolutional Network/GCN)——作为主要的 backbone 分割架构.

    这篇文章从两个大的方向上提出了改善思路,即
    (1).增加低层特征的语义
    (2).在高层特征中增加更多空间信息。

    其中包括5个改善的细节,在下面一一介绍。

    (1)Direction 1: Introducing More Semantic Information into Low-level Features
    这篇文章中,作者为了增加低层特征的语义信息做了三点改进:

    • 网络结构重排(layer rearrengement),构建更适合于分割的预训练模型;
    • 深度语义监督(semantic supervision);
    • 语义嵌入支路(semantic embedding branch),将高层特征融入低层特征。

    (2)Direction 2: Embedding More Spatial Resolution into High-level Features
    高层特征空间信息的损失只要是由于其自身的低分辨率(尺寸小)。这篇文章尝试将更多的空间特征融入到通道(channel)中去,包括:

    • 通道分辨率嵌入(explicit channel resolution embedding);
    • 稠密邻域预测(densely adjacent prediction)。

    上述每一方法都带来了显著提升,组合使用涨点高达 4%。

    展开全文
  • 用MFC实现图像融合和叠加功能-用MFC实现图像融合和叠加功能.rar VC 图像处理程序,用MFC实现图像融合和叠加功能. 所含文件: Figure4.jpg
  • 模型融合Blending Stacking

    千次阅读 2020-03-03 00:19:54
    机器学习中很多训练模型通过融合方式都有可能使得准确率等评估指标有所提高,这一块有很多问题想学习,于是写篇博客来介绍,主要想解决: 什么是融合? 几种方式融合 基本的模型融合组合及适用场景、优缺点等 什么...
  • 以前在传感器融合讲过数据级的融合(深度图)任务级的融合(比如检测),大家有时候讨论前融合和后融合的区别,或者是一种中间层融合。提到过的摄像头激光雷达在目标检测任务的融合方法,有AVOD、PointFusion、...
  • 融合

    千次阅读 2018-03-07 17:16:04
    融合融合的一个子集,融合是指计算存储部署在同一个节点上,相当于多个组件部署在一个系统中,同时提供计算存储能力。物理融合系统中,计算存储仍然可以是两个独立的组件,没有直接的相互依赖关系。超融合...
  • 图像融合之拉普拉斯融合

    万次阅读 2017-08-28 19:51:01
    图像的拉普拉斯融合,图像融合这一块之前几乎可以说零接触。最近再看深度学习的相关内容,看到卷积神经网络(CNN)那里池化的概念的时候,作者说如果之前对图像金字塔分割与融合有一个很好的了解的时候会好理解一些...
  • 数据融合

    千次阅读 2018-04-27 10:11:36
    随着数据融合和计算机应用技术的发展,根据国内外研究成果,多传感器数据融合比较确切的定义可概括为充分利用不同时间与空间的多传感器数据资源,采用计算机技术对按时间序列获得的多传感器观测数据,在一定准则下进行...
  • OpenGL 融合和透明

    千次阅读 2017-07-26 20:28:41
    OpenGL 融合和透明 前言:上午一直处于浑噩状态,刷一下四个小时就没了。就这样看着电脑,“思考人生”! 1.OpenGL颜色的融合 OpenGL融合是一种基本的图形图像处理技术。所谓融合处理,...
  • 还可做主动立体3D融合,但现在又多了一种,做被动立体融合不需要双机叠加也可实现被动立体融合,这种方案除了使用的3D设备及眼镜不一样之外,所有配置主动立体融合一模一样。相对于主动立体融合只需要更换两部分,...
  • 对用各种算法融合的图像进行客观的评价。解决图像融合后视觉分辨不出来质量高低
  • 融合架构

    2018-04-01 23:37:53
    融合架构,超融合架构,超融合架构,超融合架构,超融合架构,超融合架构
  • 对于网络融合融合不仅仅体现于技术方面,还涉及业务的融合、管理的融合、运营的融合和管制的融合,将是一个长期的过程,设备供应商业务提供商可先把注意力集中在特定市场的特定融合需求上,在战术上采用能够满足...
  • Native Web 融合.pdf

    2018-08-15 17:26:01
    Native Web 融合.pdfNative Web 融合.pdfNative Web 融合.pdf
  • 新零售:场景融合,业态融合与资本融合.pdf
  • matlab编写的影像融合程序,包括Brovey变换融合、加权融合、HIS变换融合、高通滤波融合四种.rar
  • 毫米波雷达视觉融合简记

    千次阅读 多人点赞 2019-05-09 15:19:01
    毫米波雷达视觉传感器融合笔记毫米波雷达摄像头概述毫米波雷达视觉传感器融合时间融合空间融合 毫米波雷达摄像头概述 毫米波雷达视觉传感器融合 时间融合 空间融合 一、毫米波雷达摄像头概述 ...
  • 针对视频信息具有的多模态性质,提出了融合视音频多种模态特征信息的视频融合分析框架,用以提高视频检索的正确率效率。该框架根据从视频底层提取出的多种图像特征、音频特征,采用基于图嵌入框架的降维算法MFA降维,...
  • 图像融合

    千次阅读 多人点赞 2019-06-20 14:42:09
    图像融合 所有本文中提到的算法实现下载,Github。
  • matlab编写的影像融合程序,包括Brovey变换融合、加权融合、HIS变换融合、高通滤波融合四种

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 392,893
精华内容 157,157
关键字:

前融合和后融合