精华内容
下载资源
问答
  • 高层特征和底层特征
    万次阅读 多人点赞
    2020-10-04 13:57:07

    前言

      在计算机视觉中,大家经常会提起图像的语义信息以及图像的高层特征和底层特征。那么到底什么是图像的语义呢,图像的高层特征和底层特征又包含哪些信息的呢?今天我们就来说一说。

    1.图像的语义信息:

      图像的语义分为视觉层、对象层和概念层,视觉层即通常所理解的底层,即颜色、纹理和形状等等,这些特征都被称为底层特征语义;对象层即中间层,通常包含了属性特征等,就是某一对象在某一时刻的状态;概念层是高层,是图像表达出的最接近人类理解的东西。通俗点说,比如一张图上有沙子,蓝天,海水等,视觉层是一块块的区分,对象层是沙子、蓝天和海水这些,概念层就是海滩,这是这张图表现出的语义。

    2.图像的底层、高层特征:

    2.1图像的低层特征:

    图像底层特征指的是:轮廓、边缘、颜色、纹理和形状特征。
    边缘和轮廓能反映图像内容;如果能对边缘和关键点进行可靠提取的话,很多视觉问题就基本上得到了解决。图像的低层的特征语义信息比较少,但是目标位置准确;

    2.2图像的高层特征:

    图像的高层语义特征值得是我们所能看的东西,比如对一张人脸提取低层特征我们可以提取到连的轮廓、鼻子、眼睛之类的,那么高层的特征就显示为一张人脸。高层的特征语义信息比较丰富,但是目标位置比较粗略。
    愈深层特征包含的高层语义性愈强、分辨能力也愈强。我们把图像的视觉特征称为视觉空间 (visual space),把种类的语义信息称为语义空间 (semantic space)

    更多相关内容
  • 深度特征融合---高低层(多尺度)特征融合

    万次阅读 多人点赞 2019-03-09 23:00:07
    高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。如何将两者高效融合,取其长处,弃之糟泊,是改善分割模型的关键。 空洞卷积 高低层特征直接concat 融合特征的SSD:对小目标的快速检测 FSSD: ...

    概述

    基本概念

    在很多工作中,融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。如何将两者高效融合,取其长处,弃之糟泊,是改善分割模型的关键。
    很多工作通过融合多层来提升检测和分割的性能,按照融合与预测的先后顺序,分类为早融合(Early fusion)和晚融合(Late fusion)。

    早融合(Early fusion): 先融合多层的特征,然后在融合后的特征上训练预测器(只在完全融合之后,才统一进行检测)。这类方法也被称为skip connection,即采用concat、add操作。这一思路的代表是Inside-Outside Net(ION)和HyperNet。 两个经典的特征融合方法:
    (1)concat:系列特征融合,直接将两个特征进行连接。两个输入特征x和y的维数若为p和q,输出特征z的维数为p+q;
    (2)add:并行策略[36],将这两个特征向量组合成复向量,对于输入特征x和y,z = x + iy,其中i是虚数单位。

    晚融合(Late fusion):通过结合不同层的检测结果改进检测性能(尚未完成最终的融合之前,在部分融合的层上就开始进行检测,会有多层的检测,最终将多个检测结果进行融合)。这一类研究思路的代表有两种:
    (1)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
    (2)feature进行金字塔融合,融合后进行预测,如Feature Pyramid Network(FPN)等。

    DenseASPP for Semantic Segmentation in Street Scenes
    语义分割–(DenseASPP )DenseASPP for Semantic Segmentation in Street Scenes

    典型方法概述

    在本文中,我们介绍了多篇文章,但归纳起来共讨论了4类方法:
    (1)早融合:用经典的特征融合方法:在现有的网络(如VGG19)中,用concat或add融合 其中的某几层;

    • FCN、Hypercolumns—>add
    • Inside-Outside Net(ION)、 ParseNet 、HyperNet—>concat
    • 变种:用DCA特征融合方法代替concat和add操作;

    (2)晚融合:
    (2.1)采用类似特征金字塔网络(FPN)的思想,对特征融合后进行预测。 (FPN一般用于目标检测,提高小目标检测能力) 三个变种:

    • YOLO2的方法,只在金字塔的top-down路径的最后一层进行预测,此外还有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
    • YOLO3的方法,在金字塔的每一层都进行预测
    • FSSD的方法,对 FPN进行细微改造

    (2.2)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)

    (3)用一个具有高低特征融合能力的网络替代普通的网络,如Densenet;
    (4)不进行高低层特征融合,而是在高层特征预测的基础上,再用底层特征进行预测结果的 调整

    相关工作:多尺度模型设计

    【AI不惑境】深度学习中的多尺度模型设计

    ===========================================================================================

    Deep Feature Fusion for VHR(高分辨率图像) Remote Sensing Scene Classification(DCA特征融合方法)

    https://blog.csdn.net/snail_crawling/article/details/84568071
    特征融合的目的,是把从图像中提取的特征,合并成一个比输入特征更具有判别能力的特征。如何正确融合特征是一个难题。两个经典的特征融合方法

    (1)concat:系列特征融合[35],直接将两个特征进行连接。两个输入特征x和y的维数若为p和q,输出特征z的维数为p+q;
    (2)add:并行策略[36],[37],将这两个特征向量组合成复向量,对于输入特征x和y,z = x + iy,其中i是虚数单位。

    孙等人[38]引入典型相关分析canonical correlation analysis (CCA) 来融合特征。基于CCA的融合方法使用两个输入特征间的相关关系,计算两种变换,变换后的特征比输入的两个特征集有更高的相关性 。
    CCA的主要不足,在于忽略了数据集中类结构间的关系。我们想要最大化特征集之间的相关性,所以将每组特征中的类分开。
    最近,[44]解决了CCA的弱点,引入了DCA。DCA最大化两个特征集中对应特征的相关关系,同时最大化不同类之间的差异
    在这里插入图片描述

    基于神经网络的目标检测论文之目标检测方法:改进的SSD目标检测算法(DensNet)

    我们的改进是使用DenseNet代替原始SSD结构中的VGG,以提高目标检测准确性。图4-9显示了以DenseNet为基础网络的SSD。
    改进后的SSD网络对小物体比较敏感,能够对小物体产生很好的拟合。SSD中小物体检测的弱点可以通过所提出的模型来解决,并且对于具有独特上下文的类来说,性能更好。
    在这里插入图片描述
    在这里插入图片描述

    FPN(feature pyramid networks)

    https://blog.csdn.net/wangdongwei0/article/details/83140839
    https://blog.csdn.net/WZZ18191171661/article/details/79494534

    特征金字塔是识别不同尺度的目标时常用的结构,但是特征金字塔需要较大的计算量和显存,所以最近研发的一些探测器都不再使用这种结构。
    作者开发出的一种构建特征金字塔的新方法,可以减少额外的对计算量和显存的消耗
    使用FPN作为backbone,Faster RCNN的精度进一步提升(因为提取的特征更加丰富),速度为6fps on a GPU
    最近在coco和imagenet上取得靠前名次的网络都采用了多尺度的方法。

    在这里插入图片描述
    在这里插入图片描述

    YOLOv3——引入:FPN+多尺度检测 (目标检测)(one-stage)(深度学习)(CVPR 2018)

    https://blog.csdn.net/Gentleman_Qin/article/details/84350496
    在这里插入图片描述
    YOLOv2网络结构中有一个特殊的转换层(Passthrough Layer),假设最后提取的特征图的大小是1313,转换层的作用就是将前面的2626的特征图和本层的1313的特征图进行堆积(扩充特征维数据量),而后进行融合,再用融合后的特征图进行检测。这么做是为了加强算法对小目标检测的精确度。为达更好效果,YOLOv3将这一思想进行了加强和改进。
    **YOLO v3采用(类似FPN)上采样(Upsample)和融合做法,融合了3个尺度(13
    13、2626和5252),在多个尺度的融合特征图上分别独立做检测**,最终对于小目标的检测效果提升明显。(有些算法采用多尺度特征融合的方式,但是一般是采用融合后的单一特征图做预测,比如YOLOv2,FPN不一样的地方在于其预测是在不同特征层进行的。)
    在这里插入图片描述

    融合特征的SSD:对小目标的快速检测

    FSSD: Feature Fusion Single Shot Multibox Detector
    https://blog.csdn.net/wangxujin666/article/details/83065261
    https://blog.csdn.net/Dlyldxwl/article/details/79324944
    本文是以SSD为基底进行“改造”的一篇文章。SSD是从网络的不同层中抽取不同scale的feature直接做predict,所以没有充分融合不同scale的feature。后续有提出DSSD,RSSD等改进方法,但是因为模型的complexity导致速度变慢很多。**本文借鉴了FPN的思想,重构了一组pyramid feature map,**使得算法的精度有了明显的提升,速度也没有太降。先看一张图直观感受一下FSSD对比其它算法的效果。

    Approach
    对比下图中几种结构:
    在这里插入图片描述
    (a)中棕色的block之间没有联系,所以是使用不同scale的图片来生成不同scale的feature map进行predict,这是最不高效的一种方法;
    (b)代表faster rcnn之类的two-stage算法,利用某一个scale的feature map来生成多scale的anchors去检测multi-scale objects;
    ©是典型的Top-Down结构,FPN为代表网络。该结构在此不做赘述,有不清楚的移步这里。DSSD也是该网络结构的应用;
    (d)是SSD的结构代表图,从网络不同层抽取不同scale的feature做预测,这种方式不会增加额外的计算量,但是各个scale之间没有联系;
    (e)是FSSD的结构图,就是把网络中某些feature调整为同一szie再 contact,得到一个像素层,以此层为base layer来生成pyramid feature map,作者称之为Feature Fusion Module。

    Feature Fusion Module

    下面解释一下Feature Fusion Module。

    作者用一组公式表示整个过程:
    在这里插入图片描述
    对公式的字母含义进行说明:

    (1)Xi 是前置网络中希望融合的feature map,作者在文中说明了size小于10的feature map能合并的信息太少了,因此不做考虑,此外将conv6-2的stride设为1,这样conv7-2的size就是10了(给出FSSD的网络结构链接),所以选择 conv4-3 (38*38) ,fc7 , conv7-2输出的feature map来进行融合(为什么非用7-2,难道原始s=2的6-2用起来效果很差?作者没有说明)。至于为什么不用conv3-3的特征,可以对比Tab 2的2,3行看出;
    (2)Ti 表示对feature map进行降采样或者上采样方法的选择,目的让其scale一致。FSSD中均采用billnear将fc7 , conv7-2的scale统一为38;
    (3)φf 是选择对scale一致的feature map进行Contact还是Element-wise sum。目的是融合feature map生成一个scale的feature,FSSD应用了concact,可对比Tab 2的2,7两行看出;
    (4)**φp是如何利用得到的feature重构一组predict layer,也即Pyramid feature maps,**作者实验了Fig 3中的三种结构,其中棕色的block用来做predict,第一个结构使用fusion feature map作为第一层,**第二个是fusion feature map接了个33卷积后作为第一层,**最后一个结构是对于每一个predict层都先用11卷积来降低计算量,也就是bottleneck layer。从Tab 1可以看出中间的效果最好。
    在这里插入图片描述

    利用多层卷积神经网络(CNN)特征的互补优势 进行图像检索

    https://blog.csdn.net/qq_40716944/article/details/78506086
    高层特征用于度量语义相似度,低层特征用于度量细粒度相似度。给出一个简单易懂的例子,当查询图像是一个建筑物时,高层相似性捕捉到的图像包含一个建筑物,而低层相似性则捕获同一个从属同类实体的建筑物。显然,低层和高层特征的互补性可以提高查询图像与其他候选图像之间的相似性度量。一些现有的方法试图利用多尺度无序汇集来进行CNN激活。例如,CNN特征分别从不同层次提取和编码,然后将这些不同层次的聚合特征进行连接以测量图像。但直接拼接不能充分利用高层和低层特征的互补性。高层特征可以搜索具有相似语义的候选图像的集合作为查询图像,但是它不足以描述细粒度的细节。因此,高层相似性会削弱低层相似性的有效性,当最近邻居之间的细粒度差别被区分时,语义相似。
    在本文中,我们建议以一种简单而有效的方式利用不同层次的CNN特征的更多互补优势。我们的方法试图突出低层相似性的有效性,当查询图像和最近的邻居之间的细粒度的相似性与相似的语义。换句话说,低层特征用于细化高层特征的排序结果,而不是直接连接多个层。如图2所示,高层特征不足以描述细节信息,而低层特征则来自背景混乱和语义歧义。以直接拼接的方式,由于高层相似度的影响,低层相似度在区分细粒度差异方面不起重要作用。使用映射函数,我们的方法利用低层特征来测量查询图像与具有相同语义的最近邻居之间的细粒度相似性。在实验中,我们证明了我们的方法比单层功能,多层连接以及其他基于手工特征的方法更好。

    五种方法提升特征融合的效率

    参考文章:
    ExFuse: Enhancing Feature Fusion for Semantic Segmentation
    https://arxiv.org/abs/1804.03821
    https://blog.csdn.net/u010158659/article/details/80413719
    https://blog.csdn.net/weixin_41876817/article/details/83058437
    这篇文章着重研究语义分割网络中高低层特征融合的效率问题。本文发现,当前语义分割方法直接融合高、低特征并不奏效,继而提出新架构 ExFuse.

    本文工作主要聚焦于 U-Net 分割架构的特征融合问题,并选择当前最优的 U-Net 架构之一——全局卷积网络(Global Convolutional Network/GCN)——作为主要的 backbone 分割架构.

    这篇文章从两个大的方向上提出了改善思路,即
    (1).增加低层特征的语义
    (2).在高层特征中增加更多空间信息。

    其中包括5个改善的细节,在下面一一介绍。

    (1)Direction 1: Introducing More Semantic Information into Low-level Features
    这篇文章中,作者为了增加低层特征的语义信息做了三点改进:

    • 网络结构重排(layer rearrengement),构建更适合于分割的预训练模型;
    • 深度语义监督(semantic supervision);
    • 语义嵌入支路(semantic embedding branch),将高层特征融入低层特征。

    (2)Direction 2: Embedding More Spatial Resolution into High-level Features
    高层特征空间信息的损失只要是由于其自身的低分辨率(尺寸小)。这篇文章尝试将更多的空间特征融入到通道(channel)中去,包括:

    • 通道分辨率嵌入(explicit channel resolution embedding);
    • 稠密邻域预测(densely adjacent prediction)。

    上述每一方法都带来了显著提升,组合使用涨点高达 4%。

    展开全文
  • 高低层特征融合【转载】

    千次阅读 2020-05-16 11:33:51
    文章目录1 高低层特征特点2 高低层特征融合方法3 案例3.1 Deep Feature Fusion for VHR(高分辨率图像) Remote Sensing Scene Classification (DCA特征融合方法)3.2 基于神经网络的目标检测论文之目标检测方法:改进...

    1 高低层特征特点

    在很多工作中,融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。如何将两者高效融合,取其长处,弃之糟泊,是改善分割模型的关键。

    2 高低层特征融合方法

    很多工作通过融合多层来提升检测和分割的性能,按照融合与预测的先后顺序,分类为早融合(Early fusion)和晚融合(Late fusion)。

    • 早融合(Early fusion): 先融合多层的特征,然后在融合后的特征上训练预测器(只在完全融合之后,才统一进行检测)。这类方法也被称为skip connection,即采用concat、add操作。这一思路的代表是Inside-Outside Net(ION)HyperNet。 两个经典的特征融合方法:

      • concat: 系列特征融合,直接将两个特征进行连接。两个输入特征 x x x y y y的维数若为 p p p q q q,输出特征 z z z的维数为 p + q p+q p+q
      • add: 并行策略[36],将这两个特征向量组合成复向量,对于输入特征 x x x y y y z = x + i y z = x + iy z=x+iy,其中 i i i是虚数单位。
    • 晚融合(Late fusion):通过结合不同层的检测结果改进检测性能(尚未完成最终的融合之前,在部分融合的层上就开始进行检测,会有多层的检测,最终将多个检测结果进行融合)。这一类研究思路的代表有两种:

      • feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
      • feature进行金字塔融合,融合后进行预测,如Feature Pyramid Network(FPN)等。

    语义分割可参考以下文献:

    1. DenseASPP for Semantic Segmentation in Street Scenes
    2. 语义分割–(DenseASPP )DenseASPP for Semantic Segmentation in Street Scenes

    在本文中,我们介绍了多篇文章,但归纳起来共讨论了4类方法:
    (1)早融合: 用经典的特征融合方法:在现有的网络(如VGG19)中,用concat或add融合 其中的某几层;

    • FCNHypercolumns—>add
    • Inside-Outside Net(ION)、 ParseNetHyperNet—>concat
    • 变种用DCA特征融合方法代替concat和add操作

    (2)晚融合:
    (2.1)采用类似特征金字塔网络(FPN)的思想,对特征融合后进行预测。 (FPN一般用于目标检测,提高小目标检测能力) 三个变种:

    • YOLO2的方法,只在金字塔的top-down路径的最后一层进行预测,此外还有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
    • YOLO3的方法,在金字塔的每一层都进行预测
    • FSSD的方法,对 FPN进行细微改造

    (2.2)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
    (3)用一个具有高低特征融合能力的网络替代普通的网络,如Densenet
    (4)不进行高低层特征融合,而是在高层特征预测的基础上,再用底层特征进行预测结果的 调整

    3 案例


    3.1 Deep Feature Fusion for VHR(高分辨率图像) Remote Sensing Scene Classification (DCA特征融合方法)

    内容来自:angry_snail_flying_论文阅读:Deep Feature Fusion for VHR Remote Sensing Scene Classification
    特征融合的目的,是把从图像中提取的特征,合并成一个比输入特征更具有判别能力的特征。如何正确融合特征是一个难题。两个经典的特征融合方法:

    (1)concat: 系列特征融合[35],直接将两个特征进行连接。两个输入特征 x x x y y y的维数若为 p p p q q q,输出特征 z z z的维数为 p + q p+q p+q
    (2)add: 并行策略[36],[37],将这两个特征向量组合成复向量,对于输入特征 x x x y y y z = x + i y z = x + iy z=x+iy,其中 i i i是虚数单位。

    孙等人[38]引入典型相关分析canonical correlation analysis (CCA) 来融合特征。基于CCA的融合方法使用两个输入特征间的相关关系,计算两种变换,变换后的特征比输入的两个特征集有更高的相关性 。
    CCA的主要不足,在于忽略了数据集中类结构间的关系。我们想要最大化特征集之间的相关性,所以将每组特征中的类分开。

    最近,[44]解决了CCA的弱点,引入了DCA。DCA最大化两个特征集中对应特征的相关关系,同时最大化不同类之间的差异。


    3.2 基于神经网络的目标检测论文之目标检测方法:改进的SSD目标检测算法(DensNet)

    我们的改进是使用DenseNet代替原始SSD结构中的VGG,以提高目标检测准确性。图4-9显示了以DenseNet为基础网络的SSD。
    改进后的SSD网络对小物体比较敏感,能够对小物体产生很好的拟合。SSD中小物体检测的弱点可以通过所提出的模型来解决,并且对于具有独特上下文的类来说,性能更好。


    3.3 FPN(feature pyramid networks)

    内容来自:

    1. 懂懂懂懂懂懂懂_FPN——论文详解
    2. 技术挖掘者_FPN详解

    特征金字塔是识别不同尺度的目标时常用的结构,但是特征金字塔需要较大的计算量和显存,所以最近研发的一些探测器都不再使用这种结构。
    作者开发出的一种构建特征金字塔的新方法,可以减少额外的对计算量和显存的消耗
    使用FPN作为backbone,Faster RCNN的精度进一步提升(因为提取的特征更加丰富),速度为6fps on a GPU
    最近在coco和imagenet上取得靠前名次的网络都采用了多尺度的方法。


    3.4 YOLOv3——引入:FPN+多尺度检测 (目标检测)(one-stage)(深度学习)(CVPR 2018)

    内容来自:
    秦皓楠Howard_XDU_YOLOv3——引入:FPN+多尺度检测 (目标检测)(one-stage)(深度学习)(CVPR 2018)

    YOLOv2网络结构中有一个特殊的转换层(Passthrough Layer),假设最后提取的特征图的大小是1313,转换层的作用就是将前面的2626的特征图和本层的13*13的特征图进行堆积(扩充特征维数据量),而后进行融合,再用融合后的特征图进行检测。这么做是为了加强算法对小目标检测的精确度。为达更好效果,YOLOv3将这一思想进行了加强和改进。

    YOLO v3采用(类似FPN)上采样(Upsample)和融合做法,融合了3个尺度(1313、2626和52*52),在多个尺度的融合特征图上分别独立做检测,最终对于小目标的检测效果提升明显。(有些算法采用多尺度特征融合的方式,但是一般是采用融合后的单一特征图做预测,比如YOLOv2,FPN不一样的地方在于其预测是在不同特征层进行的。)


    3.5 融合特征的SSD:对小目标的快速检测

    内容来自:

    本文是以SSD为基底进行“改造”的一篇文章。SSD是从网络的不同层中抽取不同scale的feature直接做predict,所以没有充分融合不同scale的feature。后续有提出DSSD,RSSD等改进方法,但是因为模型的complexity导致速度变慢很多。本文借鉴了FPN的思想,重构了一组pyramid feature map,使得算法的精度有了明显的提升,速度也没有太降。先看一张图直观感受一下FSSD对比其它算法的效果。

    Approach
    对比下图中几种结构:

    (a)中棕色的block之间没有联系,所以是使用不同scale的图片来生成不同scale的feature map进行predict,这是最不高效的一种方法;
    (b)代表faster rcnn之类的two-stage算法,利用某一个scale的feature map来生成多scale的anchors去检测multi-scale objects;
    (b)是典型的Top-Down结构,FPN为代表网络。该结构在此不做赘述,有不清楚的移步这里。DSSD也是该网络结构的应用;
    (d)是SSD的结构代表图,从网络不同层抽取不同scale的feature做预测,这种方式不会增加额外的计算量,但是各个scale之间没有联系;
    (e)是FSSD的结构图,就是把网络中某些feature调整为同一szie再 contact,得到一个像素层,以此层为base layer来生成pyramid feature map,作者称之为Feature Fusion Module。

    Feature Fusion Module

    下面解释一下Feature Fusion Module。作者用一组公式表示整个过程:

    对公式的字母含义进行说明:

    (1) X i X_i Xi 是前置网络中希望融合的feature map,作者在文中说明了size小于10的feature map能合并的信息太少了,因此不做考虑,此外将conv6-2的stride设为1,这样conv7-2的size就是10了(给出FSSD的网络结构链接),所以选择 conv4-3 (38*38) ,fc7 , conv7-2输出的feature map来进行融合(为什么非用7-2,难道原始s=2的6-2用起来效果很差?作者没有说明)。至于为什么不用conv3-3的特征,可以对比Tab 2的2,3行看出;
    (2) T i T_i Ti表示对feature map进行降采样或者上采样方法的选择,目的让其scale一致。FSSD中均采用billnear将fc7 , conv7-2的scale统一为38;
    (3) ϕ f \phi_f ϕf 是选择对scale一致的feature map进行Contact还是Element-wise sum。目的是融合feature map生成一个scale的feature,FSSD应用了concact,可对比Tab 2的2,7两行看出;
    (4) ϕ p \phi_p ϕp是如何利用得到的feature重构一组predict layer,也即Pyramid feature maps, 作者实验了Fig 3中的三种结构,其中棕色的block用来做predict,第一个结构使用fusion feature map作为第一层,第二个是fusion feature map接了个33卷积后作为第一层, 最后一个结构是对于每一个predict层都先用11卷积来降低计算量,也就是bottleneck layer。从Tab 1可以看出中间的效果最好。


    3.6 利用多层卷积神经网络(CNN)特征的互补优势 进行图像检索

    内容来自:

    高层特征用于度量语义相似度,低层特征用于度量细粒度相似度。给出一个简单易懂的例子,当查询图像是一个建筑物时,高层相似性捕捉到的图像包含一个建筑物,而低层相似性则捕获同一个从属同类实体的建筑物。显然,低层和高层特征的互补性可以提高查询图像与其他候选图像之间的相似性度量。一些现有的方法试图利用多尺度无序汇集来进行CNN激活。例如,CNN特征分别从不同层次提取和编码,然后将这些不同层次的聚合特征进行连接以测量图像。但直接拼接不能充分利用高层和低层特征的互补性。高层特征可以搜索具有相似语义的候选图像的集合作为查询图像,但是它不足以描述细粒度的细节。因此,高层相似性会削弱低层相似性的有效性,当最近邻居之间的细粒度差别被区分时,语义相似。

    在本文中,我们建议以一种简单而有效的方式利用不同层次的CNN特征的更多互补优势。我们的方法试图突出低层相似性的有效性,当查询图像和最近的邻居之间的细粒度的相似性与相似的语义。换句话说,低层特征用于细化高层特征的排序结果,而不是直接连接多个层。如图2所示,高层特征不足以描述细节信息,而低层特征则来自背景混乱和语义歧义以直接拼接的方式,由于高层相似度的影响,低层相似度在区分细粒度差异方面不起重要作用。使用映射函数,我们的方法利用低层特征来测量查询图像与具有相同语义的最近邻居之间的细粒度相似性。在实验中,我们证明了我们的方法比单层功能,多层连接以及其他基于手工特征的方法更好。

    4 五种方法提升特征融合的效率

    内容来自:

    这篇文章着重研究语义分割网络中高低层特征融合的效率问题。本文发现,当前语义分割方法直接融合高、低特征并不奏效,继而提出新架构 ExFuse.

    本文工作主要聚焦于 U-Net 分割架构的特征融合问题,并选择当前最优的 U-Net 架构之一——全局卷积网络(Global Convolutional Network/GCN)——作为主要的 backbone 分割架构.

    这篇文章从两个大的方向上提出了改善思路,即
    (1)增加低层特征的语义
    (2)在高层特征中增加更多空间信息。

    其中包括5个改善的细节,在下面一一介绍。

    (1)Direction 1: Introducing More Semantic Information into Low-level Features
    这篇文章中,作者为了增加低层特征的语义信息做了三点改进:

    • 网络结构重排(layer rearrengement),构建更适合于分割的预训练模型;
    • 深度语义监督(semantic supervision);
    • 语义嵌入支路(semantic embedding branch),将高层特征融入低层特征。

    (2)Direction 2: Embedding More Spatial Resolution into High-level Features
    高层特征空间信息的损失只要是由于其自身的低分辨率(尺寸小)。这篇文章尝试将更多的空间特征融入到通道(channel)中去,包括:

    • 通道分辨率嵌入(explicit channel resolution embedding);
    • 稠密邻域预测(densely adjacent prediction)。

    上述每一方法都带来了显著提升,组合使用涨点高达 4%。


    以上内容来自:

    展开全文
  • 深度特征融合---高低层特征融合

    万次阅读 2019-06-29 19:43:50
    高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。如何将两者高效融合,取其长处,弃之糟泊,是改善分割模型的关键。 很多工作通过融合多层来提升检测分割的性能,按照融合与预测的先后顺序,...

    很多工作通过融合多层来提升检测和分割的性能,按照融合与预测的先后顺序,分类为早融合(Early fusion)和晚融合(Late fusion)。

    早融合(Early fusion): 先融合多层的特征,然后在融合后的特征上训练预测器(只在完全融合之后,才统一进行检测)。这类方法也被称为skip connection,即采用concat、add操作。这一思路的代表是Inside-Outside Net(ION)和HyperNet。 两个经典的特征融合方法:
    (1)concat:系列特征融合,直接将两个特征进行连接。两个输入特征x和y的维数若为p和q,输出特征z的维数为p+q;
    (2)add:并行策略[36],将这两个特征向量组合成复向量,对于输入特征x和y,z = x + iy,其中i是虚数单位。

    晚融合(Late fusion):通过结合不同层的检测结果改进检测性能(尚未完成最终的融合之前,在部分融合的层上就开始进行检测,会有多层的检测,最终将多个检测结果进行融合)。这一类研究思路的代表有两种:
    (1)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
    (2)feature进行金字塔融合,融合后进行预测,如Feature Pyramid Network(FPN)等。

    DenseASPP for Semantic Segmentation in Street Scenes
    语义分割–(DenseASPP )DenseASPP for Semantic Segmentation in Street Scenes

    在本文中,我们介绍了多篇文章,但归纳起来共讨论了4类方法:
    (1)早融合:用经典的特征融合方法:在现有的网络(如VGG19)中,用concat或add融合 其中的某几层;

    • FCN、Hypercolumns—>add
    • Inside-Outside Net(ION)、 ParseNet 、HyperNet—>concat
    • 变种:用DCA特征融合方法代替concat和add操作;

    (2)晚融合:
    (2.1)采用类似特征金字塔网络(FPN)的思想,对特征融合后进行预测。 (FPN一般用于目标检测,提高小目标检测能力) 三个变种:

    • YOLO2的方法,只在金字塔的top-down路径的最后一层进行预测,此外还有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
    • YOLO3的方法,在金字塔的每一层都进行预测
    • FSSD的方法,对 FPN进行细微改造

    (2.2)feature不融合,多尺度的feture分别进行预测,然后对预测结果进行综合,如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)

    (3)用一个具有高低特征融合能力的网络替代普通的网络,如Densenet;
    (4)不进行高低层特征融合,而是在高层特征预测的基础上,再用底层特征进行预测结果的 调整

    ===========================================================================================

    Deep Feature Fusion for VHR(高分辨率图像) Remote Sensing Scene Classification(DCA特征融合方法)

    https://blog.csdn.net/snail_crawling/article/details/84568071
    特征融合的目的,是把从图像中提取的特征,合并成一个比输入特征更具有判别能力的特征。如何正确融合特征是一个难题。两个经典的特征融合方法

    (1)concat:系列特征融合[35],直接将两个特征进行连接。两个输入特征x和y的维数若为p和q,输出特征z的维数为p+q;
    (2)add:并行策略[36],[37],将这两个特征向量组合成复向量,对于输入特征x和y,z = x + iy,其中i是虚数单位。

    孙等人[38]引入典型相关分析canonical correlation analysis (CCA) 来融合特征。基于CCA的融合方法使用两个输入特征间的相关关系,计算两种变换,变换后的特征比输入的两个特征集有更高的相关性 。
    CCA的主要不足,在于忽略了数据集中类结构间的关系。我们想要最大化特征集之间的相关性,所以将每组特征中的类分开。
    最近,[44]解决了CCA的弱点,引入了DCA。DCA最大化两个特征集中对应特征的相关关系,同时最大化不同类之间的差异
    在这里插入图片描述

    基于神经网络的目标检测论文之目标检测方法:改进的SSD目标检测算法(DensNet)

    我们的改进是使用DenseNet代替原始SSD结构中的VGG,以提高目标检测准确性。图4-9显示了以DenseNet为基础网络的SSD。
    改进后的SSD网络对小物体比较敏感,能够对小物体产生很好的拟合。SSD中小物体检测的弱点可以通过所提出的模型来解决,并且对于具有独特上下文的类来说,性能更好。
    在这里插入图片描述
    在这里插入图片描述

    FPN(feature pyramid networks)

    https://blog.csdn.net/wangdongwei0/article/details/83140839
    https://blog.csdn.net/WZZ18191171661/article/details/79494534

    特征金字塔是识别不同尺度的目标时常用的结构,但是特征金字塔需要较大的计算量和显存,所以最近研发的一些探测器都不再使用这种结构。
    作者开发出的一种构建特征金字塔的新方法,可以减少额外的对计算量和显存的消耗
    使用FPN作为backbone,Faster RCNN的精度进一步提升(因为提取的特征更加丰富),速度为6fps on a GPU
    最近在coco和imagenet上取得靠前名次的网络都采用了多尺度的方法。

    在这里插入图片描述
    在这里插入图片描述

    YOLOv3——引入:FPN+多尺度检测 (目标检测)(one-stage)(深度学习)(CVPR 2018)

    https://blog.csdn.net/Gentleman_Qin/article/details/84350496
    在这里插入图片描述
    YOLOv2网络结构中有一个特殊的转换层(Passthrough Layer),假设最后提取的特征图的大小是1313,转换层的作用就是将前面的2626的特征图和本层的1313的特征图进行堆积(扩充特征维数据量),而后进行融合,再用融合后的特征图进行检测。这么做是为了加强算法对小目标检测的精确度。为达更好效果,YOLOv3将这一思想进行了加强和改进。
    **YOLO v3采用(类似FPN)上采样(Upsample)和融合做法,融合了3个尺度(13
    13、2626和5252),在多个尺度的融合特征图上分别独立做检测**,最终对于小目标的检测效果提升明显。(有些算法采用多尺度特征融合的方式,但是一般是采用融合后的单一特征图做预测,比如YOLOv2,FPN不一样的地方在于其预测是在不同特征层进行的。)
    在这里插入图片描述

    融合特征的SSD:对小目标的快速检测

    FSSD: Feature Fusion Single Shot Multibox Detector
    https://blog.csdn.net/wangxujin666/article/details/83065261
    https://blog.csdn.net/Dlyldxwl/article/details/79324944
    本文是以SSD为基底进行“改造”的一篇文章。SSD是从网络的不同层中抽取不同scale的feature直接做predict,所以没有充分融合不同scale的feature。后续有提出DSSD,RSSD等改进方法,但是因为模型的complexity导致速度变慢很多。**本文借鉴了FPN的思想,重构了一组pyramid feature map,**使得算法的精度有了明显的提升,速度也没有太降。先看一张图直观感受一下FSSD对比其它算法的效果。

    Approach
    对比下图中几种结构:
    在这里插入图片描述
    (a)中棕色的block之间没有联系,所以是使用不同scale的图片来生成不同scale的feature map进行predict,这是最不高效的一种方法;
    (b)代表faster rcnn之类的two-stage算法,利用某一个scale的feature map来生成多scale的anchors去检测multi-scale objects;
    ©是典型的Top-Down结构,FPN为代表网络。该结构在此不做赘述,有不清楚的移步这里。DSSD也是该网络结构的应用;
    (d)是SSD的结构代表图,从网络不同层抽取不同scale的feature做预测,这种方式不会增加额外的计算量,但是各个scale之间没有联系;
    (e)是FSSD的结构图,就是把网络中某些feature调整为同一szie再 contact,得到一个像素层,以此层为base layer来生成pyramid feature map,作者称之为Feature Fusion Module。

    Feature Fusion Module

    下面解释一下Feature Fusion Module。

    作者用一组公式表示整个过程:
    在这里插入图片描述
    对公式的字母含义进行说明:

    (1)Xi 是前置网络中希望融合的feature map,作者在文中说明了size小于10的feature map能合并的信息太少了,因此不做考虑,此外将conv6-2的stride设为1,这样conv7-2的size就是10了(给出FSSD的网络结构链接),所以选择 conv4-3 (38*38) ,fc7 , conv7-2输出的feature map来进行融合(为什么非用7-2,难道原始s=2的6-2用起来效果很差?作者没有说明)。至于为什么不用conv3-3的特征,可以对比Tab 2的2,3行看出;
    (2)Ti 表示对feature map进行降采样或者上采样方法的选择,目的让其scale一致。FSSD中均采用billnear将fc7 , conv7-2的scale统一为38;
    (3)φf 是选择对scale一致的feature map进行Contact还是Element-wise sum。目的是融合feature map生成一个scale的feature,FSSD应用了concact,可对比Tab 2的2,7两行看出;
    (4)**φp是如何利用得到的feature重构一组predict layer,也即Pyramid feature maps,**作者实验了Fig 3中的三种结构,其中棕色的block用来做predict,第一个结构使用fusion feature map作为第一层,**第二个是fusion feature map接了个33卷积后作为第一层,**最后一个结构是对于每一个predict层都先用11卷积来降低计算量,也就是bottleneck layer。从Tab 1可以看出中间的效果最好。
    在这里插入图片描述

    利用多层卷积神经网络(CNN)特征的互补优势 进行图像检索

    https://blog.csdn.net/qq_40716944/article/details/78506086
    高层特征用于度量语义相似度,低层特征用于度量细粒度相似度。给出一个简单易懂的例子,当查询图像是一个建筑物时,高层相似性捕捉到的图像包含一个建筑物,而低层相似性则捕获同一个从属同类实体的建筑物。显然,低层和高层特征的互补性可以提高查询图像与其他候选图像之间的相似性度量。一些现有的方法试图利用多尺度无序汇集来进行CNN激活。例如,CNN特征分别从不同层次提取和编码,然后将这些不同层次的聚合特征进行连接以测量图像。但直接拼接不能充分利用高层和低层特征的互补性。高层特征可以搜索具有相似语义的候选图像的集合作为查询图像,但是它不足以描述细粒度的细节。因此,高层相似性会削弱低层相似性的有效性,当最近邻居之间的细粒度差别被区分时,语义相似。
    在本文中,我们建议以一种简单而有效的方式利用不同层次的CNN特征的更多互补优势。我们的方法试图突出低层相似性的有效性,当查询图像和最近的邻居之间的细粒度的相似性与相似的语义。换句话说,低层特征用于细化高层特征的排序结果,而不是直接连接多个层。如图2所示,高层特征不足以描述细节信息,而低层特征则来自背景混乱和语义歧义。以直接拼接的方式,由于高层相似度的影响,低层相似度在区分细粒度差异方面不起重要作用。使用映射函数,我们的方法利用低层特征来测量查询图像与具有相同语义的最近邻居之间的细粒度相似性。在实验中,我们证明了我们的方法比单层功能,多层连接以及其他基于手工特征的方法更好。

    五种方法提升特征融合的效率

    参考文章:
    ExFuse: Enhancing Feature Fusion for Semantic Segmentation
    https://arxiv.org/abs/1804.03821
    https://blog.csdn.net/u010158659/article/details/80413719
    https://blog.csdn.net/weixin_41876817/article/details/83058437
    这篇文章着重研究语义分割网络中高低层特征融合的效率问题。本文发现,当前语义分割方法直接融合高、低特征并不奏效,继而提出新架构 ExFuse.

    本文工作主要聚焦于 U-Net 分割架构的特征融合问题,并选择当前最优的 U-Net 架构之一——全局卷积网络(Global Convolutional Network/GCN)——作为主要的 backbone 分割架构.

    这篇文章从两个大的方向上提出了改善思路,即
    (1).增加低层特征的语义
    (2).在高层特征中增加更多空间信息。

    其中包括5个改善的细节,在下面一一介绍。

    (1)Direction 1: Introducing More Semantic Information into Low-level Features
    这篇文章中,作者为了增加低层特征的语义信息做了三点改进:

    • 网络结构重排(layer rearrengement),构建更适合于分割的预训练模型;
    • 深度语义监督(semantic supervision);
    • 语义嵌入支路(semantic embedding branch),将高层特征融入低层特征。

    (2)Direction 2: Embedding More Spatial Resolution into High-level Features
    高层特征空间信息的损失只要是由于其自身的低分辨率(尺寸小)。这篇文章尝试将更多的空间特征融入到通道(channel)中去,包括:

    • 通道分辨率嵌入(explicit channel resolution embedding);
    • 稠密邻域预测(densely adjacent prediction)。

    上述每一方法都带来了显著提升,组合使用涨点高达 4%。

                    </div>
                    <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-e44c3c0e64.css" rel="stylesheet">
                                    </div>
    

    欢迎使用Markdown编辑器

    你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。

    新的改变

    我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:

    1. 全新的界面设计 ,将会带来全新的写作体验;
    2. 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
    3. 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
    4. 全新的 KaTeX数学公式 语法;
    5. 增加了支持甘特图的mermaid语法1 功能;
    6. 增加了 多屏幕编辑 Markdown文章功能;
    7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
    8. 增加了 检查列表 功能。

    功能快捷键

    撤销:Ctrl/Command + Z
    重做:Ctrl/Command + Y
    加粗:Ctrl/Command + B
    斜体:Ctrl/Command + I
    标题:Ctrl/Command + Shift + H
    无序列表:Ctrl/Command + Shift + U
    有序列表:Ctrl/Command + Shift + O
    检查列表:Ctrl/Command + Shift + C
    插入代码:Ctrl/Command + Shift + K
    插入链接:Ctrl/Command + Shift + L
    插入图片:Ctrl/Command + Shift + G

    合理的创建标题,有助于目录的生成

    直接输入1次#,并按下space后,将生成1级标题。
    输入2次#,并按下space后,将生成2级标题。
    以此类推,我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

    如何改变文本的样式

    强调文本 强调文本

    加粗文本 加粗文本

    标记文本

    删除文本

    引用文本

    H2O is是液体。

    210 运算结果是 1024.

    插入链接与图片

    链接: link.

    图片: Alt

    带尺寸的图片: Alt

    居中的图片: Alt

    居中并且带尺寸的图片: Alt

    当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。

    如何插入一段漂亮的代码片

    博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.

    // An highlighted block
    var foo = 'bar';
    

    生成一个适合你的列表

    • 项目
      • 项目
        • 项目
    1. 项目1
    2. 项目2
    3. 项目3
    • 计划任务
    • 完成任务

    创建一个表格

    一个简单的表格是这么创建的:

    项目Value
    电脑$1600
    手机$12
    导管$1

    设定内容居中、居左、居右

    使用:---------:居中
    使用:----------居左
    使用----------:居右

    第一列第二列第三列
    第一列文本居中第二列文本居右第三列文本居左

    SmartyPants

    SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:

    TYPEASCIIHTML
    Single backticks'Isn't this fun?'‘Isn’t this fun?’
    Quotes"Isn't this fun?"“Isn’t this fun?”
    Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

    创建一个自定义列表

    Markdown
    Text-to- HTML conversion tool
    Authors
    John
    Luke

    如何创建一个注脚

    一个具有注脚的文本。2

    注释也是必不可少的

    Markdown将文本转换为 HTML

    KaTeX数学公式

    您可以使用渲染LaTeX数学表达式 KaTeX:

    Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n1)!nN 是通过欧拉积分

    Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t &ThinSpace; . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=0tz1etdt.

    你可以找到更多关于的信息 LaTeX 数学表达式here.

    新的甘特图功能,丰富你的文章

    Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
    • 关于 甘特图 语法,参考 这儿,

    UML 图表

    可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图::

    张三 李四 王五 你好!李四, 最近怎么样? 你最近怎么样,王五? 我很好,谢谢! 我很好,谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

    这将产生一个流程图。:

    链接
    长方形
    圆角长方形
    菱形
    • 关于 Mermaid 语法,参考 这儿,

    FLowchart流程图

    我们依旧会支持flowchart的流程图:

    Created with Raphaël 2.2.0 开始 我的操作 确认? 结束 yes no
    • 关于 Flowchart流程图 语法,参考 这儿.

    导出与导入

    导出

    如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。

    导入

    如果你想加载一篇你写过的.md文件或者.html文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
    继续你的创作。


    1. mermaid语法说明 ↩︎

    2. 注脚的解释 ↩︎

    展开全文
  • 本资料为底层架空一梯两户高层住宅楼建筑施工图,图纸完整内容详实,可作为同类居住建筑设计参考。以下为部分图纸展示:。立面图。立面图。侧立面图。底层架空平面图。二至九层平面图。十至十二层平面图。天面层平面...
  • Deep Learning论文笔记之(七)深度网络高层特征可视化zouxy09@qq.comhttp://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样。...
  • 针对图像的底层特征高层语义特征之间建立映射,使用基于支持向量机(SVM)的语义关联方法,将HSV颜色特征作为SVM的输入参数,对图像库学习分类,建立图像底层特征高层语义的关联,并结合图像底层特征和语义信息进行...
  • 其次由于特征维度不同,采用多核学习对底层和高级语义特征进行融合;最后采用支持向量机实现抽象画情感识别,分为积极与消极两类。在MART数据集上进行测试,并与其他现有分类模型进行了比较,实验结果显示该方法在...
  • 由地震引起的高轴力及双向荷载使高层钢筋混凝土框架底层边节点剪切破坏后的角柱压溃危险度大幅度提高。该部位节点抗震性能研究十分重要。通过3个角节点试件在双向低周反复荷载作用下的受力性能试验,调查了高轴力、...
  • 由于摄像机角度、背景、...该方法充分利用了视频的运动和外观信息,基于卷积神经网络和池化方法提升了对视频本征属性和特征的描述能力。实验结果表明,所提方法比传统的视频人群计数方法具有更高的精度和更好的顽健性。
  • 其核心是确定图像底层特征高层语义之间的映射关系,这正是计算机视觉领域当前研究的热点与难点。 本书从基本概念入手,系统地介绍了图像分析的基本理论与方法,涉及数字图像处理的基础知识、特征提取与图像表示、...
  • 为了克服图像底层特征高层语义之间的语义鸿沟,降低自顶向下的显著性检测方法对特定物体先验的依赖,提出一种基于高层颜色语义特征的显著性检测方法。首先从彩色图像中提取结构化颜色特征并在多核学习框架下,实现...
  • 基于认知科学的研究提出一个新颖的...利用认知网络,将底层的图像特征和高层知识捆绑起来.利用条件随机场的基本概念原理建模捆绑过程.将计算模型应用于现实世界的物体识别,在标准图像库上进行评估,取得了很好的效果.
  • 针对图像的底层特征高层语义特征之间建立映射, 使用基于支持向量机( SVM) 的 ...与高层语义的关联, 并结合图像底层特征和语义信息进行检索。实验表明: 该方法提高了检索效 率, 取得了较高的准确率。
  • 语义分割,也称为像素级分类问题,其输出输入分辨率相同...卷积网络从输入到输出,会经过多个下采样层(一般为5个,输出原图1/32的特征图),从而逐步扩大视野获取高层语义特征高层语义特征靠近输出端但分辨率...
  • CNN中特征融合的一些策略

    千次阅读 多人点赞 2020-11-29 20:51:39
    尽管特征融合的方法很多,但如果数学化地表示,大体可以分为以下几种形式: X+Y\textbf{X}+\textbf{Y}X+Y: X\textbf{X}X、Y\textbf{Y}Y表示两个特征图,+++表示元素级相加. 代表如ResNet、FPN X  concat  Y\...
  • 以最简单的机器学习算法逻辑回归为例,介绍底层C 实现,以及高层Python调用,掌握ctypes基本用法.
  • 和特征金字塔网络的原理一致。 4.2 用于Fast R-CNN的特征金字塔网络 作者将FPN的各个特征层类比为图像金字塔的各个level的特征,从而将不同尺度的RoI映射到对应的特征层上。以224大小的图片输入为例,宽高为w和h的...
  • 深度学习之特征融合(高低层特征融合)

    万次阅读 多人点赞 2020-08-24 16:25:53
    (4)不进行高低层特征融合,而是在高层特征预测的基础上,再用底层特征进行预测结果的 调整 =========================================================================================== Deep Feature Fusion ...
  • 然后在提取图像底层特征的基础上,采用基于支持向量机组(SVMS)的方法建立图像低层视觉特征高层语义特征之间的映射,将一幅图像同时归入一类或几类图像语义。实验结果表明,该方法具有较好的检索查全率准确率。
  • 视频语义检索的研究是目前研究的热点之一...如何跨越底层特征和高层语义的鸿沟,用高层语义概念进行视频检索是当前研究的重点。通过对视频内容的语义理解、语义分析、语义提取的简要概述,试图构造一种视频语义检索模型。
  • Gabor滤波作为底层滤波器平滑图像,通过高层水平与垂直方向双极滤波器检测边缘,构建方向边缘检测子。以增强特征提取的鲁棒性,提升边缘检测的准确度。在此基础上,模拟大脑视觉皮质细胞对线条响应强度的反馈,根据...
  • 对卷积神经网络有所了解的同学应该都知道,网络内部的特征层,随着越靠近最终输出,其特征所代表的语义信息就越明显。我们能够通过中间层的信息,直观的看到网络学习过程中,哪些像素的权重比较高,这些权重高的像素...
  • 大话存储终极版 第一部分 大话存储
  • 常见的四种特征金字塔网络结构

    万次阅读 多人点赞 2020-03-19 15:22:56
    为什么使用特征金字塔呢,是因为CNN对物体的平移是保持不变的,而对于物体的尺度变换是无法处理的,所以使用特征金字塔进行处理,下面进行介绍。 1.Featurized image pyramid ...
  • 数据预处理和特征选择

    千次阅读 2022-03-11 10:45:56
    更重要的是,这篇文章会详尽的讲解数据预处理和特征选择的原理及方法细节。 数据是什么? 通过观察、实验或计算得出的结果。例:数字、文字、图像、声音等。 数据分析是什么? 把隐藏在数据背后的信息集中...
  • Deep Learning论文笔记之(七)深度网络高层特征可视化    自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样。所以想习惯地把一些感觉有用的论文...
  • passthru是微软提供的驱动开发包WDK里的网卡驱动开发源代码,本代码实现了应用程序来给驱动层传数据的功能,并且配合我的博客,可以很好的实现此功能,如有疑问,大家可以交流,附上我博客的地址:
  • 特征融合的分类方法

    千次阅读 2022-03-01 11:47:52
    特征融合方法是模式识别领域的一种重要的方法,计算机视觉领域的图像识别问题作为一种特殊的模式分类问题,仍然存在很多的挑战,特征融合方法能够综合利用多种图像特征,实现多特征的优势互补,获得更加鲁棒准确性...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 83,202
精华内容 33,280
关键字:

高层特征和底层特征

友情链接: ATD-qudong12wei.rar