精华内容
下载资源
问答
  • 全局平均池化(global-average-pooling)顾名思义就是整个特征图求一个平均值,把张量从WxHxN变到1x1xN。 平均池化(average-pooling)就是在特征图上从给定的区域中求平均值,变化后的特征图大小与池化区域大小选取...

    全局平均池化(global-average-pooling)顾名思义就是整个特征图求一个平均值,把张量从WxHxN变到1x1xN。

    平均池化(average-pooling)就是在特征图上从给定的区域中求平均值,变化后的特征图大小与池化区域大小选取有关。

    展开全文
  • 全局平均池化

    万次阅读 2019-07-12 10:15:04
    全局平均池化是在论文Network in Network中提出的,原文中全局平均池化的作用和优点: 思想:对于输出的每一个通道的特征图的所有像素计算一个平均值,经过全局平均池化之后就得到一个 维度==类别数 的特征向量,...

     

    全局平均池化是在论文Network in Network中提出的,原文中全局平均池化的作用和优点:

    å¨è¿éæå¥å¾çæè¿°

    思想:对于输出的每一个通道的特征图的所有像素计算一个平均值,经过全局平均池化之后就得到一个 维度=C_{in}=类别数 的特征向量,然后直接输入到softmax层

     

    作用:代替全连接层,可接受任意尺寸的图像

     

    优点:1)可以更好的将类别与最后一个卷积层的特征图对应起来(每一个通道对应一种类别,这样每一张特征图都可以看成是该类别对应的类别置信图)

    2)降低参数量,全局平均池化层没有参数,可防止在该层过拟合

    3)整合了全局空间信息,对于输入图片的spatial translation更加鲁棒

     

    图解:

     

    pytorch的实现:

    pytorch中

    没有专门的全局平均池化API,但是我们可以使用现有的pooling API实现这个效果

    首先我们简单理解全局平均池化操作:
    如果有一批特征图,其尺寸为 [ B, C, H, W], 经过全局平均池化之后,尺寸变为[B, C, 1, 1]
    也就是说,全局平均池化其实就是对每一个通道图所有像素值求平均值,然后得到一个新的1 * 1的通道图

    明白这个思路之后,我们就可以很容易实现全局平均池化了。

    利用自适应平均池化就可以快速实现。或者自适应最大池化也可以,一样。

    In [1]: import torch
    
    In [2]: a = torch.rand([4,3,4,4])
    
    In [3]: a.size()
    Out[3]: torch.Size([4, 3, 4, 4])
    
    In [4]: b = torch.nn.functional.adaptive_avg_pool2d(a, (1,1))  # 自适应池化,指定池化输出尺寸为 1 * 1
    
    In [5]: b.size()
    Out[5]: torch.Size([4, 3, 1, 1])
    


    ---------------------  
    原文:https://blog.csdn.net/CVSvsvsvsvs/article/details/90495254 
     

     

    展开全文
  • 根据MIT的 Learning Deep Features for Discriminative Localization论文中的描述,在使用类响应图class activation mapping (CAM) 对比全局平均池化Global average pooling (GAP) vs 全局最大池化global max ...

    根据MIT的 Learning Deep Features for Discriminative Localization论文中的描述,在使用类响应图class activation mapping (CAM) 对比全局平均池化Global average pooling (GAP) vs 全局最大池化global max pooling (GMP):

    类响应图示例:
    在这里插入图片描述
    图中高亮区域就是根据label的注意图高响应区域

    具体得到的这个相应区的方法是

    在这里插入图片描述
    1) 训练主干网络得到特征图
    2) 进行全局池化(图中用的GAP,也可以使用GMP)
    3) 对全局池化的结果做全连接得到全连接参数 w
    4) 把全连接参数作为权重对特征图进行加权求和 上图最下方的公式

    根据对图像的研究发现,不同的类别的特征图相应区域不一样,原始的卷积网络具有一定的定位能力。而且如下图所示,不同类别的注意力区域也大不相同也呈现出非常准确的特征区域。

    模型可以预测出不同类别概率,根据类注意图发现。即使是错误预测的类别,比如上图预测狗狗预测成了人,但是人也在图中特征区域也是定位在了人的身上。

    说了这么多就是论证GAP和GMP具有定位能力。那么具体那个好呢

    先看一组实验
    在这里插入图片描述

    我们发现相比GAP,GMP在同一个类别上的top1 和top5 的损失都有所升高。

    原因分析:
    GAP 是对全局求平均,GAP LOSS 促使网络区分辨每个类别的程度,找到所有的目标可区分区域进行预测。
    GMP 是对全局求最大,只去找分数最高的那个区域。而去忽略其他分数低的区域

    因此在定位方面,GAP 比GMP要好

    GAP outperforms GMP for localization.

    展开全文
  • 全局平均池化,全局最大池化

    千次阅读 2018-12-24 17:51:22
    深度学习: global pooling (全局池化) Global average Pooling 论文出处:Network In Network 举个例子 假如,最后的一层的数据是10个6*6的特征图,global average pooling是将每一张特征图计算所有像素点的...

    参考文献:

    深度学习: global pooling (全局池化)

    Global average Pooling

    论文出处:Network In Network

     

    举个例子

    假如,最后的一层的数据是10个6*6的特征图,global average pooling是将每一张特征图计算所有像素点的均值输出一个数据值

    这样10 个特征图就会输出10个数据点,将这些数据点组成一个1*10的向量的话,就成为一个特征向量,就可以送入到softmax的分类中计算了
     

    展开全文
  • 全局均值池化全局最大池化的输入一般为NxCxHxW,输出为NxCx1x1但是实际上有时候我们还会有另外一个需求,就是全局深度池化,它的输出是Nx1xHxW。这个方式的池化通常会先把数据转换为NxH*WxC的方式,然后使用一...
  • 对学习Class Activation Mapping(CAM)原文献的时候提到的全局平均池化GAP方法做个简单的知识补充。 所谓的全局就是针对常用的平均池化而言,平均池化会有它的filter size,比如 2 * 2,全局平均池化就没有size,...
  • 全局平均池化(global-average-pooling)

    万次阅读 2018-09-21 18:18:20
    全局平均池化在很多视觉任务中会用到。之前对darknet-53结构分析的时候,特别留意了一下全局平局池化。 其实,这个操作就是它的字面意思:把特征图全局平均一下输出一个值,也就是把W*H*D的一个张量变成1*1*D的张量...
  • 全局平均池化(Global Average Pooling)

    万次阅读 2019-02-12 17:22:13
    假设最终分成10类,则最后卷积层应该包含10个滤波器(即输出10个特征图),然后按照全局池化平均定义,分别对每个特征图,累加所有像素值并求平均,最后得到10个数值,将这10个数值输入到softmax层中,得到10个概率...
  • 在神经网络中,我们经常会看到池化层,常用的池化操作有四种:mean-pooling(平均池化),max-pooling(最大池化)、Stochastic-pooling(随机池化)和global average pooling(全局平均池化),池化层有一个很明显...
  • 全局平均池化

    千次阅读 2019-04-13 20:44:38
     在采用了微神经网络后,让局部模型有更强的抽象能力,从而让全局平均池化能具有特征图与类别之间的一致性,同时相比传统CNN采用的全连接层,不易过拟合(因为全局平均池化本身就是一种结构性的规则项)(PS:经典...
  • 全局平均池化英文名为:global average pooling简称为GAP 其具体实现过程在原文 << Network In Network >> 中为: 可以看出其是将矩阵中的 [w,h] ,进行平均池化变为一个单元。也即进行Flattrn和FC。其...
  • 全局平均平均池化就是对最后一层卷积的特征图,每个通道求整个特征图的均值。如下图所示: 然后再接一层全连接,因为全局池化后的值相当于一像素,所以最后的全连接其实就成了一个加权相加的操作。这种结构比起直接...
  • 假设最终分成10类,则最后卷积层应该包含10个滤波器(即输出10个特征图),然后按照全局池化平均定义,分别对每个特征图,累加所有像素值并求平均,最后得到10个数值,将这10个数值输入到softmax中,得到10个概率值...
  • 但是全连接的参数实在是太多了,你想这张图里就有20*12*12*100个参数,前面随便一层卷积,假设卷积核是7*7的,厚度是64,那也才7*7*64,所以现在的趋势是尽量避免全连接,近期的大部分论文FC多用全局平均池化层(GAP...
  • AlexNet和VGG模型最后都是有三个全连接层(FC),而Inception_v1用全局平均池化的方法代替全连接层融合学到的深度特征,这种方法可以显著提升在小样本情况下模型的预测分类能力!只有一个分类的全连接层(我是二...
  • 传送门
  • Towards Faster Training of Global Covariance Pooling ...通过迭代计算矩阵平方根加速训练全局协方差池化替代全局平均池化更好地利用协方差矩阵丰富的结构信息,提出的方法在几个细粒度的数据集上都SOTA效果。
  • PyTorch入门(五)常用的池化操作

    千次阅读 2020-04-05 17:22:13
    深度学习中常规的池化层的池化操作有最大池化(Max Pooling)和平均池化(Average Pooling),同时有以下常用的池化层:金字塔池化、全局平均池化、ROI池化… 金字塔池化 金字塔池化有空间金字塔池化(spatial ...
  • Inception V1架构详情和卷积池化概念

    千次阅读 2019-08-14 09:21:34
    Inception 架构详情:inception V1 具有22层。包括池化层的话是 27 层,该模型在最后一个 inception 模块处使用全局平均池化,线性输出。
  • 笔者最近碰到了几种池化层,如最常见的max pooling,后来又遇到了全局平均池化,自适应池化等操作,感叹有点疑惑,这些不同的pooling之间的作用是什么啊? 翻了一下pytorch的官方文档,发现竟然还有很多没见过的...
  • 文章目录1 相关介绍背景创新性2 相关工作基于拓扑的池化全局池化分层池化3 方法3.1 基于self-attention的图池化方法:SAGPoolSelf-attention mask图池化SAGPool的变种3.2 模型架构卷积层readout层全局池化架构分层...
  • 卷积神经网络中的池化操作

    千次阅读 2020-03-18 23:49:37
    卷积神经网络中的池化操作简介最大/平均池化随机池化中值池化组合池化Spatial Pyramid PoolingGlobal Average/Max PoolingNetVLAD池化Bilinear PoolingUnPooling 简介 池化操作(Pooling)是CNN中非常常见的一种操作,...
  • 本文的方法:引入一种称为条带池化的新池化策略来重新考虑空间池化公式,该策略考虑了一个长而窄的核,即1×N或 N×1。 本文基于条带池化,通过以下步骤研究空间池化体系结构设计: 1)引入一种新的条带池化模块,...
  • CCBR2018 Sheng Chen, Yang Liu, Xiang Gao, Zhen Han 一、简介 提出了一类极其高效的CNN模型MobileFaceNets,使用...对于人脸识别任务,有全局平均池化层的CNN比没有全局平均池化层的CNN准确率要低。 人脸预处理方法
  • 卷积、池化

    2019-11-13 17:17:26
    卷积、池化 文章目录卷积、池化一、卷积1.定义:2.目的3.卷积核卷积核的作用:卷积核一般为奇数卷积核示例:4.步长stride5.padding6.公式7.卷积核的选择@@@二、池化1定义:2.目的3.分类:4.公式 一、卷积 1.定义: ...
  • Caffe源代码之池化

    2018-08-02 16:20:15
    池化层(PoolingLayer)在深度学习的结构中占很重要的一部分,其功能是缩小输入特征图的尺度,增大输出特征图的感受野,在有的网络中,通过全局池化层,将二维特征图变成一维特征向量。池化层有两个特点:(1)输出...
  • 本文参考了PaddlePaddle官方文档,融合整理而成,官方文档链接: ...池化 池化的作用是对输入特征做下采样和降低过拟合。 降低过拟合是减小输出大小的结果,它同样也减少了后续层中的参数的数量。 池化通常只需要...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,325
精华内容 1,730
关键字:

全局平均池化公式