精华内容
下载资源
问答
  • 平均池化和最大池化
    2022-03-09 15:33:52

    pooling的结果是使得特征减少,参数减少,但pooling的目的并不仅在于此。
    pooling目的是为了保持某种不变性(旋转、平移、伸缩等),常用的有mean-pooling,max-pooling和Stochastic-pooling三种。

    平均池化

    更多保留背景信息
    map中所有信息都有用的时候选择avgpool
    如分割的时候,用global avgpool来获取全局上下文关系
    如224×224图像分类将最后的7×7map进行avgpool而不是maxpool,是因为网络深层的高级语义信息一般来说都能帮助分类器分类

    最大池化

    更多保留纹理(边界)信息
    为了减少无用信息的影响时用maxpool
    比如网络浅层常常见到maxpool,因为开始几层对图像而言包含较多的无关信息。

    avgpool与maxpool输出值会有不同的幅度区间,有些时候会遇到maxpool输出值幅度波动大,此时可以加一些归一化操作。二者的具体使用场景只有在具体任务上观察,实际效果炼丹后才知道。
    更多相关内容
  • 平均池化和最大池化适用场景 平均池化和最大池化分别适用于什么场景呢? 在卷积神经网络中,池化操作主要有两种。其中一个是,最大池化(MaxPooling);另外一个是平均池化(MeanPooling)。如图2-4所示,池化过程是...

    平均池化和最大池化适用场景

    平均池化和最大池化分别适用于什么场景呢?
    在卷积神经网络中,池化操作主要有两种。其中一个是,最大池化(MaxPooling);另外一个是平均池化(MeanPooling)。如图2-4所示,池化过程是将输入图像平均划分成若干个矩形区域,最大的池化则是将池化区域的像素点取最大值,这种方式得到的特征图对纹理特征信息更加敏感;平均池化则是对池化区域内的图像取平均值,这种方式得到的特征信息对背景信息更加敏感,例如可以帮助分类。这种机制能够有效的原因在于,在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。对卷积神经网络进行池化处理可以降低卷积操作输出特征图的大小。首先,池化层缩小了卷积神经网络的规模,能够使卷积神经网络训练的权重数量得到明显下降。除此之外,池化层能够实现感受野的范围的增加。同时,池化层还能够在一定程度上克服过拟合的现象。池化层也有平移、缩放和旋转不变性等特点。池化层只能减小特征图的维度,但是不会改变特征图的数量。池化层不会增加训练的权重数量。在池化操作的过程中,还使用改变步长大小的方法来控制输出特征图的维度。
    在这里插入图片描述
    一般来说,当需要综合特征图上的所有信息做相应决策时,通常会用AvgPooling,例如在图像分割领域中用Global AvgPooling来获取全局上下文信息;在图像分类中在最后几层中会使用AvgPooling。因为网络深层的高级语义信息可以帮助分类器分类。在图像分割/目标检测/图像分类前面几层,由于图像包含较多的噪声和目标处理无关的信息,因此在前几层会使用MaxPooling去除无效信息。

    展开全文
  • cnn中关于平均池化和最大池化的理解 接触到pooling主要是在用于图像处理的卷积神经网络中,但随着深层神经网络的发展,pooling相关技术在其他领域,其他结构的神经网络中也越来越受关注。一个典型的卷积神经网络结构...

    cnn中关于平均池化和最大池化的理解

    接触到pooling主要是在用于图像处理的卷积神经网络中,但随着深层神经网络的发展,pooling相关技术在其他领域,其他结构的神经网络中也越来越受关注。
    一个典型的卷积神经网络结构图,其中的卷积层是对图像的一个邻域进行卷积得到图像的邻域特征,亚采样层就是使用pooling技术将小邻域内的特征点整合得到新的特征。

     

    作用

    pooling的结果是使得特征减少,参数减少,但pooling的目的并不仅在于此。

    pooling目的是为了保持某种不变性(旋转、平移、伸缩等)

     

    分类

    常用的有mean-pooling,max-pooling和Stochastic-pooling三种。

    mean-pooling,即对邻域内特征点只求平均,

    max-pooling,即对邻域内特征点取最大。

     

    根据相关理论,特征提取的误差主要来自两个方面:

    (1)邻域大小受限造成的估计值方差增大

    (2)卷积层参数误差造成估计均值的偏移

     

    一般来说,

    mean-pooling能减小第一种误差(邻域大小受限造成的估计值方差增大),更多的保留图像的背景信息,

    max-pooling能减小第二种误差(卷积层参数误差造成估计均值的偏移),更多的保留纹理信息。

    Stochastic-pooling则介于两者之间,通过对像素点按照数值大小赋予概率,再按照概率进行亚采样,在平均意义上,与mean-pooling近似,在局部意义上,则服从max-pooling的准则。

     

    LeCun的“Learning Mid-Level Features For Recognition”对前两种pooling方法有比较详细的分析对比,如果有需要可以看下这篇论文。

     

     

    pooling的反向传播

    原则:把1个像素的梯度传递给4个像素,但是需要保证传递的loss(或者梯度)总和不变

     

    对于mean pooling,真的是好简单:假设pooling的窗大小是2x2, 在forward的时候啊,就是在前面卷积完的输出上依次不重合的取2x2的窗平均,得到一个值就是当前mean pooling之后的值。backward的时候,把一个值分成四等分放到前面2x2的格子里面就好了。如下

    forward: [1 3; 2 2] -> [2] 
    backward: [2] -> [0.5 0.5; 0.5 0.5]

    max pooling就稍微复杂一点,forward的时候你只需要把2x2窗子里面那个最大的拿走就好了,backward的时候你要把当前的值放到之前那个最大的位置,其他的三个位置都弄成0。如下

    forward: [1 3; 2 2] -> 3 
    backward: [3] -> [0 3; 0 0]

     

    1、mean pooling

    mean pooling的前向传播就是把一个patch中的值求取平均来做pooling,那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层,这样就保证池化前后的梯度(残差)之和保持不变,还是比较理解的,图示如下 
    这里写图片描述
    mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去,但是这样会造成loss之和变为原来的N倍,网络是会产生梯度爆炸的。

    2、max pooling

    max pooling也要满足梯度之和不变的原则,max pooling的前向传播是把patch中最大的值传递给后一层,而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素,而其他像素不接受梯度,也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大

    源码中有一个max_idx_的变量,这个变量就是记录最大值所在位置的,因为在反向传播中要用到,那么假设前向传播和反向传播的过程就如下图所示 
    这里写图片描述

     

    https://blog.csdn.net/junmuzi/article/details/53206600

    https://blog.csdn.net/qq_21190081/article/details/72871704

    转载自cnn中关于平均池化和最大池化的理解 - sunflower_sara的机器学习园地 - CSDN博客

    展开全文
  • 平均池化和最大池化区别

    万次阅读 2018-10-22 11:35:50
    pooling目的是为了保持某种不变性(旋转、平移、伸缩等),常用的有mean-pooling,max-poolingStochastic-pooling三种。   mean-pooling,即对邻域内特征点只求平均。 max-pooling,即对邻域内特征点取最大...

    pooling的结果是使得特征减少,参数减少,但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性(旋转、平移、伸缩等),常用的有mean-pooling,max-pooling和Stochastic-pooling三种。

     

    mean-pooling,即对邻域内特征点只求平均。

    max-pooling,即对邻域内特征点取最大。

     

    根据相关理论,特征提取的误差主要来自两个方面:

    (1)邻域大小受限造成的估计值方差增大;

    (2)卷积层参数误差造成估计均值的偏移。

     

    一般来说,mean-pooling能减小第一种误差,更多的保留图像的背景信息,max-pooling能减小第二种误差,更多的保留纹理信息。

     

     

    Stochastic-pooling则介于两者之间,通过对像素点按照数值大小赋予概率,再按照概率进行亚采样,在平均意义上,与mean-pooling近似,在局部意义上,则服从max-pooling的准则。

    展开全文
  • 所谓的全局就是针对常用的平均池化而言,平均池化会有它的filter size,比如 2 * 2,全局平均池化就没有size,它针对的是整张feature map. 全局平均池化(Global average Pooling)由 M. Lin, Q. Chen, and S. ...
  • 简述平均池化和最大池化

    千次阅读 2018-11-05 16:56:30
    简述平均池化和最大池化 pooling的结果是使得特征减少,参数减少,但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性(旋转、平移、伸缩等),常用的有mean-pooling,max-pooling和Stochastic-pooling...
  • 综述:最大池化,平均池化,全局最大池化和全局平均池化?区别原来是这样
  • 最大池化和平均池化

    千次阅读 多人点赞 2021-04-20 14:29:28
    参考链接: ...著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 概念: 接触到pooling主要是在用于图像处理的卷积神经网络中,但随着深层神经网络的发展...与卷积层类似,池化层运算符由一个固定形
  • 【Pytorch实现】——最大池化和平均池化 import torch from torch import nn def pool2d(X, pool_size, mode='max'): # 获取池化层核的大小 p_h, p_w = pool_size # 计算经过最大池化后的特征图的大小 Y = ...
  • 最大池化平均池化区别

    千次阅读 2021-03-15 10:59:23
    最大池化层: ...平均池化最大池化区别: 前向传播中计算pool区域内的最大值并记录该最大值所在输入数据中的位置,为了在反向传播中,需要把梯度值传到对应最大值的位置置。而且反向传播也就是把梯度值直
  • 池化的定义比较简单,最直观的作用便是降维,常见的池化有最大池化、平均池化和随机池化。 池化层不需要训练参数。 1、 三种池化:最大池化Maxpool、平均池化Average_pool、随机池化randpool 最大池化是对局部的值取...
  • 即对于每一层的6x6=36个像素点,计算这36个像素点的均值(最大值),由于共有10层,所以共得到10个数据。 这样10 个特征图就会输出10个数据点,将这些数据点组成一个1*10的向量的话,就成为一个特征向量,就可以送入...
  • 根据MIT的 Learning Deep Features for Discriminative Localization论文中的描述,在使用类响应图class activation mapping (CAM) 对比全局平均池化Global average pooling (GAP) vs 全局最大池化global max ...
  • 如题:只需要给定输出特征图的大小就好,其中通道数前后不发生变化。具体如下: AdaptiveAvgPool2d CLASStorch.nn.AdaptiveAvgPool2d(output_size)[SOURCE] Applies a 2D adaptive average pooling over an input ...
  • Q6:减色处理 减色处理就是将图片的256^3个色调变成4^3个色调,也就是将原来每个通道256个颜色级分成四个区间压缩到4...与平均池化的效果相比,最大池化的局部色彩更加鲜明,但整体上呈现的效果还是平均池化更好一些。
  • 最大池化平均池化的选择

    千次阅读 2019-08-09 14:32:39
    在目标对象是偏向于纹理、轮廓是,选用最大池化较好 在目标对象时偏向于背景或其他信息是,选用平均池化较好 在可以在较浅层使用最大池化,用来过滤无用的信息,在较深层使用平均池化,防止丢掉太多高维信息 ...
  • 最大池化和平均池化层图解

    万次阅读 2019-01-21 11:14:11
    因为maxpooling是获取最大值, 由于白色的像素值比较大, 黑色的像素值比较小 所以就手写图片而言, maxpooling其实说获取黑色数字周围的白色部分,而不是获取黑色部分。 另外keras中相关概念: ...
  • 卷积、平均池化最大池化

    千次阅读 2022-02-10 00:09:40
    卷积、平均池化最大池化_宁静致远*的博客-CSDN博客_平均卷积参考https://blog.csdn.net/cqhblg/article/details/89074292https://blog.csdn.net/sunflower_sara/article/details/813220481 卷积通俗点说:卷积在...
  • 在神经网络中,我们经常会看到池化层,常用的池化操作有四种:mean-pooling(平均池化),max-pooling(最大池化)、Stochastic-pooling(随机池化)global average pooling(全局平均池化),池化层有一个很明显...
  • 文章目录MaxPool2d最大池化AvgPool2d平均池化AdaptiveAvgPool2d自适应平均池化 池化操作的一个重要的目的就是对卷积后得到的特征进行进一步处理,池化层可以起到对数据进一步浓缩的效果,从而缓解计算时内存的压力。...
  • 在图片降采样的过程中,常采用pooling(池化)方法来降采样。 计算图像一个区域上的...最大池化:对池化区域的所有像素值取最大值,这种方法得到的特征数据对纹理信息更加敏感 import numpy as np from PIL impor...
  • 全局平均池化,全局最大池化

    万次阅读 2018-12-24 17:51:22
    深度学习: global pooling (全局池化) Global average Pooling 论文出处:Network In Network 举个例子 假如,最后的一层的数据是10个6*6的特征图,global average pooling是将每一张特征图计算所有像素点的...
  • 文章目录最大池化平均池化层自适应平均池化层代码实现 还是用[上次的小实例] ,这次加入三种池化层做练习。(https://blog.csdn.net/qq_38737428/article/details/121523145) 我之前以为池化层也叫下采样,但...
  • 最大池化:取卷积区域内的最大值 平均池化:取卷积区域内的均值 有一点,石原里美小姐姐出去玩,拍了一张美美的照片,回来的路上看到了路边有一个十元快速洗照片的摊,于是就花了十元把照片洗了下。回家之后掏出来一...
  • 今天小编就为大家分享一篇pytorch中的卷积和池化计算方式详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 24,225
精华内容 9,690
关键字:

平均池化和最大池化

友情链接: Donoho.rar