精华内容
下载资源
问答
  • 即对于每一的6x6=36个像素点,计算这36个像素点的均值(最大值),由于共有10,所以共得到10个数据。 这样10 个特征图就会输出10个数据点,将这些数据点组成一个1*10的向量的话,就成为一个特征向量,就可以送入...

    全局最大池化图示如下,它是取每个feature map的最大值。
    在这里插入图片描述
    全局均值池化跟全局最大池化的输入一般为NxCxHxW,输出为NxCx1x1但是实际上有时候我们还会有另外一个需求,就是全局深度池化,它的输出是Nx1xHxW。这个方式的池化通常会先把数据转换为NxH*WxC的方式,然后使用一维度最大/均值池化在C上完成,最后在转换为Nx1xHxW即可。。

    下面举个例子,假如最后的一层的数据是10个6*6的特征图,global average pooling是将每一张特征图计算所有像素点的均值,输出一个数据值。
    即对于每一层的6x6=36个像素点,计算这36个像素点的均值(最大值),由于共有10层,所以共得到10个数据。

    这样10 个特征图就会输出10个数据点,将这些数据点组成一个1*10的向量的话,就成为一个特征向量,就可以送入到softmax的分类中计算。

    推荐博客:
    轻松学Pytorch – 全局池化层详解

    展开全文
  • 综述:最大池化,平均池化,全局最大池化和全局平均池化?区别原来是这样

    综述:最大池化,平均池化,全局最大池化和全局平均池化?区别原来是这样


    摘要

    创建ConvNets通常与池化层并驾齐驱。更具体地说,我们经常看到其他层,例如最大池化。但是他们是什么?为什么有必要,以及它们如何帮助训练机器学习模型?以及如何使用它们?

    我们在此博客文章中回答这些问题。

    首先,我们将从概念层面看一下池化操作。我们探索了ConvNet的内部工作原理,并通过此分析显示了合并层如何帮助这些模型中生成的空间层次结构。然后,我们继续确定池的四种类型-最大池化,平均池化,全局最大池化和全局平均池化。

    随后,我们从理论转向实践:我们展示池化如何在Keras(当今最广泛使用的深度学习框架)中表示。然后,我们通过基于MaxPooling的示例来结束本博客。

    什么是池化?

    假设您正在训练卷积神经网络。您的目标是对数据集中的图像进行分类。由您的神经网络中的第一卷积层执行的操作可以表示如下:
    在这里插入图片描述

    该层的输入是图像,高度为 H,宽度 w ^并具有三个渠道。因此,它们很可能是RGB图像。使用3x3x3内核&#

    展开全文
  • 全局平均池化,全局最大池化

    万次阅读 2018-12-24 17:51:22
    深度学习: global pooling (全局池化) Global average Pooling 论文出处:Network In Network 举个例子 假如,最后的一的数据是10个6*6的特征图,global average pooling是将每一张特征图计算所有像素点的...

    参考文献:

    深度学习: global pooling (全局池化)

    Global average Pooling

    论文出处:Network In Network

     

    举个例子

    假如,最后的一层的数据是10个6*6的特征图,global average pooling是将每一张特征图计算所有像素点的均值输出一个数据值

    这样10 个特征图就会输出10个数据点,将这些数据点组成一个1*10的向量的话,就成为一个特征向量,就可以送入到softmax的分类中计算了
     

    展开全文
  • GAP(全局平均池化层)操作

    千次阅读 2020-09-15 22:30:48
    在卷积神经网络的初期,卷积层通过池化层(一般是 最大池化)后总是要一个或n个全连接层,最后在softmax分类。其特征就是全连接层的参数超多,使模型本身变得非常臃肿。 之后,有大牛在NIN(Network in Network)...

    转载的文章链接:
    为什么使用全局平均池化层?
    关于 global average pooling
    https://blog.csdn.net/qq_23304241/article/details/80292859

    在卷积神经网络的初期,卷积层通过池化层(一般是 最大池化)后总是要一个或n个全连接层,最后在softmax分类。其特征就是全连接层的参数超多,使模型本身变得非常臃肿。
    之后,有大牛在NIN(Network in Network)论文中提到了使用全局平局池化层代替全连接层的思路,以下是摘录的一部分资料:

    global average poolilng。既然全连接网络可以使feature map的维度减少,进而输入到softmax,但是又会造成过拟合,是不是可以用pooling来代替全连接。
    答案是肯定的,Network in Network工作使用GAP来取代了最后的全连接层,直接实现了降维,更重要的是极大地减少了网络的参数(CNN网络中占比最大的参数其实后面的全连接层)。Global average pooling的结构如下图所示:

    在这里插入图片描述
    由此就可以比较直观地说明了。这两者合二为一的过程我们可以探索到GAP的真正意义是:对整个网路在结构上做正则化防止过拟合。其直接剔除了全连接层中黑箱的特征,直接赋予了每个channel实际的内别意义。
    实践证明其效果还是比较可观的,同时GAP可以实现任意图像大小的输入。但是值得我们注意的是,使用gap可能会造成收敛速度减慢。
    但是,全局平均池化层比较全连接层,为什么会收敛速度变慢,它们对模型的训练有什么差异呢?我没有找到相关的文章的介绍。以下是发挥我自己的想象(很有可能是错误的)来理解的几个点:
    1.全连接层结构的模型,对于训练学习的过程,可能压力更多的在全连接层。就是说,卷积的特征学习的低级一些,没有关系,全连接不断学习调整参数,一样能很好的分类。
    此处是完全猜测,没有道理。
    2.全局平均池化层代替全连接层的模型,学习训练的压力全部前导到卷积层。卷积的特征学习相较来说要更为"高级"一些。(因此收敛速度变慢?)
    为什么这么想呢?我的理解是,全局平均池化较全连接层,应该会淡化不同特征间的相对位置的组合关系(“全局”的概念即如此)。因此,卷积训练出来的特征应该更加“高级”。
    3. 以上的两个观点联合起来,可以推导出,全局平均池化层代替全连接层虽然有好处,但是不利于迁移学习。因为参数较为“固化”在卷积的诸层网络中。增加新的分类,那就意味着相当数量的卷积特征要做调整。而全连接层模型则可以更好的迁移学习,因为它的参数很大一部分调整在全连接层,迁移的时候卷积层可能也会调整,但是相对来讲要小的多了。
    这3点完全是我个人的理解,希望有大牛留言批评指正。

    global average pooling 与 average pooling 的差别就在 “global” 这一个字眼上。global与 local 在字面上都是用来形容 pooling 窗口区域的。 local 是取 feature map 的一个子区域求平均值,然后滑动这个子区域; global 显然就是对整个 feature map 求平均值了。
    因此,global average pooling 的最后输出结果仍然是 10 个 feature map,而不是一个,只不过每个feature map 只剩下一个像素罢了。这个像素就是求得的平均值。 官方 prototxt 文件 里写了。网络进行到最后一个average pooling 层的时候,feature map 就剩下了 10 个,每个大小是 8 * 8。顺其自然地作者就把pooling 窗口设成了 8 个像素,意会为 global average pooling 。可见,global averagepooling 就是窗口放大到整个 feature map 的 average pooling 。

    每个讲到全局池化的都会说GAP就是把avg pooling的窗口大小设置成feature map的大小,这虽然是正确的,但这并不是GAP内涵的全部。GAP的意义是对整个网络从结构上做正则化防止过拟合。既要参数少避免全连接带来的过拟合风险,又要能达到全连接一样的转换功能,怎么做呢?直接从feature map的通道上下手,如果我们最终有1000类,那么最后一层卷积输出的feature map就只有1000个channel,然后对这个feature map应用全局池化,输出长度为1000的向量,这就相当于剔除了全连接层黑箱子操作的特征,直接赋予了每个channel实际的类别意义。

    展开全文
  • 一 实例描述使用全局平均池化层来代替传统的全连接层,使用了3个卷积层的同卷积操作,滤波器为5*5,每个卷积层后面都会跟个步长为2*2的池化层,滤波器为2*2。2层的卷积加池后是输出为10个通道卷积层,然后对这10个...
  • 池化层详细介绍

    万次阅读 多人点赞 2020-04-13 14:17:30
    有多种不同形式的非线性池化函数,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效地原因在于,在发现一个特征之后,它...
  • 最大池化层的作用

    万次阅读 2017-12-14 11:20:38
    层 为了理解这种不变性,我们假设把最大池化层和一个卷积层结合起来,对于单个像素,有 8 个变换的方向(上、下、左、右、左上、左下、右上、右下),如果最大层是在 2*2 的窗口上面实现,这 8 个可能的配置中,有 ...
  • 举例说明,一张图片经过卷积层和池化层处理为7*7*256,输入的全连接层有512个神经元,这个全连接层的参数为:(7*7*256+1)*512=6423040;然后下一个全连接层的神经元个数为1024的话,下一个全连接层的参数为:(512...
  • Pytorch没有对全局平均(最大池化单独封装为一。需要自己实现。下面有两种简单的实现方式。 使用torch.max_pool1d()定义一个网络。 使用nn.AdaptiveMaxPool1d(1)并设置输出维度是1 import torch import ...
  • 参考:https://blog.csdn.net/JNingWei/article/details/80064451(全局池化) https://blog.csdn.net/williamyi96/article/details/77530995(Global Average Pooling对全连接的可替代性分析) ...
  • 全局平均池化

    万次阅读 多人点赞 2019-07-12 10:15:04
    思想:对于输出的每一个通道的特征图的所有像素计算一个平均值,经过全局平均池化之后就得到一个 维度==类别数 的特征向量,然后直接输入到softmax 作用:代替全连接,可接受任意尺寸的图像 优点:1)可以...
  • 自适应池化Adaptive Pooling是PyTorch含有的一种池化层,在PyTorch的中有六种形式: 自适应最大池化Adaptive Max Pooling: torch.nn.AdaptiveMaxPool1d(output_size) torch.nn.AdaptiveMaxPool2d(output_size) ...
  • 1、全局平均池化 平均池化...
  • 关于全局平均池化的理解

    万次阅读 2019-01-16 17:18:43
    1、全局平均池化 平均池化:在feature map上以窗口的形式进行滑动(类似卷积的窗口滑动),操作为取窗口内的最大值作为结果,经过操作...《NIN》:使用全局平均池化代替CNN中传统的全连接。在使用卷积层的识别任务...
  • 在神经网络中,我们经常会看到池化层,常用的池化操作有四种:mean-pooling(平均池化),max-pooling(最大池化)、Stochastic-pooling(随机池化)和global average pooling(全局平均池化),池化层有一个很明显...
  • 全局平均池化(global-average-pooling)

    万次阅读 2018-09-21 18:18:20
    全局平均池化在很多视觉任务中会用到。之前对darknet-53结构分析的时候,特别留意了一下全局平局池化。 其实,这个操作就是它的字面意思:把特征图全局平均一下输出一个值,也就是把W*H*D的一个张量变成1*1*D的张量...
  • 全局平均池化能否完美代替全连接? 参考链接:https://www.cnblogs.com/hutao722/p/10008581.html 一.什么是全局平均池化?    全局平均池化(GAP)通过池化操作把多维矩阵转化为特征向量,以顶替全连接(FC)。 ...
  • 版权声明:本文为CSDN博主「qyhyzard」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 ... 利用现有的pooling API实现全局平均池化的效果。...也就是说,全局平均池化...
  • 池化层的作用

    千次阅读 2020-05-20 17:58:15
    第一个参数value:需要池化的输入,一般池化层接在卷积层后面,所以输入通常是feature map,依然是[batch, height, width, channels]这样的shape 第二个参数ksize:池化窗口的大小,取一个四维向量,一般是[1, ...
  • 在一些论文中,我们可能会看到全局平均池化操作,但是我们从pytorch官方文档中却找不到这个API,那我们应该怎么办? 答案是: 利用现有的pooling API实现全局平均池化的效果。 首先我们简单理解全局平均池化操作。 ...
  • 华为的海思平台有一套自己的深度学习推理框架nnie,可实现在边缘端硬件实现深度学习模型的部署,一般的部署...1.关于全局平均(最大)池化操作,nnie中对池化层的核尺寸有一个限制,kernel<2048/(w/(16*stride_w)s
  • 一个典型的卷积神经网络结构图,其中的卷积层是对图像的一个邻域进行卷积得到图像的邻域特征,亚采样就是使用pooling技术将小邻域内的特征点整合得到新的特征。 作用 pooling的结果是使得特征减少,参数减少,但...
  • 各位读者大家好,上周我们详细讲解了Keras的核心网络层,相信大家已经对核心网络层的作用以及...其具体操作与卷积层的操作基本相同,只不过池化层的卷积核只取对应位置的最大值、平均值等(最大池化、平均池化),且...
  • pytorch全局池化

    千次阅读 2020-06-13 15:32:31
    在一些论文中,我们可能会看到全局平均池化操作,但是我们从pytorch官方文档中却找不到这个API,那我们应该怎么办? 答案是: 利用现有的pooling API实现全局平均池化的效果。 首先我们简单理解全局平均池化操作。 ...
  • Keras--池化层

    千次阅读 2018-04-07 21:33:51
    MaxPooling1D # keras.layers.MaxPooling1D(pool_size=2, strides=None, padding='valid') #缩小比例的因数 # strides如果是 None,那么...对于空域数据的最大池化。 keras.layers.MaxPooling2D(pool_size=(...
  • 深入理解CNN卷积层、池化层、全连接层_Bingogo.cn的博客-CSDN博客_卷积层全连接层
  • 2_2-numpy池化层实现

    千次阅读 2018-09-12 21:38:48
    Max Pooling 前向过程 反向过程 Average Pooling 前向过程 反向过程 Global Max Pooling 前向过程 反向过程 Global Average Pooling ...参考池化层的反向传播中公式(1) import numpy as np def...
  • 卷积层与池化层

    万次阅读 多人点赞 2018-08-04 16:08:16
    卷积神经网络(Convolutional Neural Layer, CNN),除了全连接层以外(有时候也不含全连接层,因为出现了Global average pooling),还包含了卷积层和池化层。卷积层用来提取特征,而池化层可以减少参数数量。 卷...
  • 全局池化(global pooling)

    千次阅读 2019-04-09 14:24:36
    global pooling是pooling的滑窗size和整张feature map的size一样大。这样,每个 W×H×C 的feature map输入就会被转化为 1×1×C 输出。因此,其实也等同于每个位置权重都为 1/(W×H) 的FC操作。global pooli...
  • Pytorch学习-task7:Pytorch池化层和归一化层torch.nn中提供的Pooling Layers池化层1. MaxPool 最大池化操作2. MaxUnpool - MaxPool1d计算部分反转?3. AvgPool练习归一化层 参考链接1: 参考链接2: 参考链接3: ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,334
精华内容 4,933
关键字:

全局最大池化层