精华内容
下载资源
问答
  • 空间注意力 通道注意力“The addictive nature of web browsing can leave you with an attention span of nine seconds – the same as a goldfish,” said the BBC in 2002. “Our attention span gets affected ...

    空间注意力 通道注意力

    “The addictive nature of web browsing can leave you with an attention span of nine seconds – the same as a goldfish,” said the BBC in 2002. “Our attention span gets affected by the way we do things,” Ted Selker, from the Massachusetts Institute of Technology told the British news agency. “If we spend our time flitting from one thing to another on the web, we can get into a habit of not concentrating.” Boy was he right.

    英国广播公司(BBC)在2002年说: “网络浏览的令人上瘾的特性可以使您的注意力跨度为9秒钟,就像金鱼一样。我们的注意力跨度受我们做事方式的影响,”麻省理工学院告诉英国新闻社。 “如果我们花时间在网络上从一件事转移到另一件事,就会养成不专心的习惯。” 男孩,他是对的。

    No time has it been more evident that our attention spans have been severely diminished than on today’s web. Twitter, for example, asks us to reduce our thoughts to just 140 characters, while 12seconts.tv asks us to do that same in just twelve seconds. And the average length of the 12 billion videos US Internet users consumed via the web in May? Just 2.7 minutes. Clearly, our attention on the web is fleeting.

    没有比现在更加明显的是,我们的注意力跨度已大大减少。 例如, Twitter要求我们将想法减少到140个字符,而12seconts.tv要求我们在十二秒内完成相同的操作。 五月份,美国互联网用户通过网络消费的120亿个视频的平均长度是多少? 只需2.7分钟 。 显然,我们在网络上的注意力正在转瞬即逝。

    In May, web usability consultant Jakob Neilsen found that the more words you add to a page the more people skim it. In other words, our short attention spans can’t handle long articles and we end up just skipping to the bottom. In my time as a blogger, I’ve generally found that shorter articles or articles that are broken up with sub headlines and bullet points or images tend to get more comments those that are mainly lengthy blocks of text (like this one, for example).

    5月,网络可用性顾问Jakob Neilsen发现,添加到页面上字词越多,浏览该页面的人就越多 。 换句话说,我们的注意力不足,无法处理长篇文章,最终我们只能跳到最底层。 在我担任博客作者的那段时间里,我通常发现较短的文章或带有副标题,项目符号要点或图像的文章往往会获得更多评论,而这些评论主要是冗长的文本块(例如,像这样的文本) 。

    In the July/August issue of the Atlantic Monthly magazine, author Nick Carr asks if the Internet is making us stupid. “Immersing myself in a book or a lengthy article used to be easy,” Carr writes. “My mind would get caught up in the narrative or the turns of the argument, and I’d spend hours strolling through long stretches of prose. That’s rarely the case anymore. Now my concentration often starts to drift after two or three pages.”

    在《大西洋月刊》的7月/ 8月号中,作者尼克·卡尔(Nick Carr)询问互联网是否使我们变得愚蠢 。 卡尔写道:“沉浸在书本或冗长的文章中曾经很容易。” “我的想法会陷入叙述或论证的转折之中,我会花数小时在漫长的散文中漫步。 这种情况已经很少了。 现在,我的注意力通常在两到三页之后就开始漂移。”

    Carr blames his heavy use of the Internet over the past few years for rewiring his brain to make it harder to absorb information that doesn’t come in bite-sized chunks. He probably has a point.

    卡尔归咎于他在过去几年中对互联网的大量使用,原因是他重新动了脑筋,以致于难以吸收一小块的信息。 他可能有一点。

    注意如何工作 (How Attention Works)

    The part of your brain located between the medulla oblongata and the midbrain is something called the Reticular Activating System (RAS). The RAS is something like a filter between your conscious and subconscious. It’s involved in primitive functions like the ability to be awake or asleep, and the ability to direct attention toward certain stimuli.

    您的大脑位于延髓和中脑之间的部分称为网状激活系统(RAS)。 RAS就像是您的意识和潜意识之间的过滤器。 它涉及原始功能,例如清醒或入睡的能力,以及将注意力引向某些刺激的能力。

    “The job of the RAS is to filter and screen all incoming stimuli and ‘decide’ which stimuli should merit the attention of the conscious,” writes Dr. Kathie Nunley. There is a hierarchy at play that determines what our brains decide to pay attention to. Physical needs come first, but after that our brains tend to gravitate toward novel experiences. Our shortened attention spans can be blamed on the heightened pace at which we encounter these novel experiences in today’s media saturated world.

    Kathie Nunley博士写道 :“ RAS的工作是过滤和筛选所有传入的刺激,并“决定”哪些刺激应引起意识的注意。 有一个层次结构在起作用,该层次结构决定了我们的大脑决定关注的事物。 身体需要首先出现,但是之后我们的大脑倾向于吸引新的体验。 我们缩短的注意力范围可以归因于我们在当今媒体饱和的世界中遇到这些新颖经历的步伐加快。

    “At one time a young child could master or learn his surroundings and they remained relatively unchanged. A toy or two, a dozen people, a home sparsely decorated. Even the world outside the home had relatively limited novelty to offer after the first few years of ones’ life. This allowed the RAS and attention to be drawn to other things, primarily self-made choices and more complex types of thinking and learning of abstract concepts,” says Nunley.

    “一次,一个幼儿可以掌握或学习他的周围环境,而他们相对保持不变。 一个或两个玩具,十几个人,一个稀疏装饰的房屋。 在人的生命的最初几年之后,即使是家外的世界,其新颖性也相对有限。 这使得RAS和注意力可以吸引到其他方面,主要是自制的选择以及更复杂的思维方式和抽象概念的学习。” Nunley说。

    Today, though, television, the Internet, and other external stimuli “have trained our minds to perceive and interpret quickly and be ready to accept the next presentation.” That’s why we have trouble reading long articles — our brains are ready to jump to the next stimuli before we’ve fully absorbed the first.

    但是,今天,电视,互联网和其他外部刺激“已经训练我们的思想快速地感知和解释,并准备接受下一个演示文稿。” 这就是为什么我们在阅读长篇文章时会遇到麻烦-在我们完全吸收第一个刺激之前,我们的大脑已经准备好跳到下一个刺激。

    (Note, newer research has presented more complex models of how we pay attention to things, but they’re really beyond the scope of this blog post.)

    (请注意, 较新的研究提出了关于我们如何关注事物的更复杂的模型,但它们实际上超出了本文的范围。)

    当今的互联网专为短时间关注而打造 (The Internet of Today is Made for Short Attention Spans)

    140 character posts. 12 second videos. Constant activity streams. Acronyms up the wazoo (er, I’m sorry, AUTW). Today’s web is built for short attention spans, and it seems to be getting worse. Many new services appear almost explicitly designed to cater to shorter and shorter attention spans.

    140个角色帖子。 12秒的视频。 持续的活动流。 wazoo的首字母缩略词(对不起,AUTW)。 当今的网络是为缩短关注时间而构建的,并且似乎越来越糟。 许多新服务似乎都是明确设计的,目的是为了迎合越来越短的注意力。

    Look at stimTV, for example, which presents viewers with ultra-short video clips and asks them to make snap judgments on whether the clips deserve their attention or not, before quickly loading up the next clip. Not only does stimTV operate on the premise that anything over a few seconds long would cause us to lose interest, it doesn’t even think we have the attention spans to do the channel surfing ourselves.

    stimTV为例,它向观众展示了超短视频剪辑,并要求他们在快速加载下一个剪辑之前Swift判断这些剪辑是否值得关注。 stimTV不仅会在几秒钟长的时间内使我们失去兴趣的前提下运行,甚至不认为我们有足够的注意力来进行自己的频道冲浪。

    Worse, as our attention spans get shorter, the information overload is becoming more and more of a problem for many users. As Nunley said, the pace of novel experiences has increased substantially since the birth of television and the Internet. Our attention is spread so thin, it is no wonder that we can’t devote much time to any one thing.

    更糟糕的是,随着我们关注的范围越来越短, 信息过载对于许多用户而言已成为越来越多的问题。 正如Nunley所说,自电视和互联网的诞生以来,新颖体验的步伐已大大提高。 我们的注意力分散得如此之细,也就不足为奇了。

    我们对此怎么办? (What Do We Do About It?)

    There’s really no simple answer to that (except turn off the TV and the computer and go read a book, fly a kite, take a walk, etc.). I think ideally, we need to stop focusing on getting so much information, so quickly. It’s okay to miss some things. It’s okay not to put up a post about every breaking story as soon as it happens. It’s okay not to tweet everything you see or do. It’s okay not to have 5,000 friends.

    确实没有简单的答案(除了关闭电视和计算机,然后去看书,放风筝,散步等等)。 我认为理想情况下,我们需要停止专注于如此Swift地获取大量信息。 可以错过一些东西。 最好不要在每一个突发事件发生时就发布一个帖子。 不发布任何您看到或做的事都是可以的。 没有5,000个朋友也可以。

    I think that instead of designing services that help us create more and more micro content, we should be trying to create and promote services that help us to filter the best of the more intelligent, thoughtful fare.

    我认为,与其设计能够帮助我们创建越来越多的微型内容的服务,不如说我们应该尝试创建和推广能够帮助我们筛选出更智能,更周到的票价中最好的服务。

    What are you thoughts on the effect of the Internet on attention span? Let us know in the comments.

    您如何看待互联网对注意力跨度的影响? 让我们在评论中知道。

    翻译自: https://www.sitepoint.com/what-the-heck-happened-to-our-attention-spans/

    空间注意力 通道注意力

    展开全文
  • 空间注意力 通道注意力How do I get your attention? You’re overloaded with information, right? Speed ​​and noise are two characteristics that define our world today and that makes it increasingly ...

    空间注意力 通道注意力

    How do I get your attention? You’re overloaded with information, right? Speed ​​and noise are two characteristics that define our world today and that makes it increasingly difficult for me to get YOUR ATTENTION.

    ^ h OW做我得到你的注意? 您信息太多了吧? 速度和噪音是今天定义我们世界的两个特征,这使我越来越难以引起您的注意。

    Social networks, saturation of news, some fake ones, others not that much, emails, messages, … all of this continually consumes us. Don’t you think it is magical that despite that, companies are able to communicate with us and capture a small part of our attention?

    社交网络,新闻饱和,一些虚假消息,其他消息,邮件,消息等等,所有这些不断消耗着我们。 尽管如此,您认为公司能够与我们沟通并吸引我们的一小部分注意力,这不是神奇吗?

    Let’s talk about AI in Marketing as the enabler to identify potential leads, hyperpersonalize offers and communication, as well as adapt the text and language used in each of the messages contained in company campaigns according to attributes such as age, personal situation or preference of customers.

    让我们谈谈营销中的AI作为识别潜在线索,超个性化报价和交流以及根据年龄,个人情况或客户喜好等属性来修改公司活动中包含的每条消息中使用的文本和语言的促成因素。

    If you want to learn more, go visit oscargarciaramos.com

    如果您想了解更多,请访问 oscargarciaramos.com

    Have you heard about clustering or customer segmentation? What about proactive identification of common consumption patterns? Typical, right?

    您是否听说过集群客户细分 ? 如何主动识别常见的消费模式典型的,对吧?

    The right ad, with the right message and offer, placed at the right time in the right channel focused on the right audience.

    正确的广告正确的信息和报价 ,在正确的时间投放在正确的渠道上,聚焦于正确的受众

    However, how much do companies spend on advertising?

    但是,公司在广告上花费多少?

    他们可以通过AI优化广告支出吗? (Can they optimize Ad Spend through AI?)

    What do we want to know? How much should the advertiser spend on each of their campaigns.

    我们想知道什么? 广告客户应在每个广告系列上花费多少。

    In other words, we want to determine the optimal cost, timing and means to carry out advertising campaigns.

    换句话说,我们要确定进行广告活动的最佳成本时间手段

    Nowadays, AI systems can help us identify the channel, the message and even adjust the advertising investment plans for each of our advertising campaigns, analyzing their performance and continuously monitoring the different communication channels. And not only that … Thanks to AI we can track not only the performance of an advertiser’s campaigns, but also their competition.

    如今,人工智能系统可以帮助我们识别渠道,消息,甚至调整我们每个广告活动的广告投资计划,分析其效果并持续监控不同的沟通渠道。 不仅如此……借助AI,我们不仅可以跟踪广告客户的广告系列的效果,还可以跟踪他们的竞争。

    It is what we call “situational awareness”. As markets evolve and constantly change their patterns, AI-based systems can adjust ad spending by milliseconds by changing advertising content and communication channels.

    这就是我们所说的“情境意识” 。 随着市场的发展并不断改变其模式,基于AI的系统可以通过更改广告内容和沟通渠道,以毫秒为单位调整广告支出。

    There are techniques called MMM (Marketing Mix Modeling) that allow us to quantify the impact of different marketing inputs on Sales or Market share. Thanks to MMM we are able to know the contribution of each of these variables or marketing inputs in sales and what is the estimated investment that we must dedicate to each of them.

    有一些称为MMM(营销组合建模)的技术可以使我们量化不同的营销投入对销售或市场份额的影响。 多亏了MMM,我们才能够知道这些变量或营销投入对销售的贡献,以及我们必须为每个变量付出的估计投资。

    This technique is based, among others, on ML & AI algorithms such as Multi-Linear Regression. Our dependent variable may be Sales or Market Share, while our independent variables may be distribution, pricing, spending on paper advertising, TV spending, website visitors or promotional spending, among many others.

    除其他外,该技术基于ML和AI算法,例如多线性回归。 我们的因变量可能是销售或市场份额,而我们的自变量可能是分布,定价,纸质广告支出,电视支出,网站访问者或促销支出,等等。

    Some of these variables do not necessarily have a linear relationship with sales, such as TVspending, that is, they are not directly proportional to the increase in sales (they are non-linear). Why? An advertisement will create awareness in the audience up to a certain point, from which a greater exposure of it would not create a greater awareness because audience will already know enough about the brand.

    其中一些变量不一定与销售额具有线性关系,例如电视支出,也就是说,它们与销售额的增长不成正比( 它们是非线性的 )。 为什么? 广告将在一定程度上提高受众的知名度,因此,广告的更多曝光不会产生更大的知名度,因为受众已经对品牌有了足够的了解。

    We will also have to take into account Sales. At MMM, sales must be divided into two components: base sales, or what we will obtain without carrying out any type of advertising; and incremental salts, generated from marketing activities.

    我们还必须考虑到Sales 。 在MMM,销售必须分为两个部分: 基本销售 ,或者我们将不进行任何类型的广告而获得的销售 ; 和营销活动产生的增量盐

    Now, where do we place the ads?

    现在,我们在哪里放置广告?

    This can be difficult for a human to know. However, thanks to AI we can get to scan the content of thousands and thousands of pages to determine which ads are the most appropriate according to which channel and audience which consumes that page.

    这对于人类来说可能很难理解。 但是,借助AI,我们可以扫描成千上万个页面的内容,以确定哪个广告最适合根据哪个页面使用哪个频道和受众。

    Let’s dive into the world of …

    让我们潜入……的世界

    广告制作。 (The creation of commercials.)

    What is the perfect content for an advertisement? Can AI guide us in creating content to increase response rates?

    广告的最佳内容是什么? 人工智能可以指导我们创建内容以提高响应率吗?

    There are different techniques such as NLG (Natural Language Generation) used by companies such as the Associated Press, based on the creation of text from structured data. This type of techniques would allow us to create analytical reports, blogs and product descriptions with standardized formats.

    基于结构化数据的文本创建, 美联社等公司使用了多种技术,例如NLG(自然语言生成) 。 这种类型的技术将使我们能够创建具有标准化格式的分析报告,博客和产品说明。

    We can find one clear example with PR 20/20, the marketing agency behind the Marketing Artificial Intelligence Institute, which has reduced the time and production of reports by 80% thanks to NLG.

    我们可以在市场人工智能研究所背后的市场代理PR 20/20中找到一个明显的例子,由于NLG的帮助,该报告将报告的时间和制作时间减少了80%。

    Companies like Textio are helping companies like Twitter, P&G, Slack or Nestle in creating “augmented writing” by avoiding gender bias or jargon that may be inappropriate when creating content such as job posts.

    诸如Textio之类的公司正在帮助Twitter,P&G,Slack或Nestle之类的公司创建“增强写作”,避免在创建诸如职位等内容时可能不适当的性别偏见或行话。

    And not only that … AI has helped us to significantly reduce the number of fraudulent ads. In 2018 they doubled compared to the previous year.

    不仅如此……人工智能还帮助我们大大减少了欺诈性广告的数量。 与上一年相比,2018年它们翻了一番。

    Get ready for the next November elections in the United States!

    为下一次美国11月的选举做准备!

    下一个是什么? (So, what’s next?)

    Although we may not appreciate it or be unaware of it, AI is changing the world of advertising. Let’s see it as a great competitive advantage:

    尽管我们可能不欣赏它或不知道它,但AI正在改变广告界 。 让我们将其视为巨大的竞争优势:

    Let’s lessen the frustration with more relevant and effective ads.

    让我们用更相关,更有效的广告来减轻挫败感。

    If we do this, we will improve the media spending strategy, the decision-making capacity and it will mean an increase in the sales of our clients.

    如果这样做,我们将改善媒体支出策略,决策能力,这将意味着增加客户的销售额。

    Feel free to leave a comment or share this post. Follow me for future post.

    随时发表评论或分享这篇文章。 来以后的帖子。

    And if you want to learn even more, you can find me at oscargarciaramos.com

    如果您想学习更多,可以在 oscargarciaramos.com上 找到我。

    翻译自: https://towardsdatascience.com/may-i-have-your-attention-please-9c03de3c1933

    空间注意力 通道注意力

    展开全文
  • CVPR2020论文阅读——超强通道注意力模块ECANet!论文地址:https://arxiv.org/abs/1910.03151 摘要 最近,通道注意机制已被证明在改善深度卷积神经网络(CNN)的性能方面具有巨大潜力。然而,大多数现有方法...

    CVPR2020论文阅读——超强通道注意力模块ECANet!论文地址:https://arxiv.org/abs/1910.03151

     

    摘要

    最近,通道注意机制已被证明在改善深度卷积神经网络(CNN)的性能方面具有巨大潜力。然而,大多数现有方法致力于开发更复杂的注意模块以实现更好的性能,这不可避免地会增加模型的复杂性。 为了克服性能和复杂性折衷之间的矛盾,本文提出了一种有效的信道注意(ECA)模块,该模块仅包含少量参数,同时带来明显的性能提升。 通过剖析SENet中的通道注意模块,我们从经验上表明避免降维对于学习通道注意很重要,并且适当的跨通道交互可以在保持性能的同时显着降低模型的复杂性。因此,我们提出了一种无需降维的局部跨通道交互策略,该策略可以通过一维卷积有效地实现。 此外,我们提出了一种方法来自适应选择一维卷积的内核大小,确定局部跨通道交互的覆盖范围。提出的ECA模块既有效又有效,例如,针对ResNet50主干的模块参数和计算分别为80 vs. 24.37M4.7e-4 GFLOP3.86 GFLOPTop-1准确性而言提升超过2 我们使用ResNetsMobileNetV2的骨干广泛评估了ECA模块的图像分类,对象检测和实例分割。 实验结果表明,我们的模块效率更高,同时性能优于同类模块。

    1. 简介

    深卷积神经网络(CNN)已在计算机视觉社区中得到广泛使用,并且在图像分类,对象检测和语义分割等广泛的任务中取得了长足的进步。从开创性的AlexNet [17]开始,许多研究 不断研究以进一步改善深层CNN的性能。 近来,将通道注意力并入卷积块中引起了很多兴趣,显示出在性能改进方面的巨大潜力。 代表性的方法之一是挤压和激励网络(SENet[14],它可以学习每个卷积块的通道注意,从而为各种深层CNN架构带来明显的性能提升。

    SENet [14]中设置了压缩(即特征聚合)和激励(即特征重新校准)之后,一些研究通过捕获更复杂的通道相关性或结合额外的空间关注来改善SE块。 尽管这些方法已经实现了更高的精度,但是它们通常带来更高的模型复杂度并承受更大的计算负担。 与前面提到的以更高的模型复杂度为代价实现更好的性能的方法不同,本文重点关注的问题是:是否可以以一种更有效的方式来学习有效的通道注意力机制?

    为了回答这个问题,我们首先回顾一下SENet中的通道注意力模块。 具体而言,给定输入特征,SE块首先为每个通道独立采用全局平均池化,然后使用两个全连接(FC)层以及非线性Sigmoid函数来生成通道权重。 两个FC层旨在捕获非线性跨通道交互,其中涉及降低维度以控制模型的复杂性。 尽管此策略在后续的通道注意力模块中被广泛使用[33139],但我们的经验研究表明,降维会给通道注意力预测带来副作用,并且捕获所有通道之间的依存关系效率不高且不必要。

    因此,本文提出了一种用于深层CNN的有效通道注意(ECA)模块,该模块避免了维度缩减,并有效捕获了跨通道交互。如图2所示,在不降低维度的情况下进行逐通道全局平均池化之后,我们的ECA通过考虑每个通道及其k个近邻来捕获本地跨通道交互 。实践证明,这种方法可以保证效率和有效性。请注意,我们的ECA可以通过大小为k的快速一维卷积有效实现,其中内核大小k代表本地跨通道交互的覆盖范围,即有多少个相近邻参与一个通道的注意力预测。我们提出了一种自适应确定k的方法,其中交互作用的覆盖范围(即内核大小k)与通道维成比例。如图1和表3所示,与骨干模型[11]相比,带有我们的ECA模块(称为ECA-Net)的深层CNN引入了很少的附加参数和可忽略的计算,同时带来了显着的性能提升。例如,对于具有24.37M参数和3.86 GFLOPResNet-50ECA-Net50的附加参数和计算分别为804.7e-4 GFLOP;同时,在Top-1准确性方面,ECA-Net50优于ResNet-50 2.28%。

    1总结了现有的注意力模块,包括通道降维(DR),通道交互和轻量级模型方面,我们可以看到,我们的ECA模块通过避免通道降维,同时以极轻量的方式捕获了不同通道间的交互。 为了评估我们的方法,我们在ImageNet-1K [6]MS COCO [23]上使用不同的深度CNN架构在各种任务中进行了实验。

    本文的主要工作概括如下:(1)解析SE块,并通过经验证明避免降维对于学习有效,适当的不同通道交互对于通道注意力非常重要。 2)基于以上分析,我们尝试通过提出一种有效的通道注意(ECA)来用于深度CNN的极其轻量级的通道注意模块,该模块在增加明显改进的同时,增加了很少的模型复杂性。 3)在ImageNet-1K和MS COCO上的实验结果表明,该方法具有比最新技术更低的模型复杂度,同时具有非常好的竞争性能。

    2. 相关工作

    事实证明,注意力机制是增强深层CNN的潜在手段。 SE-Net [14]首次提出了一种有效的机制来学习通道关注度并实现并有不错的效果。随后,注意力模块的发展可以大致分为两个方向:(1)增强特征聚合; 2)通道和空间注意的结合。具体来说,CBAM [33]使用平均池和最大池来聚合特征。 GSoP [9]引入了二阶池,以实现更有效的特征聚合。 GE [13]探索了使用深度卷积[5]聚合特征的空间扩展。 CBAM [33]scSE [27]使用内核大小为k x k2D卷积计算空间注意力,然后将其与通道注意力结合起来。与非本地(NL)神经网络[32]共享相似的哲学,GCNet [2]开发了一个简化的NL网络并与SE块集成在一起,从而形成了一个用于建模远程依赖性的轻量级模块。 Double Attention NetworksA2-Nets[4]为图像或视频识别的NL块引入了一种新颖的关联函数。双重注意网络(DAN[7]同时考虑了基于NL的信道和空间注意,以进行语义分割。但是,由于它们的高模型复杂性,大多数以上基于NL的注意力模块只能在单个或几个卷积块中使用。显然,所有上述方法都集中于提出复杂的注意力模块以提高性能。与它们不同的是,我们的ECA旨在以较低的模型复杂性来学习有效的通道注意力。

    我们的工作还涉及为轻量级CNN设计的高效卷积。 两种广泛使用的有效卷积是组卷积和深度方向可分离卷积 如表2所示,尽管这些有效的卷积涉及较少的参数,但它们在注意力模块中的作用不大。我们的ECA模块旨在捕获局部跨通道交互,这与通道局部卷积[36]和通道级卷积具有相似之处 [8]; 与它们不同的是,我们的方法研究了具有自适应内核大小的一维卷积来替换通道注意力模块中的FC层。 与分组和深度可分离卷积相比,我们的方法以较低的模型复杂度实现了更好的性能。

    3. 被提出的方法

    在本节中,我们首先回顾了SENet [14]中的通道注意力模块(即SE块)。 然后,通过分析降维和跨通道交互的影响,对SE块进行经验判断。 这激励我们提出ECA模块。 此外,我们提出了一种自适应确定ECA参数的方法,并最终展示了如何将其用于深度CNN

    3.1. Revisiting Channel Attention in SE Block

    3.2. Efficient Channel Attention (ECA) Module

    重新审视SE模块后,我们进行了实证比较,以分析通道降维和跨通道交互对通道注意力学习的影响。 根据这些分析,我们提出了有效的通道注意(ECA)模块。

    3.2.1 Avoiding Dimensionality Reduction

    为了验证其效果,我们将原始SE块与它的三个变体(即SE-Var1SE-Var2SEVar3)进行了比较,它们均不执行降维。如表2所示,SE-Var1不带参数仍然优于原始网络,这表明通道的注意力确实能够提高深层CNN的性能。同时,SE-Var2独立学习每个通道的权重,这比SE块略胜一筹,但涉及的参数较少。这可能表明通道及其权重需要直接关联,而避免降维比考虑非线性通道相关性更为重要。此外,采用单个FC层的SEVar3的性能要优于两个FC层,并且SE块的尺寸减小。以上所有结果清楚地表明,避免降维有助于学习有效的通道注意力。因此,我们提出的ECA模块不降低通道尺寸。

    3.2.2 Local Cross-Channel Interaction

    3.2.3 Coverage of Local Cross-Channel Interaction

    4. 实验

    在本节中,我们使用所提出的方法在ImageNet [6]MS COCO [23]数据集上的大规模图像分类,目标检测和实例分割任务进行评估。 具体来说,我们首先评估内核大小对ECA模块的影响,然后与ImageNet上的最新技术进行比较。 然后,我们使用Faster R-CNN [26]Mask R-CNN [10]RetinaNet [22]验证了ECA-NetMS COCO上的有效性。

    4.1. Implementation Details

    为了评估我们在ImageNet分类上的ECA-Net,我们使用了四个广泛使用的CNN作为骨干模型,包括ResNet-50 [11]ResNet-101 [11]ResNet-512 [11]MobileNetV2 [28]。为了用我们的ECA训练ResNet,我们在[1114]中采用了完全相同的数据扩充和超参数设置。具体地,通过随机水平翻转将输入图像随机裁剪到224 224。网络的参数是通过随机梯度下降(SGD)进行优化的,权重衰减为1e-4,动量为0.9,最小批量大小为256。通过将初始学习率设置为0.1,可以在100epoch内训练所有模型。每30个时代减少10倍。为了用ECA训练MobileNetV2,我们遵循[28]中的设置,其中使用SGD400个纪元内训练网络,权重衰减为4e-5,动量为0.9,最小批量为96。设定了初始学习率到0.045,并以0.98的线性衰减率减小。为了在验证集上进行测试,首先将输入图像的短边调整为256大小,并使用224 x 224的中心裁剪进行评估。

    我们使用Faster R-CNN [26]Mask R-CNN [10]RetinaNet [22]进一步评估我们在MS COCO上的方法,其中ResNet-50ResNet-101以及FPN [21]被用作主干模型。 我们使用MMDetection工具包[3]实现所有检测器,并使用默认设置。具体来说,将输入图像的短边调整为800,然后使用权重衰减为1e-4,动量为0.9和最小的SGD优化所有模型 -批大小为84GPU,每个GPU 2个图像)。 学习率被初始化为0.01,并分别在811epoch后降低了10倍。


    5. 结论

    在本文中,我们专注于为模型复杂度较低的深层CNN学习有效的渠道关注度。 为此,我们提出了一种有效的通道注意力(ECA)模块,该模块通过快速的1D卷积生成通道注意力,其内核大小可以通过通道尺寸的非线性映射来自适应确定。 实验结果表明,我们的ECA是一种极其轻巧的即插即用模块,可提高各种深度CNN架构的性能,包括广泛使用的ResNets和轻巧的MobileNetV2 此外,我们的ECA-Net在对象检测和实例分割任务中表现出良好的概括能力。 将来,我们会将ECA模块应用于更多的CNN架构(例如ResNeXtInception [31]),并进一步研究将ECA与空间关注模块的结合。

    虽然大家喜欢白嫖,但是我依然相信有人打赏,打赏二维码:

    展开全文
  • 针对深度卷积网络在遥感图像上存在小目标漏分、被遮挡目标无法提取、细节缺失等问题,在深度卷积编码-解码网络的基础上提出一种基于多级通道注意力的遥感图像分割方法(SISM-MLCA)。首先在网络编码阶段加入通道注意力...
  • soft attention(包括空间注意力、通道注意力)它们是pixel级 hard attention( local 注意力)它们是region级 下面讲解空间注意力、通道注意力、local 注意力的生成 本人知识水平有限,要是错误的话,欢迎指正,感谢...

    soft attention(包括空间注意力、通道注意力)软注意学习的目的是选择细粒度的重要像素点,它们是pixel级。
    hard attention( local 注意力) 硬注意学习则致力于搜索粗糙的潜在判别区域,它们是region级。
    他们在功能上有很大的互补性。他们的结合使用可以提高模型的性能

    下面讲解空间注意力、通道注意力、local 注意力的生成

    在这里插入图片描述

    空间注意力、通道注意力可行性解释

    64个通道的采样图(如可生成见我博客
    在这里插入图片描述
    通道注意力:
    就是对于每个channel赋予不同的权重,比如1,2处马的形状比较明显,所以理所当然,对1,2通道的权重比较大,3,4处权重小。

    空间注意力:
    空间注意力是对64个通道进行mean的一个操作,得到一个(w x h)的权重,mean的操作就学到了所有通道的整体分布,而抛弃了奇异的通道。比如说1,2的图可以很好的描绘出马的形状,而3,4就不行(但本质上它也是要显示出马的形状),但是通过mean后,得到的w x h权值共享后,给了3,4一定的权值描述,相当于给3,4一定的注意力,这样它们也可以描绘出马的形状。

    代码

    class SpatialAttn(nn.Module):  # 输入x.shape=(32,3,256,128),对第三维度通道求mean=(32,1,256,128),一个卷积照片缩小一半,upsample恢复,再经过1x1 conv
    
        def __init__(self):
            super(SpatialAttn, self).__init__()
            self.conv1 = ConvBlock(1, 1, 3, s=2, p=1)
            self.conv2 = ConvBlock(1, 1, 1)
    
        def forward(self, x):
            # global cross-channel averaging
            x = x.mean(1, keepdim=True)  # x.shape=(32,3,256,128)  x.mean.shape按照通道求均值=(32,1,256,128)
            # 3-by-3 conv
            x = self.conv1(x)  # x.shape=(32,1,128,64)
            # bilinear resizing
            x = F.upsample(x, (x.size(2) * 2, x.size(3) * 2), mode='bilinear', align_corners=True)  # x.shape=(32,1,256,128)
            # scaling conv
            x = self.conv2(x)  # x.shape=(32,1,256,128)
            return x
    
    class ChannelAttn(nn.Module):
    
        def __init__(self, in_channels, reduction_rate=16):
            super(ChannelAttn, self).__init__()
            assert in_channels % reduction_rate == 0
            self.conv1 = ConvBlock(in_channels, in_channels // reduction_rate, 1)
            self.conv2 = ConvBlock(in_channels // reduction_rate, in_channels, 1)
    
        def forward(self, x):
            # squeeze operation (global average pooling)
            # x.shape=(32, 16, 256, 128)
            x = F.avg_pool2d(x, x.size()[2:])#torch.size([32,16,1,1])
            # excitation operation (2 conv layers)
            x = self.conv1(x)#torch.size([32,1,1,1])
            x = self.conv2(x)#torch.size([32,16,1,1])
            return x
    
    class SoftAttn(nn.Module):#软注意力(32,16,256,128)=空间注意力的输出(32,1,256,128)乘上通道注意力(32,16,1,1)
    
        def __init__(self, in_channels):
            super(SoftAttn, self).__init__()
            self.spatial_attn = SpatialAttn()
            self.channel_attn = ChannelAttn(in_channels)
            self.conv = ConvBlock(in_channels, in_channels, 1)
    
        def forward(self, x):#x.shape(32,16,256,128)
            y_spatial = self.spatial_attn(x)#32,1,256,128
            y_channel = self.channel_attn(x)#32,16,1,1
            y = y_spatial * y_channel#32,16,256,128
            y = F.sigmoid(self.conv(y))
            return y#torch.Size([32, 16, 256, 128])
    

    本人知识水平有限,要是错误的话,欢迎指正,感谢!

    碰巧,如果你看到了这篇文章,并且觉得有用的话 那就给个三连吧!

    在这里插入图片描述

    展开全文
  • keras, TensorFlow中加入注意力机制原文:https://blog.csdn.net/qq_38410428/article/details/103695032第一步:找到要修改文件的源代码在里面添加通道注意力机制和空间注意力机制所需库from keras.layers import ...
  • 针对医学图像超分辨率重建过程中高频信息缺失导致的模糊问题,提出了一种基于残差通道注意力网络的医学图像超分辨率方法。提出的方法在残差网络的基本单元上去除了批规范化层以稳定训练;去掉缩放层、添加通道注意力块...
  • 针对RGB-D图像的语义分割问题,提出了一种结合通道注意力机制的RefineNet网络。考虑到网络特征图中各个通道重要性的不同,将通道注意力机制分别引入基本RefineNet的编码器和解码器模块,以增强网络对重要特征的学习...
  • 针对模型VDSR(very deep super resolution)中存在的忽略特征通道间的相互联系,不能充分利用各层特征,以及参数量过大,计算复杂度过高等问题,本文提出了一种基于残差通道注意力和多级特征融合的图像超分辨率重建网络...
  • 本文提出一种新的基于DCT频率域的通道注意力,其在分类、检测和分割任务上,性能优于SENet、CBAM和GCNet等主干,代码和模型即将开源!注:文末附计算机视觉交流群FcaNet: Frequency Channel Attention Networks作者...
  • 位置注意力+通道注意力tensorflow+keras实现 论文:DANnet 原github(pytorch):github-pytorch 原github-pytorch版双注意力代码:源码-pytorch from tensorflow.keras import layers import tensorflow as tf ...
  • 文章目录(论文阅读)FCANet:Frequency Channel Attention Networks多光谱通道注意力通道注意力离散余弦变换DCTGAP与DCT多光谱注意力模块选择频率分量的准则通道注意力中单个频率分量的影响不同数量的频率分量的影响...
  • 通道注意力非常简单,直接学习出对应的每个通道的权值就可以,所以非常的好用。一般来说,在计算通道注意力的时候,每个通道的会需要有个标量值来计算后面的注意力权重,这个标量的计算函数一般都是使用Global ...
  • 其次,引入通道注意力机制,使网络更关注特征层中的有效特征通道,重新调整特征图;最后,用空对地目标检测数据进行了对比实验。结果表明,改进模型的平均精度均值比基于视觉几何组(VGG16)的单步多框检测算法高3.44个百分...
  • 去年12月底,来自浙江大学李玺老师组的一篇文章,从频域思考注意力机制,提出了频域注意力方法FcaNet。该方法简单有效,在现有通道注意力机制中,只需改变计算中的一行代码即可实现。所提出的方...
  • 位置注意力和通道注意力机制

    千次阅读 2020-07-08 11:55:21
    需要注意的是,在计算两个通道的关系之前,我们没有使用卷积层来计算特征,因为它可以维持不同通道之间的映射关系。此外,与通过全局池化或者编码层来探索通道关系不同,我们利用所有相关位置的空间信息来建模通道...
  • 基于通道注意力机制改进网络6.再次训练7.再次测试完整代码总结 前言 近年来,由于高光谱数据的独特性质以及所包含的海量信息,对于高光谱图像的分析与处理已经成为遥感影像研究领域的热点之一,而其中的高光谱图像...
  • 本文是在阅读完《Residual Attention Network for Image Classification》所做的笔记,由于本人对注意力机制了解甚浅,笔记当中若有不恰当的地方,还望指出。0 前言计算机视觉中的注意力机制的基本思想是让模型学会...
  • 本文提出一种新的基于DCT频率域的通道注意力,其在分类、检测和分割任务上,性能优于SENet、CBAM和GCNet等主干,代码和模型即将开源! 注:文末附计算机视觉交流群 FcaNet: Frequency Channel Attention Networks ...
  • 注意力往往与encoder-decoder(seq2seq)框架搭在一起,假设我们编码前与解码后的序列如下:编码时,我们将source通过非线性变换到中间语义:则我们解码时,第i个输出为:可以看到,不管i为多少,都是基于相同的中间...
  • (1)FPA: Feature Pyramid Attention作者认为像SENet和EncNet这样对通道加attention是不够的,我们需要对pixel加attention,同时采纳了PSPnet的global pooling的思想,将pooling的结果与加了attention的卷积的结果...
  • 3 空间和通道注意力机制的融合 前述的Dynamic Capacity Network是从空间维度进行Attention,SENet是从通道维度进行Attention,自然也可以同时使用空间Attention和通道Attention机制。 CBAM(Convolutional Block ...
  • Dual Attention Network for Scene Segmentation 摘要在本文中,我们通过基于自注意力机制捕获丰富的上下文相关性来解决场景分割...我们在扩张的FCN之上附加了两种类型的注意力模块,分别对空间和通道维度的语义相...
  • 介绍 该论文提出新型的场景分割网络DANet,利用自注意力机制进行丰富语义信息的捕获,在带有空洞卷积的FCN架构的尾部添加两个并行的注意力模块:位置注意力模块和通道注意力模块,论文在Cityscapes,PASCAL Context...
  • 注意力模块一般有两种:一种是空间注意力模块,一种是通道注意力模块,SE模块属于后者。 SE-block:通过该机制,网络可以学习使用全局信息来选择性地强调信息特征,并抑制不太有用的特征。 SE-block流程: 特征图...
  • Exploring Self-attention for Image RecognitionExploring Self-attention for Image Recognition​arxiv.org一 文章出发点现在哪哪都用的注意力。文章认为传统的卷积可分为,特征聚集(空间卷积)+特征变化(通道...
  • 自注意力机制-------通道注意力-----------压缩激活模块 参考文献(CVRP) https://arxiv.org/pdf/1709.01507.pdf Squeeze-and-Excitation Block:
  • 通道注意力改进ECANet

    千次阅读 2020-07-02 22:57:12
    虽然该策略在后续的通道注意模块中得到了广泛的应用,但作者的实验研究表明,降维对通道注意预测带来了副作用,捕获所有通道之间的依赖是低效的,也是不必要的。 在不降低维数的通道级全局平均池化之后,ECA通过考虑...
  • 该文是浙江大学提出一种的新颖的通道注意力机制,它将通道注意力机制与DCT进行了巧妙的结合,并在常规的通道注意力机制上进行了扩展得到了本文所提出的多谱通道注意力机制:FcaLayer。作者在图像分类、目标检测以及...
  • #通道注意力模块 class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=16): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn....

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 520
精华内容 208
关键字:

通道注意力