2018-12-07 21:20:09 qq_15029743 阅读数 8197

摘自:https://blog.csdn.net/zhaomengszu/article/details/78347388

中国计算机学会推荐国际学术会议 

(计算机图形学与多媒体)

一、A类

序号

会议简称

会议全称

出版社

网址

1

ACM MM

ACM International Conference on Multimedia

ACM

http://www.acmmm12.org/

2

SIGGRAPH

ACM SIGGRAPH Annual Conference

ACM

http://www.siggraph.org/

3

IEEE VIS

IEEE Visualization Conference

IEEE

http://www.ieeevis.org/

二、B类

序号

会议简称

会议全称

出版社

网址

1

ICMR

ACM SIGMM International Conference on Multimedia Retrieval

ACM

http://impact.utc.edu/icmr2013/

2

i3D

ACM Symposium on Interactive 3D Graphics

ACM

http://www.csee.umbc.edu/csee/research/vangogh
/I3D2013/

3

SCA

ACM/Eurographics Symposium on Computer Animation

ACM

http://www.cs.ubc.ca/~van/sca/sca.html

4

DCC

Data Compression Conference

IEEE

http://www.cs.brandeis.edu/~dcc/

5

EG

Eurographics

Wiley/ Blackwell

http://www.eg.org/

6

EuroVis

Eurographics Conference on Visualization

ACM

http://www.eurovis2013.de/

7

SGP

Eurographics Symposium on Geometry Processing

Wiley/ Blackwell

http://www.ioc.ee/sgp12/

8

EGSR

Eurographics Symposium on Rendering

Wiley/ Blackwell

http://webdiis.unizar.es/EGSR2013/

9

ICME

IEEE International Conference on 
Multimedia &Expo

IEEE

http://www.icme2012.org/

10

PG

Pacific Graphics: The Pacific Conference on Computer Graphics and Applications

Wiley/ Blackwell

http://sweb.cityu.edu.hk/pg2012/

11

SPM

Symposium on Solid and Physical Modeling

SMA/Elsevier

http://www.siam.org/meetings/gdspm13/

三、C类

序号

会议简称

会议全称

出版社

网址

1

CASA

Computer Animation and Social Agents

Wiley

http://www.cs.bilkent.edu.tr/~casa2013/

2

CGI

Computer Graphics International

Springer

http://cgi2013.welfenlab.de/

3

ISMAR

International Symposium on Mixed and Augmented Reality

IEEE/ACM

http://ismar.vgtc.org/

4

PacificVis

IEEE Pacific Visualization Symposium

IEEE

http://rp-www.cs.usyd.edu.au/~visual/pvis2013/
welcome/index.php

5

ICASSP

IEEE International Conference on Acoustics, Speech and SP

IEEE

http://www.icassp2013.com/

6

ICIP

International Conference on Image Processing

IEEE

http://www.ieeeicip.org/

7

MMM

International Conference on Multimedia Modeling

Springer

http://mmm2013.org/

8

GMP

Geometric Modeling and Processing

Elsevier

http://math.ustc.edu.cn/Conference/GMP2012/

9

PCM

Pacific-Rim Conference on Multimedia

Springer

http://cemnet.ntu.edu.sg/pcm2012/

10

SMI

Shape Modeling International

IEEE

http://www.shapemodeling.org/

中国计算机学会推荐国际学术会议
(人工智能与模式识别)

一、A类

序号

会议简称

会议全称

出版社

网址

1

AAAI

AAAI Conference on Artificial Intelligence

AAAI

http://www.aaai.org

2

CVPR

IEEE Conference on Computer Vision and 
Pattern Recognition

IEEE

http://www.pamitc.org/cvpr13/

3

ICCV

International Conference on Computer
Vision

IEEE

http://www.iccv2013.org/

4

ICML

International Conference on Machine 
Learning

ACM

http://icml.cc/2013/

5

IJCAI

International Joint Conference on Artificial
Intelligence

Morgan Kaufmann

http://www.ijcai.org

二、B类

序号

会议简称

会议全称

出版社

网址

1

COLT

Annual Conference on Computational
Learning Theory

Springer

http://orfe.princeton.edu/conferences/colt2013/

2

NIPS

Annual Conference on Neural Information
Processing Systems

MIT Press

http://www.nips.cc

3

ACL

Annual Meeting of the Association for 
Computational Linguistics

ACL

http://acl2013.org/site/index.html

4

EMNLP

Conference on Empirical Methods in Natural
Language Processing

ACL

http://www.sigdat.org/

5

ECAI

European Conference on Artificial 
Intelligence

IOS Press

http://www.ecai2013.upit.ro/?i=2542

6

ECCV

European Conference on Computer Vision

Springer

http://eccv2012.unifi.it/

7

ICRA

IEEE International Conference on Robotics
and Automation

IEEE

http://www.icra2013.org/

8

ICAPS

International Conference on Automated
Planning and Scheduling

AAAI

http://www.icaps-conference.org/

9

ICCBR

International Conference on Case-Based
Reasoning

Springer

http://www.iccbr.org/

10

COLING

International Conference on Computational
Linguistics

ACM

 http://www.coling2012-iitb.org/

11

KR

International Conference on Principles of
Knowledge Representation and Reasoning

Morgan Kaufmann

http://www.kr.org/

12

UAI

International Conference on Uncertainty
in Artificial Intelligence

AUAI

http://auai.org/

13

AAMAS

International Joint Conference
on Autonomous Agents and Multi-agent
Systems

Springer

http://www.aamas-conference.org/

三、C类

序号

会议简称

会议全称

出版社

网址

1

ACCV

Asian Conference on Computer Vision

Springer

http://www.accv2012.org/

2

CoNLL

Conference on Natural Language Learning

CoNLL

http://www.clips.ua.ac.be/conll/

3

GECCO

Genetic and Evolutionary Computation
Conference

ACM

http://www.sigevo.org/gecco-2013/

4

ICTAI

IEEE International Conference on Tools with
Artificial Intelligence

IEEE

http://ictai12.unipi.gr/

5

ALT

International Conference on Algorithmic
Learning Theory

Springer

http://www-alg.ist.hokudai.ac.jp/~thomas/ALT13/

6

ICANN

International Conference on Artificial Neural
Networks

Springer

https://www.waset.org/conferences/2013/
amsterdam/icann/

7

FGR

International Conference on Automatic Face
and Gesture Recognition

IEEE

http://fg2013.cse.sc.edu/

8

ICDAR

International Conference on Document
Analysis and Recognition

IEEE

http://www.icdar2013.org/

9

ILP

International Conference on Inductive Logic
Programming

Springer

http://ilp13.cos.ufrj.br/

10

KSEM

International conference on Knowledge
Science,Engineering and Management

Springer

http://ksem.dlut.edu.cn/

11

ICONIP

International Conference on Neural 
Information Processing

Springer

http://iconip2013.org/

12

ICPR

International Conference on Pattern 
Recognition

IEEE

http://www.icpr2014.org/

13

ICB

International Joint Conference on Biometrics

IEEE

http://atvs.ii.uam.es/icb2013/

14

IJCNN

International Joint Conference on Neural
Networks

IEEE

http://www.ijcnn2013.org/

15

PRICAI

Pacific Rim International Conference on 
Artificial Intelligence

Springer

http://ktw.mimos.my/pricai2012/

16

NAACL

The Annual Conference of the North
American Chapter of the Association 
for Computational Linguistics

NAACL

http://naacl2013.naacl.org/

17

BMVC

British Machine Vision Conference

British Machine
Vision 
Association

http://bmvc2013.bristol.ac.uk/

2011-10-23 19:24:41 TJU355 阅读数 15493

  通信类权威会议,微笑
A类会议:本学科最顶尖级水平的国际会议;
B类会议:学术水平较高、组织工作成熟、按一定时间间隔系列性召开的国际会议。

A类会议(序号不表示优先顺序)
序号/英文名称/英文简称/中文名称/备注
1    IEEE International Conference on Acoustics, Speech and Signal Processing/ ICASAP/   IEEE声学、语音和信号处理国际会议    
2    IEEE International Conference on Image Processing/ ICIP/    IEEE图像处理国际会议    
3   International Conference on Pattern Recognition/    ICPR/   模式识别国际会议    
4   IEEE International Conference on Communications/    ICC/   IEEE通信国际会议    (这个和下面经常被老师挂在嘴边,对我们来说只是传说啦)
5    IEEEGlobal Telecommunications Conference/    Globecom/    IEEE全球电信会议    
6    IEEEInternational Conference on Intelligent TransportationSystem/    ITSC/   IEEE智能交通系统国际会议    
7   Annual IEEE Conference on Computer Communications/    IEEEINFOCOM/    IEEE计算机通信会议   
8    IEEERadar Conference/    IEEE雷达会议    


B类会议(序号不表示优先顺序)
序号/英文名称/英文简称/中文名称/备注
1   International Conference On Natural Language Processing/   ICON/   自然语言处理国际会议    
2   International Conference on Telecommunications/ ICT/    电信国际会议    
3   International Geoscience and Remote Sensing Symposium/   IGARSS/   地球科学与遥感国际研讨会    
4   Picture Coding Symposium/ PCS/   图像编码研讨会    
5   ACM Conference on Computer and Communications Security/ CS/   ACM计算机与通信安全会议 
6    IEEEMilitary Communications Conference/    MILCOM/   IEEE军事通信会议    
7   International Broadcasting Convention/    IBC/   国际广播会议    
8   IEEE Wireless Communications & Networking Conference/   WCNC/    IEEE无线通信和网络会议   
9    SPIEConference on Visual Communications and Image Processing/   VCIP/    SPIE视觉通信和图像处理会议    
10   International Symposium on Wireless Personal MultimediaCommunications/    WPMC/    无线个人多媒体通信国际研讨会   
11   IEEE International Conference on Third Generation Wireless and Beyond/3G andBeyond/IEEE第三代及以上无线通信国际会议  
12    ACMMobicom/    ACM/移动通信会议    
13   International Conference on Network Protocol/ ICNP/   网络协议国际会议    
14   IEEE Speech Coding Workshop    
15   International Conference on Speech and Language Processing/   ICSLP/   语音语言处理国际会议
16   International Symposium on Chinese Spoken LanguageProcessing/    ISCSLP/   中文口语语言处理国际会议
17   MOBI COM & MOBI HOC/    移动Ad hoc移动通信会议/    Ad hoc的顶级年会
18   Vehicular Technology Conference/ VTC/   国际传输技术会议/    与产业界结合比较紧密的会2次/年
19    ACMConference on Embedded Networked Sensor Systems Sensys/嵌入式网络传感系统/ WSN的顶级年会(Single Track的小会)
20   Global Navigation Satellite Systems/    ION/IEEEGNSS/   全球导航卫星系统会议/    IEEE和美国导航学会联合召开的年会
21   International conference on Radar/   ICR/  英美法中澳五国轮流召开
22   IEEE Conference on Computer Vision and Pattern Recognition/    CVPR/   计算机视觉与模式识别会议
23   IEEE International Conference on Multimedia & Expo/   ICME/   多媒体IEEE 国际会议及展览会/    每年召开
24   IEEE International conference on Computer Vision/   ICCV/   计算机视觉IEEE国际会议/    
25   International Conference on Document Analysis and Recognition/ICDAR/文档分析和识别国际会议/文字识别领域最重要的会议,每两年召开一次,07年是第九届


通信一些期刊的影响因子:

1 IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS 1.328 
2
IEEE COMMUNICATIONS MAGAZINE 1.291 
3 IEEE NETWORK 1.288 
4 RADIO SCIENCE 1.059 
5
IEEE TRANSACTIONS ON ANTENNAS AND PROPAGATION1.011 
6
IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY 0.812 
7 IEEE TRANSACTIONS ON COMMUNICATIONS 0.681 
8 TELECOMMUNICATIONS POLICY 0.586 
9 IEE PROCEEDINGS-OPTOELECTRONICS 0.545 
10 BT TECHNOLOGY JOURNAL 0.454 
11 IEEE TRANSACTIONS ON ELECTROMAGNETICCOMPATIBILITY 0.421 
12 IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONICSYSTEMS 0.381 
13 IEE PROCEEDINGS-MICROWAVES ANTENNAS ANDPROPAGATION 0.380 
14 IEEE TRANSACTIONS ON BROADCASTING 0.353 
15 IEICE TRANSACTIONS ON COMMUNICATIONS 0.350 
16 IEE PROCEEDINGS-RADAR SONAR AND NAVIGATION0.313 
17 SMPTE JOURNAL 0.265 
18 IEEE TRANSACTIONS ON CONSUMER ELECTRONICS 0.233 
19 ELECTRONICS & COMMUNICATION ENGINEERINGJOURNAL 0.208 
20 ANNALES DES TELECOMMUNICATIONS-ANNALS OFTELECOMMUNICATIONS 0.105 
21 JOURNAL OF COMMUNICATIONS TECHNOLOGY ANDELECTRONICS 0.084



2019-05-16 16:37:37 tech_otaku0512 阅读数 257

寒武纪科技:

  1. 熟悉Tensflow/Mxnet/Caffe等深度学习平台架构;
  2. 熟悉opencv等常见cv库的使用;
  3. Linux编程开发经验;

SenTime商汤科技:

  1. 较强的算法实现能力,熟练掌握 C/C++ 编程,熟悉 Shell/Python/Matlab 编程;
  2. 如研究生发表过第一作者CCF A类会议或期刊等论文,或本科发表过第一作者CCF B类以上会议或期刊论文;
  3. 有较强的代码能力优先,获得过ACM或其他商业代码竞赛的荣誉,如ACM区预赛金牌、NOI银牌以上、百度之星决赛等;
  4. 比如ImageNet等学术数据集或者Kaggle等一些国内外商业比赛;
  5. 基本的算法设计和实现能力,熟悉Python/C++/CUDA编程,掌握PyTorch/TensorFlow/MXNet等框架;
  6. 在相关领域顶级期刊或会议发表过论文优先;
  7. 三维视觉或计算机图形学研究经历优先;

Megvil旷视:

  1. 完成过 MIT 6.824 或同等分布式系统课程;
  2. 开源分布式存储系统(如 Ceph, HDFS)开发经验;
  3. 熟练掌握 Go/C++, 有一定项目经验;
  4. 熟悉 Python 等至少一门脚本语言,使用过 Theano, Caffe, Torch, TensorFlow 等开源深度学习框架优先;
  5. 有深度模型训练,图像分类、物体检测与分割、视频分析、三维建模、计算机图形学等相关科研经历者(例如顶级会议第一作者)优先;
  6. 深度学习/机器学习;计算机视觉(包括分类,检测,分割,跟踪,SLAM和三维重建);
  7. 熟悉本研究领域的最新研究成果,公开数据集,和相关的开源系统;

深兰科技上海:

  1. 计算机基础知识扎实,熟练掌握Python、C/C++/C#、Java中的一种
  2. 有图像处理领域相关竞赛经验者优先;有OCR领域图像处理经验者优先, 有活体检测经验者优先;
  3. 本科及以上学历,计算机、自动化、通信等相关专业;
  4. 熟悉计算机视觉基本理论知识,熟练掌握OpenCV,并具备至少1年以上的相关工作经验;
  5. 熟练掌握计算机视觉和图像处理基本算法,并在以下某个或多个方向有深入研究者优先:如图像识别理解,人脸检测识别、目标检测和跟踪、图像质量评价,图像分割增强等;

Bilibili:

1、负责APP产品的视频图像处理模块的设计和研发;
2、研究创新产品体验。

工作要求:

  1. 至少5年以上相关工作经验,本科以上学历,计算机软件或相关专业;
  2. 有扎实的OC/JAVA/C++语言基础,理解面向对象设计基本原则,能熟练运用常用设计模式;
  3. 熟练掌握OpenGL,图像滤镜处理相关的技能;
  4. 熟悉流媒体相关处理技术,熟悉常见的图像处理和音视频。

酷我:

  1. 图像处理、计算机视觉专业方向,本科及以上学历;
  2. 熟练使用C/C++编程语言;
  3. 熟悉图像处理基本方法(边缘检测,区域提取,低通滤波,特征提取,交点检测,二值化等),具备相关领域研究和实现;
  4. 熟练使用OpenCV进行视觉应用开;
2013-12-03 09:24:33 ice110956 阅读数 6535

整理至11月中旬在重庆参加的自然语言处理与机器学习会议,第一讲为自然语言处理。

由基本理论到实际运用,整理了基本的框架。

 

1.      自然语言处理基础

 

词性标注(POS):

为句子中的每个词语标注词性,可看做是句法分析的关键任务,也可以看做是句法分析的最低层次.对后续句法分析,语义消歧等任务非常有用.


POS集合,也就是基本词性规则:

常用的是PennTreebank set,包好45个tags


基本方法:

基于规则:人工基于词汇与其他语言知识构造标注规则

基于学习:基于人工语料进行训练

       统计模型:HMM,Maximum EntropyMarkov(MEMM),conditional random field(CRF)

       规则学习:transformation basedlearning(TBL)

 

序列POS:

POS问题可以看做最一个序列进行POS的问题.

基于分类的序列标注:

把每个词看做上下文的一个特征,如相邻的词,用分类算法来解决.

如:John saw thefish and decided to take it to the table.

Saw可以看成john + saw +fish的一个特征,用分类算法来POS.


缺点:

1.不容易集成来自左右两个方向上的词语标记信息.

2.难以表达与传递词语标签半段的不确定性,难以为序列中所有词语统一确定最可能的联合标签判断.

具体的算法有前向分类与后向分类.

基于概率的序列标注:概率序列标注模型允许集成序列中多个相互依赖的个体分类的不确定性,统一确定最可能的全局标签判断.

典型模型:HMM,MEMM,CRF

 

其中,HMM可使用监督学习与无监督学习,半监督学习等等.其中使用viterbi动态规划算法.

 

中文语法分析效果

总体F值为95%

主要错误为新词;命名实体识别效果偏低,效果跟文本类型有关.总体水品超过90%.

 

 

句法分析(句子结构)

类型:句法分析与依存关系分析;完全分析与浅层分析.

涉及知识:组块分析(chunking),Chomsky语法层次,Context Free Grammars(CFG)上下文无关语法,句法树(parsing)等.


句法结构分析(parsing):

1.给定一串终结符号和一个CFG,确定该符号是否能够被CFG所生成,同时为该符号串返回句法树.

2.搜索以获取句法树的推导

Top-down parsing:从初始符开始

Bottom-up parsing:从符号串中的终结符开始

3.      动态规划parsing方法

CKY(cocke-kasami-younger)算法;基于自底向上分析,需要对句法进行规范化

Enrley parser:自顶向下分析,不需要句法规范化,但更加复杂

Chart parser:融合自顶向下与自底向上搜索

 

统计句法分析

使用句法概率模型为每颗句法树计算概率值;允许使用有监督学习和无监督学习得到句法分析模型.

Probabilistic context freegrammar(PCFG):CFG的概率形式;以及概率话的CKY等.

 

已训练得到的树库:

见wiki:Treebank

 

中文句法分析效果:

短语结构总体水平F值>=80%,依存关系为90%

 

2.      互联网语义计算与信息总结

 

语义分析(句子含义):

获取语言单元的意义:不同层次,词汇级,句子级,篇章级

句法驱动的句子级语义分析:句子的语义分析由其组成成分的语义组合而得到.基于词汇和语法信息获取句子意义表达.

1.运用句法树生成一阶逻辑表达式.

2.语法角色标注:施事,受事,来源,目的,工具等.

 

语法分析效果:深层语义分析很困难,目前没有成熟的技术和系统;语义角色标注的总体水平(F值)在70%

 

篇章分析(discourseparsing)

篇章是一组连贯且具有结构的句子,如独白,对话.

主要任务:篇章分割(分段)句间关系识别,指代消解.

理想情况下需要深层文本理解技术来应对以上任务,但目前为止主要采用浅层分析方法.

 

1.篇章分割:

将文档分割成子话题的线性序列.如科技文章可分为:摘要,简介,方法,结果,结论等等.

应用:文档摘要:每个段落分别摘要;信息检索与信息抽取:在合适的段落上进行

相关任务:对于语音识别文本的段落分割.

方法:基于凝聚性的方法(Cohesion-based approach)

将文旦分割成子话题,每个子话题中的段落/句子之间相互凝聚子话题边界处的凝聚性较差

TextTiling算法.

 

2.篇章结构(discoursestructure):

基于连贯关系的篇章层次结构,类似于句法树的结构.树节点表示句子之间的连贯关系:discourse segment(notlinear)

应用:文摘系统:可以忽略或合并被elaboration关系连接的单元;问答系统:利用explanation关系进行回答;信息抽取系统:不需要对从没有连贯关系的单元上抽取的信息融合.

 

3.篇章解析

指代消除(referenceresolution):确定哪个实体被哪个语言表达所意指.

分类:

coreference resolution(共指消解):发现指向相同实体的指称表达式,也就是寻找共指链,如:{Mr.Obama,The president,he}

pronominal Anaphora Resolution(人称代词消解):如下一句的he指向Mr.Obama.

 

词汇语义计算

我想扁你->Ithink flat you.

研究意义:怎样表达词语的意义?词语之间是怎样关联的?同义词,反义词,上位词,下位词,相似不相似等等.

 

名词:词义(word senses):

一个词语的特定意义

一个词语可以有多个词义

一个词义能被一个注释所描述.如apple:水果,红色,黄色或者绿色,甜味.

 

词汇相似度(wordsimilarity)

同义词/反义词等二值关系

更宽松的准则:词汇相似度/词义距离(Word similarity or word semantic distance)

两种计算方法:

基于语义词典的方法(Thesaurus-based):构造一个wordnet,判断在wordnet中的关系

基于语料统计的方法(Distributional/Statisticalalgorithm):比较词语在语料库中的上下文.

 

基于Wordnet的词义相似度:

著名的英文词义关系计算资源,同义词库。

基本单元为一个synet,也就是一个同义词集合。

每个词条包含多个synet,用来注解。

不同的synets之间通过不同的词义关系相连。

语义词典方法的缺点:

许多语言没有好用的语义词典。许多新词不被包含。限于名词,对于形容词和动词并不完善。

 

基于语料统计的词汇相似度:

比如根据许多句话以及上下文,我们可以推断某个未知的英文单词的含义。语料统计也是相似的过程。通过互联网的语料,来统计某个词的语义。或者有机遇wiki百科的语义分析等。

 

词义消歧

计算完语义后,就可以通过语义来消歧。

 

互联网信息摘要

对海量的内容进行提炼与总结,以简洁,直观的摘要来概括用户所关注的主要内容。比如微博图谱,新闻摘要等等,是自然语言处理与篇章分析的一个主要运用。

 

2018-10-21 17:47:55 weixin_41977512 阅读数 9084

参考论文:Residual Attention Network for Image Classification,发表与2017年CVPR会议上

一、前言
在分析这个网络前首先应该明确注意力机制的本质:一系列的注意力分配系数,也就是一系列权重参数,可以用来强调或选择目标处理对象的重要信息,并且抑制一些无关的细节信息。
论文中作者对所提出的残差注意力网络的定义是:A convolutional network that adopts mixed attention mechanism in “very deep” structure.也就是说这个网络首先是一个卷积神经网络,只是它的特点在于引入了混合注意力机制,并且网络结构非常地深。我将分别从这两个方面进行介绍。
二、图像处理中注意力机制的实现
1、引入注意力机制的意义
1)选择聚焦位置,产生更具分辨性的特征表示
网络由大量的注意力模块(Attention Module)组成,能产生注意力感知的(attention-aware)的特征,并且不同模块的特征随着网络的加深会产生适应性改变。
2)渐增的注意力模块将带来持续的性能提升
不同类型的attention将被大量捕捉到。
下图形象地说明了注意力机制的作用原理,也阐明了以上所说的两点。
在这里插入图片描述
左边部分展示了注意力掩模与特征图的作用机制。右边部分主要说明随着网络的加深所能关注到的特征级别也会越来越高。比如说当网络比较浅的时候,注意力只能捕捉到像颜色特征这样的低级别特征,图的中间就是对蓝色天空都分的一个抑制。而当网络比较深的时候,注意力就能捕捉一些高级别特征,如左边对热气球底部的一个强调。
2、注意力机制的实现
1)总体结构
(1)由多个注意力模块堆叠而成
(2)每个注意力模块被分成了两个分支:mask brunch 和 trunk branch
(3)注意力模块的输出为:Hi,c(x)=Mi,c(x)Ti,c(x)H_i,c(x)=M_i,c(x)*T_i,c(x)
Mi,cM_i,c是mask分支输出的注意力权重,Ti,cT_i,c是trunk分支经过一系列操作所提取出的特征图表示,输出即为二者的点积。
在这里插入图片描述
在这里插入图片描述
2)分支剖析
(1)trunk分支
与传统的卷积网络特征处理相似,通过多次卷积操作提取特征。
(2)mask分支
是注意力模块的核心部件,主要由一个buttom-up top-down的结构,这种结构也是一种encoder-decoder模型,形状与沙漏网络(hourglass network)相似。
沙漏网络
buttom-up部分:执行下采样(down sample),多次进行最大池化操作扩大接受域,直到达到最低分辨率。作用效果是:产生低分辨率、强语义信息的特征图,从而收集整个图片的全局信息。
top-down部分:执行上采样(up sample)线性插值,直到特征图尺寸与输入时相等。作用效果是:扩展Bottom-up所产生的特征图,使其尺寸与输入Bottom-up前的特征图大小相同,从而对输入特征图的每个像素进行推理选择。
所以,综上mask分支的作用总结如下:
前向推导中主要起特征选择的作用,可将mask分支的输出看作是trunk分支神经元的控制门,过滤不重要的信息,强调重要信息。
后向传播中起梯度更新过滤的作用。由于mask分支仅进行下采样和上采样操作,所以在反向传播中没有参数更新,那么它对trunk分支的选择性将不会改变,即使有噪音标签更新了trunk分支中的参数,mask分支也会将其剔除掉,这使得网络对于标签噪音具有很好的健壮性。
3)注意力的分类
在mask 输出之前,通过改变激活函数中的标准化方式,对mask 中的Attention添加不同的约束,可以产生三种类型的attention。
在这里插入图片描述
实验表明不添加任何约束的mixed attention的错误率最低!
3、网络深度的扩展
在对网络深度进行扩展时,主要存在的问题是,简单的注意力模块堆叠会造成明显的性能下降,原因如下:
1)mask的取值范围为[0,1],在深层网络中重复地进行点积,会消减特征的值。
2)mask潜在地打破了trunk分支的一些特性,比如说残差单元的恒等映射(identical mapping)
解决方案:作者类比残差学习提出了注意力残差学习,仿其提出假设:如果mask单元能被构造成恒等映射,那么它的性能将不会比没有注意力机制的网络差。
在这里插入图片描述

VGG-16图像识别

阅读数 1700

没有更多推荐了,返回首页