arXiv最火论文研究注意力机制,来自清华大学计算机系胡事民团队
清华计图胡事民团队的这篇注意力机制的综述火了!
在上周的 arXiv 上,这是最热的一篇论文。
推特以及 GitHub 上也有不低的热度。
而这篇论文引用近 200 篇内容,对计算机视觉领域中的各种注意力机制进行了全面回顾 。
在大量调查之后,论文将注意力机制分为多个类别,GitHub 还给出了各类别下提到内容的 PDF 下载文件:
现在,就来一起看看这篇论文。文章主要内容
论文首先将基于注意力的模型在计算机视觉领域中的发展历程大致归为了四个阶段:
1.将深度神经网络与注意力机制相结合,代表性方法为 RAM
2.明确预测判别性输入特征,代表性方法为 STN
3.隐性且自适应地预测潜在的关键特征,代表方法为 SENet
4.自注意力机制
同时,注意力机制也被分为了通道注意、空间注意、时间注意、分支注意,以及两个混合类别:
针对不同类别,研究团队给出了其代表性方法和发展背景:通道注意力(Channel Attention)
在深度神经网络中,不同特征图的不同通道常代表不同对象。
而通道注意力作为一个对象选择过程,可以自适应地重新校准每个通道的权重,从而决定关注什么。
因此,按照类别和出版日期将代表性通道关注机制进行分类,应用范围有分类(Cls)、语义分割(SSeg)、实例分割(ISeg)、风格转换(ST)、动作识别(Action)。
其中,(A) 代表 Channel-wise product,(I)强调重要通道,(II)捕捉全局信息。
空间注意力(Spatial Attention)
空间注意力可以被看作是一种自适应的空间区域选择机制。
其应用范围比通道注意力多出了精细分类(FGCls)和图像字幕(ICap)。
时间注意力(Temporal Attention)
时间注意力可以被看作是一种动态的时间选择机制,决定了何时进行注意,因此通常用于视频处理。
分支注意力(Branch Attention)
分支注意可以被看作是一种动态的分支选择机制,通过多分支结构决定去注意什么。
通道空间注意力(Channel & Spatial Attention)
通道和空间结合的注意力机制可以自适应地选择重要的对象和区域,由残差注意力(Residual Attention)网络开创了这一内容。
在残差注意力之后,为了有效利用全局信息,后来的工作又相继引入全局平均池化(Global Average Pooling),引入自注意力机制等内容。
时空注意力(Spatial & Temporal Attention)
时空注意力机制可以自适应地选择重要区域和关键帧。
最后,作者也提出了注意力机制在未来的一些研究方向:
探索注意力机制的必要和充分条件
是否可以有一个通用的注意块,可以根据具体的任务在各类注意力机制之间进行选择
开发可定性和可解释的注意力模型
注意力机制可以产生稀疏的激活,这促使我们去探索哪种架构可以更好地模拟人类的视觉系统
进一步探索基于注意力的预训练模型
为注意力模型研究新的优化方法
找到简单、高效、有效的基于注意力的模型,使其可以广泛部署关于作者
这篇论文来自清华大学计算机系胡事民团队。
胡事民为清华大学计算机系教授,教育部长江学者特聘教授,曾经和现任 IEEE、Elsevier、Springer 等多个期刊的主编、副主编和编委。
同时,他也是清华"计图"框架团队的负责人,这是首个由中国高校开源的深度学习框架。
文章一作为胡事民教授的博士生国孟昊,现就读于清华大学计算机系,也是清华计图团队的一员。
国内多地今早现带食日出,网友这是被咬了一口的咸蛋黄IT之家1月6日消息今天早上,国内多地出现带食日出天文现象,包括东北华北华东等地均可目击这一日偏食景象。图自微博网友spider9935所拍摄带食日出本次日偏食最早观测到的地区是我
帕克太阳探测器传回首批数据揭晓太阳神秘面纱北京时间12月19日消息,在完成最接近太阳的飞掠任务几周之后,美国国家航空航天局(NASA)的帕克太阳探测器开始向地球传回数据。帕克太阳探测器发回的冕流图像,太阳在左侧图外。在观测
NASA土星环正在消失,1亿年后或不复存在IT之家12月18日消息NASA最近公布了一项新研究,研究表明土星环正在以惊人的速度消失,此前,科学家曾估计土星环将在三亿年内消失,而现在这一预期时间被调至一亿年。据了解,土星环是
BBC中国北斗导航系统走向全球,它真能匹敌GPS吗据BBC报道,中国雄心勃勃希望快速扩张的北斗卫星导航系统已经能够为世界许多地方(不仅仅是亚洲)提供服务,但它真的能与美国已经成熟的全球定位系统(GPS)匹敌吗?图随着2018年十多
我国成功发射中法海洋卫星IT之家10月29日消息今天上午8时43分,我国在酒泉卫星发射中心用长征二号丙运载火箭成功发射中法海洋卫星。中法海洋卫星是两国合作研制的首颗卫星,主要用于海洋动力环境监测,首次实现
蓝箭航天民营运载火箭朱雀一号发射失利,卫星未入轨相关阅读中国首枚民营运载火箭发射失败,回应称将继续前行10月27日消息,蓝箭航天在酒泉卫星发射中心发射中国首枚民营运载火箭朱雀一号失利,最后卫星未能入轨,这是我国首次实现全部由民营
蓝箭发射中国首枚民营运载火箭朱雀一号IT之家10月27日消息今天下午4点,蓝箭在酒泉卫星发射中心发射中国首枚民营运载火箭朱雀一号。朱雀一号搭载了微小卫星并将其送至太阳同步轨道,满足在轨科学实验需求,并配有集成数据回传
人造月亮有望2020年实现技术上已成熟IT之家10月11日消息据现有资料显示,人造月亮的构想最早源于一位法国艺术家的想法在地球上空挂一圈镜子做成的项链,让它们一年四季把阳光反射到巴黎的大街小巷。俄罗斯曾经实施了代号为旗
科学家首次发现系外卫星存在证据,体积与海王星相近北京时间10月6日消息,据国外媒体报道,目前,天文学家使用哈勃和开普勒太空望远镜首次发现太阳系外一颗卫星环绕行星运行的证据。这颗卫星距离地球8000光年,位于天鹅星座,它围绕着一颗
SpaceX将发射黑洞研究探测器,已拿下NASA新合同凤凰网科技讯北京时间7月9日消息,美国太空探索技术公司(SpaceX)已经拿下了美国宇航局(NASA)的新合同,为后者发射X射线成像偏振探测器(IXPE)。IXPE将研究来自中子星
银河系中心黑洞为什么不活跃?强磁场在发挥作用北京时间6月21日消息,美国国家航空航天局(NASA)的科学家发现,在我们的银河系中心的超大质量黑洞周围,存在一个能够引导气体粒子进入黑洞周围轨道,而不是进入黑洞内部的磁场。长期以