CVPR2023单阶段半监督目标检测SOTAARSL
本文提出了针对单阶段半监督目标检测任务的 Ambiguity-Resistant Semi-supervised Learning(ARSL)算法,创新地提出了两个通用的单阶段半监督检测模块:Joint-Confidence Estimation(JCE)和 Task-Separation Assignment(TSA)。JCE 通过联合分类和定位任务的置信度评估伪标签质量。TSA 基于教师模型预测的联合置信度将样本划分为正样本、负样本和模棱两可的候选样本,并进一步在候选样本中分别为分类、定位任务挑选潜在正样本。
01
背景及动机
基于深度学习的目标检测算法通常依赖大规模标注数据才能发挥出最大的威力。为了节省标注人力,降低数据标注成本,半监督目标检测(SSOD)应运而生。半监督目标检测旨在利用少量的标注数据和大量的无标注数据进行模型训练,在最新进展中,其主要依赖于 Mean-Teacher 框架以及 Pseudo-labeling 技术,即用教师模型在无标注数据上生成的伪标签(Pseudo labels)训练学生模型,再基于学生模型在时序上的权重均值来更新教师模型。
图1.在基础半监督框架下,单阶段检测器(FCOS)的提升弱于两阶段方法(Faster RCNN)
然而基于该流程,我们发现相比于两阶段检测器(如Faster RCNN),单阶段检测算法(如 FCOS)仅能取得相对有限的提升。 是什么限制了单阶段检测器的半监督训练? 通过定量分析,我们发现单阶段检测器的伪标签中存在严重的筛选歧义性 (Selection Ambiguity)及样本分配歧义性 (Assignment Ambiguity)。
表1. (筛选歧义性) 伪标签的质量分析
图2. (分配歧义性) 不同阈值下,样本分配的正确性
筛选歧义性 是指,由于检测结果的分类置信度和定位质量并不匹配,使得基于分类得分筛选的伪标签不够准确。这一点在单阶段检测器中更加严重。表1中可以看到,相比于 Faster RCNN,FCOS 预测的检测结果中,分类得分和定位质量的相关性更低。换句话说,FCOS 筛选高质量伪标签的能力更弱。
分配歧义性 是指,基于伪标签的样本分配中,大量样本被分配了错误的标签。问题的根源在于,FCOS 的分配策略直接将边界框内部(或中心区域)的样本划分为正样本,而忽略了伪标签的边界框并不准确。这使得大量的背景区域被当成了正样本(False Positive),同时被阈值过滤掉的物体也被划分为了负样本(False Negative)。如图2所示,不管伪标签的筛选阈值如何设置,分配结果中均存在大量的 false positive 和 false negative。可以看出,基于边界框的样本分配策略(如 FCOS 的 center sampling)在伪标签分配上存在着天然的劣势。另外,相比于 Faster RCNN,FCOS 等单阶段检测器需要像素级的样本标签,因此对分配歧义性更加敏感。
02
算法简介
为了解决上述问题,我们提出了 Ambiguity-Resistant Semi-supervised Learning(ARSL),包括 Joint-Confidence Estimation(JCE)和 Task-Separation Assignment(TSA),通用于单阶段半监督目标检测任务。
图3. ARSL 框架图。对于无标签数据,教师模型首先通过 JCE 预测样本的联合置信度。然后,TSA 基于置信度将样本划分为正样本、负样本和模棱两可的候选样本,并进一步为分类、定位任务挑选潜在正样本。
针对伪标签的筛选歧义性,JCE 基于分类任务和定位任务的联合置信度来评估伪标签的质量。更为具体地,JCE 通过双分支结构,同时预测分类得分和定位质量,并将两者的乘积作为联合置信度。为了避免两个分支单独训练所导致的次优状态,对于标注数据,两者使用 IoU-based soft label 进行联合训练;对于无标注数据,直接使用教师模型联合置信度的最大响应值进行训练。
图4. JCE 示意图
图5. 正负样本在联合置信度区间中的分布
针对伪标签的分配歧义性,TSA 摒弃了 box-based assignment,基于教师模型在每个样本点上预测的联合置信度,直接对其进行正负样本划分。然而如上图5所示,处于置信度中间区域的样本依然是难以抉择的。为此,TSA 首先使用基于统计信息的双阈值将样本分为负样本、正样本和模棱两可的候选样本,然后在候选样本中分别为分类任务和定位任务进一步筛选潜在正样本。候选样本主要由低置信度的正样本和困难负样本组成,并不是单纯的背景区域(平均 IoU 为0.369)。对于分类任务,这些样本都值得学习,因此所有候选样本都参与教师模型的一致性学习,直接模仿教师模型预测的概率分布。而定位任务对样本的选择更加苛刻,差异性过大会导致定位任务不收敛。因此,TSA 通过评估候选样本于正样本的相似性来筛选潜在正样本(类别相似性、定位相似性、几何位置相似性),并使用正样本边界框的加权值作为潜在正样本的学习目标。
03
实验效果
与半监督检测 SOTA 的对比
在 COCO-Standard 1%,2%,5%,10% split 中(使用1%,2%, 5%,10% 的 COCO_train2017标注数据进行监督训练,剩余作为无标注数据进行半监督训练,每个 split 均采样5组数据),ARSL 均高于当前的 SOTA算法,增加大尺度抖动(large-scale jittering)后进一步拉大了差距。
在 COCO-Full 中(使用全部的 COCO_train2017标注数据进行监督训练,COCO_unlabel2017作为无标注数据),ARSL 在较短的训练周期下取得了更加显著的提升。
消融性分析
表5.可以看到,FCOS 在基础的半监督框架下仅取得了4.7%AP 的提升(26.0%->30.7%),而基于 ARSL 则进一步提升了6.2%AP 达到了36.9%AP。其中,JCE 和 TSA 分别涨点4.0%AP,2.2%AP。表6为 JCE 中各个策略的提升效果。
歧义性消除的验证分析
表8. 筛选歧义性
图6. 分配歧义性
表8.通过定量分析验证了 JCE 可以筛选出更高质量的伪标签,从而提升半监督学习的效果。图6.分析验证了 TSA 中样本标签分配的正确性。具体来说,TSA w/o mining 将 True Positive 的数量提升了111.4%,还额外减少23.4%的 False Positive。进一步挑选潜在正样本(Mining)可以将 True Positive 的数量提升至169.8%。
关于本篇 ARSL 欢迎大家入群讨论,也欢迎大家在 GitHub 点 star 支持我们的工作!
相关链接
论文地址
https://arxiv.org/abs/2303.14960
代码地址
https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/semi_det
人一旦开窍后,会产生哪些改变?无论男人女人,一旦开窍就会变得非常厉害。因为人一旦开窍,就没有内耗了。他的内在系统被打通,内在能量自然流动,很难损耗了,他可以随时用满格的能量和心力,去做他想做的事,成为他想成为的
经历了这几天的感悟头号有新人世上没有白吃的午餐,人生没有免费的旅程要成功,就要有付出要收获,就要耕耘。不能随随便便浪费自己的光阴,不能得过且过抱着游戏人生的过活。如果你觉得自己没有得到,那是因为你没
曾仕强人这一辈子只有一件事是真的,其他都是假的这辈子来只做一件事情是真的,其他全是假的,哪件事是真的?人生能够列出几百条几千条的事情,全都是假的,佛教叫做空,只有一样东西是实在的,就是我生下来,我做人只有一个目的,就是利用我的
SpaceX星舰有望在3月开启首次轨道飞行1月10日消息,据国外媒体报道,埃隆马斯克(ElonMusk)近日在社交媒体上表示,SpaceX的星舰(Starship)极有可能在今年3月进行首次轨道飞行。据了解,星舰是Spac
你知道吗?2023年春节是21世纪第二早春节春节的脚步日益临近,1月22日,我们将迎来2023年春节。天文科普专家介绍,2023年春节是21世纪这100年里的第二早春节,比21世纪最早春节只晚了一天。春节是每年农历的正月初一
三个新发现的太阳黑子或产生X级太阳耀斑,影响地球通信科幻网1月10日讯据外媒报道,在太阳表面发现了三个新的太阳黑子,可能会对地球造成威胁。这三个太阳黑子被命名为AR3181AR3182和AR3183,目前都面向地球。它们的磁场活跃且
恐龙百科大型暴龙科恐龙特暴龙特暴龙属(属名Tarbosaurus,意为骇人的蜥蜴)是一种兽脚亚目恐龙,属于暴龙科。特暴龙生存于晚白垩纪的亚洲地区,约7,000万年前到6,500万年。特暴龙的化石最初是在蒙古发
NASA开始检查刚从月球返回的猎户座飞船阅读文章之前,请点击关注,方便您回来查看内容,以及参与大家的互动,感谢您给予我码字动力!工程师们已经开始对阿特米斯1号太空舱进行检查,以了解它在月球旅行和重返大气层时的状况猎户座在
不到300的蓝牙耳机,就有HiRes小金标和LDAC高清解码,卷到躺平我的生活也是头条这应该是老Q见过的最卷的蓝牙耳机了,入手不到300块,就能用上HiRes小金标LDAC超高清解码蓝牙5。3主动降噪等上千元高端旗舰蓝牙耳机才有的配置,还支持App私
关于修订印发2023年度保险公司财务报表格式的通知财会202237号国务院有关部委有关直属机构,各省自治区直辖市计划单列市财政厅(局),新疆生产建设兵团财政局,财政部各地监管局,有关单位为进一步规范保险公司财务报表列报,提升会计信
一个人在发财之前必须做出以下几点改变工作多年为什么赚不到钱又是年关近了,辛辛苦苦为什么还是要过穷年。很多人停下一看工作这么多年还是赚不到钱。想要发财必须做出以下几个改变。(一)要理性而有原则。心软和爱面子的人赚不到钱。太考虑别人情趣的人赚