NeurIPS2022SlotCon以对象为中心的自监督表征

　　Objectdiscovery旨在无监督地发现图像中的物体，而此前该领域中的工作长期局限于合成数据集。在发表于NeurIPS2022的工作SelfSupervisedVisualRepresentationLearningwithSemanticGrouping（SlotCon）中，我们试图传达这样的消息：在大规模真实世界图像数据上，无监督且可学习的objectdiscovery是可行的，并且可以与objectcentric自监督表征学习结合，互利彼此。
　　Context：基于场景数据的自监督预训练
　　左：objectcentric数据与scenecentric数据对比；右：建立在不同粒度feature上的对比学习范式。
　　这篇工作主要面向的问题是基于场景数据的自监督视觉表征学习（预训练）。传统的视觉预训练框架往往局限于类似ImageNet的objectcentric数据集：每张图往往聚焦于一个醒目而单一的物体；而我们希望将这种范式推广到更为general的场景数据上（如COCO）：每张图片上可能有多个物体，大小各异，且分布多样。这种推广的好处是显而易见的：对收集数据有更低的要求、预训练数据与下游（检测与分割）数据有更小的gap、单张图片包含的信息更为丰富。然而，直接将先前的图像级对比学习框架应用到场景数据上并不自然，因为现在代表一个图像的vector不再表示一个物体，而是一整个场景。
　　在上图右侧我们对比了三种不同的对比学习范式：两个view间对比学习loss的一致性关系建立在图像级、像素级，还是对象级表征之间。图像级表征对于场景数据过于粗糙，而像素级表征又过于精细，这条线的工作往往还要加一个图像级的loss来补充highlevel的信息。最右这种对于每种物体语义单独表示，再在objectlevelrepresentation之间进行对比学习的范式较好地平衡了表征的粒度，也更适合场景数据。然而，这里引出了一个关键问题：如何无监督地找到这些物体（objectdiscovery）？
　　ObjectDiscovery
　　Objectnesspriors
　　往期工作为了获取objectnessprior，往往采用一些handcraftedmethod，例如saliency，selectivesearch，传统分割方法，kmeansclustering等。然而这里有一个concern：手工设计的objectnessprior可能会限制所学representation的upperbound，那么我们是否可以让objectdiscovery这部分也endtoend地学习呢？
　　Objectdiscovery其实也是个挺热门的领域（详细的review见paperrelatedwork），但是这方面的工作一直主要局限于合成数据集（如CLEVER），学习范式基本也是autoencoder重建。在真实场景数据work的工作往往基于视频，且依赖motion或depth作为condition。概括来讲，它们的philosophy都是基于bottomup的策略（texture，motion，depth，。。。）去获得objectness，对于合成数据怎么搞都行，但是真实场景中lowlevelcue的组合就太过复杂，难以从单张图像中compose出object。这里我们转而采用topdown的策略，从整个dataset中总结highlevel的共性：如上图右侧所示，我们学习一些含有语义的prototype（每个prototype绑定到不同语义），这样对于featuremap中的每个pixel，只需要assign它最近邻的prototype作为label，单张图中label相同的pixel即构成了一个object（严格意义上应当称为semanticobject）。
　　OK，听上去好像不错，那么这些semanticprototype从哪来？我们采用的技巧可以简单概括为pixelleveldeepclustering。Deepclustering旨在于采用可学习的方式得到有意义的prototypes，其核心insight为：同一张图的不同增广版本应当有同样的prototypeassignment（pseudolabel），另外需要一些正则项来保证prototypes的多样性。这个套路应用到pixels上也同样有效，并且在unsupervisedsemanticsegmentation上也有成功的先例（PiCIE）。我们的方法可以理解为综上技巧的有机结合。
　　方法概述
　　SlotCon整体框架
　　我们的框架完全随机初始化，在没有任何label的情况下，endtoend地同时学习解决objectdiscovery以及objectcentricrepresentationlearning两个task。技术上，最最简单的理解可以认为是pixellevelDINOobjectlevelMoCov3。对于objectdiscovery，我们在pixellevelassignmentmaps上将两个view中的overlap区域切出来并在空间上align好，对于每个位置相同的pixelpair，要求其对prototypes的assignment一致；对于representationlearning，我们在featuremap上将语意相同的pixels聚合到一起（称为slot，即objectlevelrepresentation），在不同view间的slots上进行contrastivelearning。两个objective相互促进，共同优化。
　　实验
　　对representationlearning的评估
　　这里和其他做pretrain的工作类似，只取backbone然后在objectdetectioninstancesegmentationsemanticsegmentation任务上做transferlearning来做评估。
　　COCOpretrain结果
　　我们在场景数据pretrain的基准setting为COCOpretrain800epochs。在不采用multicrop这种trick以及不采用objectnessprior的情况下，我们的方法相对于先前工作在所有下游任务上都体现了显著的提升。
　　COCOpretrain结果
　　更进一步，我们把COCOunlabeled子集也加进来，构成COCO（大概两倍COCO大小），效果进一步显著提升。
　　更为激动人心的是，COCO只有ImageNet1K的15大小，而我们却可以得到和ImageNet1K近似的表现，这说明我们的方法成功利用到了场景数据中蕴含的更为丰富的信息。
　　ImageNet1Kpretrain结果
　　我们也汇报了在经典的objectcentric数据集ImageNet1K上pretrain的结果。在不针对检测任务做特别设计（带FPNhead一起pretrain），以及不利用objectnessprior的情况下，我们的方法也有着不错的表现。
　　对objectdiscovery的评估
　　Unsupervisedsemanticsegmentation结果
　　需要注意的是我们的框架focus在representationlearning，所以采用了很低的分辨率（7x7）。这里在unsupervisedsemanticsegmentation上的评测只是为了对网络的objectdiscovery能力有定性和定量的认识，而非在该task上提出一个新的SOTA。这里prototype和真实class的匹配采用了hungarianmatching。尽管boundary并不太好，这个质量对于pretraining来说已经完全够用了。
　　prototype可视化
　　我们进一步可视化了每个prototype的nearestneighbors，如上图，prototypes可以绑定到一系列不同的语义上，它们范围广泛，而且对物体大小或遮挡与否并不敏感。这个结果可以说非常有趣了。
　　消融实验
　　比较值得注意的消融实验有两个：一是要把prototype的数量设定在一个比较接近pretrain数据集真实语义数量的值（COCO设256）；二是dataaugmentation中geometricaugmentation非常重要，如果一直采用两个identicalcrops，模型就学不到objectness，representation质量也会明显下降。更详细的ablationstudy请参见paper。
　　其他discussions
　　如何学到有意义的objects
　　经验上我们总结了3个关键点：
　　1。geometriccovariance和photometricinvariance：前者对应resize，flip等变换，后者对应colorjitter，gaussianblur等变换。
　　2。避免坍缩：followdeepclustering中避免prototypes坍缩的技巧。
　　3。把prototype数量设定在一个比较小，接近数据集真实semantic数量的数值（默认COCO采用256，ImageNet采用2048）。
　　模型的bias
　　作为一个learnable的方法，总是要有些bias的。我们发现模型对COCO中的头部类别：human相关概念有特别的偏好，会慷慨地分配很多prototype给与人相关的运动以及身体部位。我们分析是网络认为这样会更容易解决pretexttask。而对于更少出现的其他动物，分配一个prototype就好。如何更好的引入类别粒度的先验会是一个值得讨论的问题。
　　模型学到的humanrelatedprototypes
　　而在更为极端的pretrain数据，例如自动驾驶场景上，模型表现也有一定程度降低。在这种长尾且多样性较差的场景数据上如何进行更有效的pretrain也是值得进一步研究的问题。
　　一些关于slots的数据
　　我们也统计了一些关于slots的数据。在训练过程中，随着模型表征能力与objectdiscovery能力逐渐增强，每张图上的slot数量逐渐降低，最终收敛到与真实的平均单图物体数（7。3）接近的水平。至于每个prototype被激活的频率，则与真实类别分布类似（因为每个prototype绑定到一种语义）。
　　总结
　　我们的方法说明：自然场景的分解（scenedecomposition）可以和representation一起learnfromscratch；semanticgrouping的范式让大规模真实场景图像数据中的objectdiscovery成为可能；二者的结合促生了一种在场景数据上进行自监督预训练的有效方法。