监控人脸识别挑战

　　论文提出了ijbs监控人脸识别数据集，对人脸识别提出新的挑战，在网络明星识别性能已经饱和的情况下，监控人脸识别还无法实际应用，还有很多坑要填。
　　摘要
　　人脸识别（FR）是计算机视觉中研究最广泛的问题之一。最近，我们见证了FR的重大进展，得益于深度学习算法和更大规模数据集的帮助，尤其是那些受限的社交媒体网络图像，例如名人面孔的高分辨率照片由专业摄影记者拍摄，但是，在无约束和低分辨率中更具挑战性的FR监控图像仍然研究不足。
　　对低分辨率监控有效且稳健人脸图像识别刺激开发创新的FR方法，我们引入了一个新的监控人脸识别挑战，即QMULSurvFace，这个基准是迄今为止最大的，更重要的是唯一真正的监控FR基准，低分辨率的人脸图像不是通过高分辨率的人工下采样来合成的图像，而是来自真实的监控视频。这个基准有在不合作的监视场景中捕获15，573个身份的463，507个人脸图像，采集自广阔的空间和时间，因此，QMULSurvFace提出了真正的性能监控FR挑战，具有低分辨率、运动模糊、不受控制的姿势、不同的遮挡、光照差和杂乱无章背景。
　　在QMULSurvFace挑战中，我们对五个具有代表性的深度学习人脸识别模型（DeepID2、CentreFace、VggFace、FaceNet和SphereFace）的FR性能，我们证明了当前最好的算法还远远不能令人满意地解决监控FR问题。特别是，我们展示了现有名人照片拍摄基准（例如MegaFace）和QMULSurvFace在FR性能方面的惊人差距。例如，CentreFace模型在在QMULSurvFace上的Rank1中仅29。9，而在封闭式测试中MegaFace上的表现要高得多，为65。2。从侧面看，开放集FR更具挑战性，但由于存在公共空间中有大量非目标人群（干扰者）。FR性能较弱在QMULSurvFace上表明了这一点，例如表现最佳的CentreFace在10误报率时成功率为13。8（Rank20）。
　　此外，我们广泛调查了监控固有的具有挑战性的低分辨率问题，通过测试不同图像超分辨率和人脸识别模型在网络和监控数据集上。我们的评价表明当前的超分辨率方法在提高低分辨率FR性能方面是有效的，尽管它们已被证明可用于合成高低分辨率网络图像的频率细节。最后，我们讨论了解决监控FR挑战需要解决的一些开放研究方向和问题。
　　1简介
　　人脸识别（FR）是计算机视觉中一项成熟的研究问题，目的是通过面部图像识别人类身份（ID）。还有其他基于视觉识别的人体识别的生物识别方法，例如全身人重新识别、虹膜识别、步态识别和指纹识别。其中，FR被认为是一种更方便和非侵入性的方式，从执法和信息安全到商业、娱乐和电子商务的广泛识别应用。因为一个事实，脸型更可靠并且比衣服外观稳定，前提是人脸图像是可见的。
　　自1970年代以来的过去几十年FR问题已被广泛研究，并在过去五年内越来越多地部署在社会应用中。仅在2016年，就有超过77，300份FR出版物包括谷歌学术的专利，特别是，过去几年见证了FR在高分辨率高质量网络图像上的表现达到了可以说比人类更好的水平，例如99。831：1人脸LFW挑战的验证和1：N的99。801百万级MegaFace挑战中的人脸识别。商用FR产品已经越来越成熟，越来越多地出现在我们的日常生活中，例如：网络相册、在线电子支付和智能手机电子银行，这种趋势在更大范围内加速。
　　FR成功背后的一个驱动力是基于神经网络的协同和快速发展的深度学习技术、大型面部图像基准和强大的计算设备。在双方的共同努力下正在快速推进学术界和工业界。有人可能会争辩：最先进的FR算法，尤其是在大规模数据深度学习的帮助下，达到足够的成熟度和应用水平，大规模公共基准挑战几乎饱和的性能证明了这一点，所以，FR问题应被视为已解决，并且剩下的努力主要在系统工程生产上。
　　然而，如本研究所示，当前的FR方法无法很好地适应噪声和低分辨率图像（不是通过下采样合成的），这些图像的典型特征是在不受约束的广域中捕获监控视频和图像的面部数据，也许是FR在实践中的最重要应用领域。具体来说，我们证明了典型监视图像中的FR远不能令人满意，尤其是在大规模情况下。与识别具有限噪声的高分辨率网络照片图像不同，监控FR的问题仍然极具挑战性和开放性。这个令人惊讶，因为监控视频数据以低分辨率图像为特征，噪声很大，受到不良成像条件的影响，会导致姿势、表情、遮挡、照明和背景杂波不受约束（图1）。
　　网络人脸识别是由于社交媒体和电子商务在智能手机上的普及而流行并具有商业吸引力及各种数码设备，解决监控FR挑战对于公共安全和执法应用至关重要。缺乏适用于监控场景是缺乏大规模真实监控的人脸图像基准，对比丰富高分辨率网络照片FR基准的可用性（表1）。例如，有4，753，320个网络人脸来自MegaFace2中672，057个面部ID的面部图像，能够非常容易的收集和标注大规模的网络人脸图像。
　　相反，构建大规模本地监控人脸图像数据作为更广泛研究的基准不太可行，它非常昂贵令人望而却步，由于很大程度上受限的数据访问和非常繁琐的数据标记成本高昂。目前，最大的监视FR挑战基准是（UCCS）数据集，其中包含来自1，732个人脸ID，规模明显小于MegaFace名人照片数据集。但是UCCS是有限的，并且只是半原生的，因为它是由单个位置的高分辨率相机捕获的，在这项研究中，我们表明：（1）最先进的大规模训练的基于深度学习的FR模型高质量的基准数据集，例如MegaFace不能很好地推广到原生的低质量监控人脸识别任务；（2）对人工合成的低分辨率图像FR性能测试不能真实反映监控FR的真正挑战；（3）图像超分辨率模型训练缺乏高分辨率监控所需的面部图像。
　　在这项研究中，我们提供了一个更现实和更大的规模监控人脸识别挑战，在公共领域可用。通过从不受约束的公共场景中获取的监控面部图像原生低分辨率识别一个人的身份。我们做出以下三个贡献：
　　（I）我们构建了一个大规模人脸ID的数据集用于模型开发和评估的本地监控面部图像数据。具体来说，我们介绍QMULSurvFace挑战，包含15，573个ID的463，507张人脸图像。据我们所知，这是用于监视FR挑战的最大数据集，具有捕获的原生低分辨率监控面部图像远距离不受约束的广角相机。这个基准数据集由17个公共领域人员重新识别数据集（表4）使用深度学习人脸检测模型构建。这个新的监控FR基准的独特功能是提供交叉位置（crosscameraviews）ID标签注释，可从来源处获得重新识别数据集，这种交叉视图标记信息对于开集FR测试很有用。
　　（二）我们对五个有代表性的深度学习进行基准测试FR模型人脸识别和验证。与通常考虑闭集设置的现有FR挑战相比，我们特别评估这些算法以执行更现实的开放集监视FR任务，闭集测试假设每个识别ID在识别库中，因此每个都始终存在真正的匹配ID，而开放式测试没有，尊重现实的大型监视FR场景。
　　（III）我们调查现有FR的有效性，原生低分辨率监控图像模型通过同时利用图像超分辨率的数据和FR模型。我们研究超分辨率和FR模型的不同组合包括独立和联合训练计划。进一步比较MegaFace和UCCS基准可以更好地理解QMULSurvFace的独特特性，就解决监视FR挑战的未来研究方向进行广泛讨论。
　　2相关工作
　　2。1人脸识别挑战
　　表1总结了代表性的FR挑战和基准。具体而言，早期挑战集中在图像和ID数量有限的小规模受限FR场景，既不提供足够的外观变化和多样性，以实现稳健模型训练，也没有实际可靠的测试基准，2007年，开创性的LabeledFacesintheWild（LFW）挑战被提出并开始将社区转向不受约束的通过提供网络人脸图像和标准性能评估协议来实现名人面孔，LFW为激发兴趣和进步做出了重大贡献。通过创建更大的FR基准，这种向大型数据集发展的趋势得到了放大，例如CASIA、CelebFaces，VGGFace，MSCeleb1M、MegaFace和MegaFace2。到目前为止，似乎网络照片图像的大型训练和测试数据基准的可用性已得到解决，面对如此大的基准挑战，FR精度在高质量的图像中达到了前所未有的水平，比如在LFW上FR性能已经达到99。83（人脸验证）MegaFace上99。801（人脸识别）。
　　然而，这并不能扩展到在不受约束的情况下捕获的原生低分辨率监视面部图像数据，这是由于两个原因：（1）LFW等现有的FR挑战具有不同的数据选择偏差的程度（近正面姿势，较少运动模糊，良好的照明）；（2）深度学习方法通常是特定于领域，另一方面，在网络照片视图和监控视图之间面部图像有很大差异，监视FR研究进展甚微，它正在被大量研究，只有很少的基准可用。主要障碍之一是难以建立大规模监视FR挑战，因为收集监视面部图像数据和详尽的面部ID的成本高且可行性有限。即使在FERET数据集中，也只模拟了在具有精心控制的成像设置的情况下收集监控人脸图像，因此它提供的面部图像质量比来自本地监控视频的那些质量好很多。
　　最近一项值得注意的研究介绍了UCCS挑战，目前是公共领域最大的监控FR基准。UCCS面部图像是从一个没有主体合作的远程距离（不受约束）采集的，这些图像中的面孔是各种各样的姿势，模糊和遮挡（图9（b））。这个基准代表了一个相对现实的监视FR与FERET相比的情景。然而，UCCS图像是从单个高分辨率捕获的，因此以更少的视角变化提供更多的面部细节。而且，UCCS体积小，特别是在面部方面ID号（1，732），在统计上受限于评估监视FR挑战（第5。1节）。在这项研究中，我们通过构建更大规模的原生低分辨率监视FR挑战来解决UCCS的局限性，QMULSurvFace基准，它包含463，507个真实世界的监控人脸图像15，573个从不同的公共来源捕获的不同ID。
　　2。2人脸识别方法
　　我们简要回顾了现有的大量FR算法，包括手工、深度学习和低分辨率方法。低分辨率FR包括讨论在处理较差的图像质量方面最新技术的方法。我们还讨论图像用于增强图像保真度和提高FR性能的超分辨率技术。
　　（I）手工制作的方法。大多数早期的FR方法依赖于手工制作的特征（例如颜色直方图、LBP、SIFT、Gabor）和匹配模型学习算法（例如判别边缘挖掘、子空间学习，基于字典的稀疏编码，贝叶斯模型）。这些方法往往效率低下高维特征表示和复杂图像预处理的大量计算成本。此外，他们还遭受次优识别泛化，特别是在大数据时有显着的面部外观变化。这个是由于弱表示能力（手工制作特征中使用的人类主要知识有限且不完整）以及特征提取和模型之间缺乏端到端的交互学习推理。
　　（二）深度学习方法。在过去的五年里，基于深度学习的FR模型，特别是卷积神经网络（CNN），取得了显着的成功（表2）。这种范式受益于优越网络架构和优化算法。DeepFR方法自然地解决了手工制作的局限性通过联合学习人脸表示和端到端匹配模型，为了获得良好的性能，通常需要使用大量标记的人脸图像，需要训练数百万个深度参数。这通常可以通过使用收集和标记（过滤）来自互联网资源的数百万张网络人脸图像来满足。因此，现代FR模型通常经过训练、评估和部署网络人脸数据集（表1和表2）。
　　虽然网络FR性能达到了前所未有的水平，但目前尚不清楚最先进的方法如何推广到低质量的监控面部数据。直觉上，更多的挑战涉及由于三个原因，监视FR场景：（1）监控人脸图像包含的外观要少得多质量较差且分辨率较低的细节（图1），从而阻碍了FR性能。（2）深度模型是高度特定于域的，并且可能在跨域部署中产生很大的性能下降。这个尤其是当训练和测试数据量很大，例如web和监控人脸。在这种情况下，迁移学习具有挑战性。标记监控的稀缺性可能会进一步增加挑战数据。（3）代替中考虑的闭集搜索大多数现有方法，监视场景中的FR是本质上是开集，其中ID不是必然出现在识别库中。这带来了一个额外要求FR的重大挑战系统可以准确拒绝非目标人员（即干扰者），同时不会丢失目标ID，因此，开集FR更具挑战性，因为干扰物可以是任意变化的。
　　（三）低分辨率人脸识别。一个特别的FR监控中的挑战FR是低分辨率，对于分辨率差异较大的图像对上的FR，分辨率差异问题出现。一般来说，现有的低分辨率FR方法分为两类：（1）图像超分辨率，（2）分辨率不变学习
　　第一类基于两个学习标准：像素级视觉保真度和面部识别。现有方法通常进行两个训练过程更注重外观增强。最近有尝试将这两个子任务结合起来进行更具判别性的学习。
　　第二类方法旨在提取分辨率不变的特征，或学习跨分辨率结构变换。由于深度FR模型是数据驱动，要有合适的训练数据可用，此策略就可以进行模型优化。然而，所有现有的方法都有许多局限性：（1）在封闭集设置中考虑小尺度和或下采样的人工低分辨率人脸图像，因此无法在尺度上反映真正的监视FR挑战。（2）依靠手工制作特征和线性浅层模型结构，因此服从次优泛化。（3）需要从同一图像中耦合低分辨率和高分辨率图像对域用于模型训练，但在监控场景中不可用。在低分辨率（LR）图像人脸识别部署中，存在两种典型的操作设置。一种常见设置是LRtoHR（高分辨率），它旨在将LR探测图像与HR识别库图像（例如护照或其他文件照片）进行匹配，这是执法机构广泛使用的一种方法，用于将潜在候选人与观察名单进行匹配。
　　还有另一个操作设置需要LR到LR图像人脸匹配，当两者图像是LR面部图像，LRtoLR人脸识别发生在较少的时间，也没有预定义的观察名单。在城市环境中，无法保证记录HR面部的受控接入点，一个普通人在不受约束的公共场合的图像空间由于常用的宽视场闭路电视监控摄像机和长距离。在大型公共空间视频中监控数据包含非常大量的没有预先注册人脸的HR人脸图像。视频取证分析通常需要大量在分布式和自公共干扰时获取当唯一可用的面部图像来，通过对先验未知（未注册）人员的面部识别来分离大空间LR。最近，迅速崛起的智能购物，例如AmazonGo、阿里巴巴盒马和京东7Fresh超市，也建议任何面向个性化客户的人脸识别技术店内定位（跟踪和标签）
　　图像超分辨率。超分辨率方法由于强大的深度CNN模型在回归重建图像和真实图像之间的像素损失方面的能力。总结五个基准上的六个最先进的深度模型在表3中给出。大多数情况下，FR和超分辨率研究独立推进，两者都假设大量高分辨率训练数据的可用性。在监控中，高分辨率图像通常不可用，这反过来又诉诸现有方法迁移学习。当训练和测试数据分布差异很大时，超分辨率就变成了由于对域的额外需求，极具挑战性适应。
　　作为特定对象的超分辨率，致力于面部外观的保真度恢复。一种常见的方法是从示例高分辨率图像中传输高频细节和结构信息，这通常通过映射低分辨率和高分辨率训练对来实现。现存的，方法需要无噪声的输入图像，同时假设严格的部分检测和密集对应。否则，可能会出现压倒性的伪影。这些假设极大地限制了由于低分辨率监视数据的可用性，存在不受控制的噪声和不存在耦合的高分辨率图像。
　　3QMULSurvFace识别挑战
　　3。1原生低分辨率监控人脸数据集
　　据我们所知，公共领域没有大型的本地监控FR挑战。针对这个问题的研究，我们构建了一个新的通过在现实世界的监控视频和图像中自动提取出现的不合作公众的面孔来衡量基准（挑战）。我们称这个挑战QMULSurvFace。与大多数现有的FR挑战不同，使用高质量网络或在受控条件下捕获的模拟监控图像，无法评估真正的监控FR性能，我们探索真实世界的原生监控，来自17个行人重识别的组合图像数据，来自不同地点的不同监控场景和多个国家（表4）。
　　数据集统计。QMULSurvFace挑战包含463，507张低分辨率人脸图像15，573具有不受控制的姿势、照明、运动模糊、遮挡和背景杂波（图3）。其中，有10，638（68。3）每个人都与两个或更多检测到的人脸图像相关联。这是迄今为止最大的本地监视人脸基准（表1）。
　　人脸图像收集QMULSurvFace代表一个可扩展的测试场景，我们通过部署TinyFace自动提取面部图像检测器重新识别监测数据（图5）。手动标记面由于大量视频数据，不容易量化。请注意，由于检测不完善、图像质量差和极端的头部姿势，并非源图像中的所有人脸都能被成功检测到。平均行人ID召回率为77。0（15，573，20，224人）和人脸52。6（881，065人中有463，507人）。
　　表4总结了所有人员重新识别数据集的人脸检测统计数据。做作为一个准确的FR挑战，我们通过过滤掉错误检测来手动清理QMULSurvFace数据。我们手动丢弃了CUHKSYSU数据集中的所有影视节目（非监控）图像数据这些由两个独立的注释者标记，并且相互交叉检查。对于人脸ID注释，我们使用了来源中可用的人员标签，我们假设数据集之间没有ID重叠。这是理性的，因为它们是在不同的时间和监视场所独立创建的，也就是说，一个人出现在多重重新识别中数据集非常低。
　　面部特征。与现有的FR挑战相比，QMULSurvFace的独特之处在于视频监控中典型的分辨率非常低的人脸（图6）使监视FR的具有挑战性。人脸空间分辨率的高度宽度范围为65到124106像素，平均值为2420。该数据集呈现出频率范围为1到558（图7）。此外，QMULSurvFace人物特征差异很大（图2）。给定低分辨率面部外观，监视FR可能对国籍的敏感度不如高分辨率网络FR。
　　3。2评估协议
　　FR性能通常使用两个应用程序（验证和识别）和两个协议（封闭集和开放集）进行评估。
　　数据分区。为了对评估协议进行基准测试，我们首先需要拆分QMULSurvFace数据到训练集和测试集。我们划分10，638个ID每张2张人脸图像分成两半：一半（5，319）用于训练，一半（5，319）加上剩余的4，935个单次ID（总共10，254）用于测试（表5）。我们只对一个训练测试数据拆分进行基准测试，因为数据集在ID类和人脸中足够大图像以支持统计上稳定的评估。
　　我们对人脸识别和验证两者应用与上述相同的数据分区。的所有面部图像训练ID用于训练FR模型。额外的可以使用来自其他来源的图像，但不能是测试ID的面部图像。测试数据的使用取决于关于应用程序和协议。接下来，我们介绍QMULSurvFace上的人脸识别和人脸基准测试方法。
　　人脸验证。验证人脸对的比较性能，在LFW上评估的大多数FR方法都采用该协议。具体来说，将人脸图像呈现给FR系统由已注册面孔表示的ID。如果他们的匹配相似度得分更高，超过阈值t，则接受，否则拒绝。协议指定匹配和FR方法应在其中执行的不匹配对评估。对于每个测试ID，我们生成一个匹配的对，即总共5，319对（表6）。我们生成通过在人脸和非配对人脸之间随机抽样获得相同数量（5，319）的不匹配对。对于性能测量，这些对中的每一对都将通过计算匹配相似度得分来评估。
　　在验证过程中，会出现两类错误：（1）错误接受干扰者；（2）错误拒绝系统错误地拒绝感兴趣的ID。因此，我们定义False接受率（FAR）作为不匹配对的比例，对应的分数s高于阈值t
　　其中U表示不匹配对的集合。相比之下，错误拒绝率（FRR）代表匹配分数低于s的匹配对的分数阈值t：
　　其中M是匹配对的集合。为了理解方便，我们进一步定义真实接受率（TAR），FRR的补码，如
　　对于QMULSurvFace上的人脸验证评估，我们使用成对的TARFAR度量。我们还利用（ROC）通过改变阈值进行分析测量t并生成TARvsFARROC曲线。整体精度性能可以通过ROC曲线下面积来衡量，简称AUC。验证协议见表6上半部分。
　　人脸识别。在取证和监视应用中，人脸识别才是最重要的，并且可以说是一个更复杂和不平凡的问题，因为必须将探测图像与所有识别库ID匹配。文献中大多数现有的FR方法都考虑闭集场景，假设每个探测对象都存在于识别库中。我们在QMULSurvFace上构建了闭集场景的评估设置。对于5，319个中的每一个多镜头测试ID，我们将相应的图像随机采样到图库中。图库集表示涉及操作数据库的图像，例如访问控制系统的存储库。检索组代表用于查询人脸识别系统的图像。对于闭集识别中的性能评估，我们选择累积匹配特征测量。返回配对（真正匹配）的搜索比例rankr或更高，rank1率是算法有效性最常见的总结指标。这是基于非阈值等级的度量。正式地，等级r被定义为：
　　其中Nmate（i）表示检索图像的数量排在第i位，总共N个检索图像。然而，在现实的监控应用中，大多数闭路电视摄像机拍摄的人脸不属于任何识别库，人应该被检测为未知，导致开放集协议。这通常被称为观察名单识别（取证搜索）场景，其中只有感兴趣的人才能进入识别库，通常每个ID都有几个不同的图像，例如FBI最想要的名单，允许开集监视FR测试，我们构建了一个观察列表识别协议，其中只有感兴趣的人脸ID被注册到识别库。具体来说，我们创建以下检索和识别库：（1）在5，319个多样本测试ID中，我们随机选择3，000张并采样半脸图像将每个选定的ID放入图库集中。（2）包括这些单发ID图像在内的所有剩余图像都用于形成检索组。像这样，大多数调查人员是未知的（未注册ID），更准确地反映了开放空间。
　　对于开集FR性能评估，我们必须量化两种错误类型。这第一种是误报来自未知的人脸图像人关联不正确，包含一个或多个登记者的数据，这个误差是量化的，由误报识别率（FPIR）确定：
　　衡量搜索的比例，一名或多名报名候选人达到或超过阈值t（即误报），第二种错误是未命中搜索登记的目标人员数据（即配偶搜索）不返回正确的ID。我们通过以下方式量化未命中错误假阴性识别率（FNIR）：
　　这是配对搜索的比例Nm与已注册的配对在前r排名或匹配相似度得分之外找到低于阈值t，在Nm匹配搜索中。经过默认情况下，我们设置r20（即FNIR（t，20））。在实践中，一个更直观的衡量标准可能是命中率或真阳性识别率（TPIR）：
　　这是FNIR的补充，提供积极的配对搜索成功频率的声明。在QMULSurvFace中，我们采用TPIRFPIR度量作为开放集人脸识别性能指标。TPIRvsFPIR可以类似地生成ROC曲线，其中AUC代表整体测量（见表6的下半部分）。
　　开集和闭集的联系。上述闭集和开集的性能指标FR不是完全独立的，而是相关的。这CMC（r）（Eqn。（4））可以看作是TPIR（t，r）（Eqn。（7））忽略相似度得分将阈值要求t放宽为：
　　这种度量链接对于提高闭集和开集的比较性能很有用。
　　注意事项。现有的FR挑战采用封闭集评估协议，包括MegaFace，在能够评估FR模型的泛化能力规模搜索，它不能完全确认监视FR操作。对于监视FR，人工操作员通常分配了一个任务目标人员列表他们的面部图像在一个工作系统中注册。这FR的任务是在公共场所搜索目标。这是一个开集FR问题。因此，我们采用开集识别协议作为QMULSurvFace的主要设置（表6）。此外，我们仍然考虑使用封闭集FR实验与现有的基准来进行同类比较。
　　4基准评估
　　在本节中，描述了两类技术用于基准评估：深度学习FR和图像超分辨率方法。
　　4。1人脸识别模型
　　我们介绍了五个代表的FR模型（表2）：DeepID2、CentreFace、FaceNet、VggFace和SphereFace。所有方法均基于CNN架构，每个都有不同的目标损失函数和网络设计。它们是为学习判别式而设计的通过增加ID间的变化同时减少ID内的变化来面对表示空间。两种变体本质上都是复杂且高度非线性的由于相同ID的面孔在不同的条件下可能会出现非常不同的外观，而不同的面孔ID可能看起来很相似。一旦训练了深度FR模型通过标准的SGD算法，我们将其部署为特征提取器并以L2距离执行FR。
　　DeepID2模型的特点是同时学习人脸识别和验证监督。识别是通过softmax交叉熵损失将人脸图像分类为一个ID类。形式上，我们预测人脸图像的后验概率
　　CentreFace模型也采用softmax交叉熵损失函数（Eqn。（10））。然而，它以类的方式寻求ID内的紧凑性通过提出所有面部图像的表示约束特征尽可能靠近相应的ID中心。学习这个类的紧凑性就完成了由定义为的中心损失函数：
　　其中yi表示人脸图像xi和cyi的ID类yi类的中心，所有相同ID的人脸图像都被限制为分组在一起，以便可以抑制个人内部的变化。最终的损失函数与鉴定监督为：
　　由于特征空间在训练过程中是动态的，所以所有的类中心都在不断更新。CentreFace模型以28层实现ResNet架构。
　　FaceNet模型使用了一个三元组损失函数来学习二元类（正对负对）特征嵌入。三元组损失是为了诱导正负对之间判别性边际，定义为：
　　其中T表示基于生成的三元组集ID标签，是用于分隔的预固定边距正（xa，xp）和负（xa，xn）训练对。通过这样做，一个训练ID的人脸图像是被限制在一个孤立的流形上，其他ID有一定的距离，因此具有辨别能力。为了快速收敛，使用违反三元组约束的三元组至关重要（等式（15））。为了以可扩展的方式实现这一目标，我们在小批量中选择硬阳性和阴性。
　　在我们的FaceNet实现中，InceptionResNetCNN架构被用作对最初采用的ZFCNN的更强替代。
　　VggFace模型认为以顺序方式进行识别和三元组训练方案。具体来说，我们首先训练模型通过softmax交叉熵损失（方程式（10））。然后我们通过三元组损失学习特征嵌入（等式（15））只有最后一个全连接层被更新为实施判别投影。第二步应用样本挖掘策略更有效的优化。VggFace采用VGG16CNN层。
　　SphereFace模型利用新设计的基于角边距的softmax损失函数。这种损失不同于基于欧几里得距离通过在超球体流形中执行特征判别学习来实现三元组损失（方程式（15））。动机是，通过识别损失学习的多类特征表现出内在的角分布，角度softmax损失表示为
　　其中j，i指定第j类的归一化识别权重Wj（kWjk1）与训练样本xi，m（m2）预先设定的角度边距，yi是xi的真实类别，具体来说，这种设计操纵了角度决策边界类之间并强制执行约束cos（myi）任意jyi的cos（j），当m2且yi〔0，m〕时，这个不等式cos（yi）cos（myi）成立。所以，cos（myi）表示cos（yi）和更大的m导致更宽的角类间边距。与CentreFace类似，一个28层的ResNetCNN在SphereFace实现中采用。
　　4。2图像超分辨率模型
　　我们展示了五种图像超分辨率方法的制定细节（表3）：SRCNN，FSRCNN，LapSRN，VDSR和DRRN。与上述FR方法类似，这些超分辨率模型利用CNN架构。超分辨率模型旨在学习低分辨率和高分辨率图像之间的高度非线性映射。这需要真实的低分辨率和高分辨率训练对。模型训练完成后，我们将其部署以恢复较差的模型执行FR之前的分辨率监视面孔。
　　SRCNN模型是其中之一第一个在超分辨率取得显著成功的深层方法。设计灵感来自于早期基于稀疏编码的方法。通过端到端的学习利用神经网络的优势，SRCNN在一个统一的框架中制定了原始分离的组件，以实现更好的映射函数学习。采用平方误差（MSE）作为损失函数：
　　FSRCNN模型是SRCNN的加速和更准确的变体，通过将原始的低分辨率图像作为输入，设计更深的沙漏来实现的（收缩然后扩展）形状的非线性映射模块，并采用反卷积层来放大输入。MSR损失函数（Eqn。（17））用于训练。
　　VDSR模型改进了SRCNN通过提高网络深度从3到20个卷积层。在大图像区域设计深层次的级联网络（例如4141以像素为单位）用于增强高频细节推断。为了有效地训练这个模型，残差学习方案被采纳。也就是说，模型被优化为学习输入和实况高分辨率图像之间的残差图像。VDSR由MSE损失（方程（17））监督训练。
　　DRRN模型构建了一个通过联合利用更深的（52层）网络残差和递归学习。特别是，除了对于输入和之间的全局残差学习输出为VDSR，该方法还通过短距离ID分支利用局部残差学习来缓解跨所有层的信息丢失，所有模块共享参数和输入，以便可以在一个在不增加模型参数大小的情况下迭代。MSE损失函数（Eqn。（17））用于监督模型训练。
　　LapSRN模型包括多层级联子网络，旨在逐步预测高分辨率重建从粗到细。与VDSR和DRRN相同，残差学习方案是与放大映射功能一起利用减轻训练难度，同时享受更多的判别学习。对于训练，它采用Charbonnier惩罚函数：
　　其中（例如，设置为103）是一个预先固定的噪声常数。与MST相比，这种损失具有更好的抑制训练异常值的潜力。每个级别都同时受到监督，并针对相应的真实高分辨率图像进行单独的损失。这个多重损失结构类似于深度监督模型的好处。
　　讨论。值得指出的是，使用训练超分辨率模型的MSE损失有利于峰值单噪比（PSNR）速率，常见的监控人脸识别挑战赛性能测量。这适合深度神经网络工作，因为MSE是可微分的，但不能保证感知质量。一种现象是MSE监督模型的超分辨图像可能过于平滑和模糊。我们将评估超分辨率模型（第5。2节）。
　　5实验结果
　　在本节中，我们将介绍并讨论监测FR的实验评估。对不同的低分辨率监控人脸（第5。1节）和超分辨率人脸（第5。2节）FR方法进行了评估。
　　5。1低分辨率监控人脸识别
　　我们评估了具有模糊观察的原始低分辨率QMULSurvFace图像的FR性能。除了低分辨率问题，还有其他不受控制的协变量和噪声，例如光照变化、表情、遮挡、背景杂波和压缩伪影。所有这些因素导致不同程度的推理不确定性（图3）。
　　模型训练和测试。为了训练一个FR模型，我们采用了以下三种策略：（1）仅使用QMULSurvFace训练集（来自5，319个ID）。（2）仅使用CASIA网络数据（494，414来自10，575个ID的图像）。我们将测试使用效果不同的网络源数据集，例如MegaFace2和MSCeleb1M。（3）首先在CASIA上预训练一个FR模型，然后在QMULSurvFace上进行微调。默认情况下我们采用这个训练策略。我们使用欧几里得距离进行部署。
　　在训练和测试中，我们通过双三次插值将所有面部图像重新缩放到所需的FR型号。这样的插值图像仍然是低分辨率，因为基本分辨率几乎没有变化（图13）。
　　评估设置。我们考虑人脸验证和识别。默认情况下，我们对人脸识别采用更真实的开集评估，除非另有说明。对于开集测试（第5。1。1节），我们使用TPIR（Eqn。（6））以不同的FPIR速率（Eqn。（5））。这真正的匹配排在topr中（即等式（7）中的r20）被视为成功。用于人脸验证测试（Sec。5。1。2），我们使用了TAR（Eqn。（3））和FAR（Eqn。（1））。
　　实施细节。对于CentreFace、VggFace和SphereFace我们使用了原作者模型。对于FaceNet，我们利用TensorFlow重新实现，我们重写了DeepID2。在整个实验中，我们采用了建议的参数设置，或者通过网格搜索仔细调整超参数。数据增强应用于QMULSurvFace训练数据，包括翻转、高斯核模糊、颜色偏移、亮度和对比度调整。我们排除了crop和带来负面影响的旋转变换。
　　5。1。1人脸识别评估
　　（I）基准QMULSurvFace。我们进行了基准测试表7和图8中QMULSurvFace上的人脸验证。我们有四个观察结果：（1）并非所有的FR模型（例如VggFace）在QMULSurvFace中都会收敛。虽然CASIA的数据大小为更大，QMULSurvFace训练数据足以进行通用深度模型训练。取而代之的是可能更多是由于低分辨率来的极端挑战，特别是当模型需要高比例时像VggFace的224224这样的输入。这表明本地监视FR和网络FR的差异。（2）最差的FR结果是由仅使用CASIA人脸训练的模型。这是预期的，因为CASIA和QMULSurvFace（图9）。（3）大部分模型使用CASIA人脸进行预训练后得到显着改进。这表明网络数据通过提炼模型初始化产生了积极的影响。（4）CentreFace是五个模型中表现最好的。这表明在监视FR训练中限制类内变化的有效性，与webFR一致。
　　（II）开放集与封闭集。我们比较了开集FR与QMULSurvFace上的传统闭集设置。在封闭集测试中，我们移除了测试库中的所有干扰因素。我们评估了前2个FR模型，CentreFace和SphereFace。表8显示闭集FR显然比开集更容易。例如，CentreFace达到27。3TPIR20FPIR30在开放集vs61。1Rank20in闭集。在较低的误报情况下差距更大。这意味着当考虑到干扰的攻击，FR更难。
　　（III）SurvFace与WebFace。我们在闭集测试中比较了surveillanceFR和webFR。我们以CentreFace为例。该模型QMULSurvFace上为29。9（表8），远低于MegaFace上65。2的比率，即54（129。965。2）性能下降。这表明监视FR更具挑战性，尤其是考虑到使用一百万个干扰物使MegaFace测试更加复杂时。
　　（IV）SurvFace图像质量。我们评估了开放集FR中监视图像质量的影响，为此，我们将QMULSurvFace与UCCS进行了对比，提供监控人脸质量明显更好的图像（图9）。对于UCCS，我们使用了发布的人脸图像来自1，732个ID中的1，090个。我们随机制作了一个545545训练测试ID分割，6，9487，068图像分割。启用进行同类比较，我们通过随机选择545545构建了一个QMULSurvFace（1090ID）数据集QMULSurvFace训练测试ID。为了评估，我们使用100个随机ID设计了一个开放集测试设置识别库和所有545个ID用于检索。
　　结果。表9显示QMULSurvFace比UCCS更具挑战，不同FR模型经历了不同程度的性能下降。这个表明图像质量是一个重要因素，并且UCCS在反映监测FR方面不太准确，由于人为的高图像质量带来的挑战。
　　（V）LR到LR与LR到HR。我们比较了两者常见的低分辨率FR部署设置UCCS基准数据集。见表10大多数性能具有可比性，这表明LRtoLR和LRtoHR表现出相似的低分辨率识别挑战。有趣的是，LRtoLR结果相对更好。这是由于分辨率较低比LR到HR会有更小的gap。
　　（VI）测试可扩展性。我们通过比较QMULSurvFace（1090ID）和QMULSurvFace来检查测试的可扩展性。表7和表9之间的比较表明，在1090ID的较小测试中产生了显着更高的FR性能。这表明大型测试基准是必要的，并且对于实现实际应用的真实性能评估至关重要。
　　（VII）网络图像分辨率。我们检查了CASIA网络人脸分辨率对监视FR的影响。我们将常见的11296尺寸与QMULSurvFace的平均分辨率2420进行了比较。观察到表11将webface匹配到QMULSurvFace中在大多数情况下，分辨率不会带来性能优势。这是因为网络人脸图像和监控图像的域差异，对监视FR的贡献有限（表7），简单地对齐图像分辨率并不能缓解这个问题。
　　（VIII）网络图片来源。我们通过比较三个数据集来测试网络训练数据集的性能效果基准：CASIA，MSCeleb1M和MegaFace2。我们评估了由优化的CentreFace和SphereFace建议的训练策略。表12表明，在监视FR性能方面网络数据的选择只会导致可忽略的变化。对于训练，CASIA成本效益（更便宜）是另外两个更大的数据集的几十倍，所以我们在主要实验中使用它。此外，训练FR更具挑战性对于模型给定一个巨大的ID类空间，例如MegaFace2。
　　（IX）SurvFace分辨率。我们检查了测试图像分辨率效果。鉴于QMULSurvFace图像的双模态分布，我们划分了所有测试在宽度为20像素的阈值处将人脸分成两组，并评估每组的FR性能。表13表明，虽然人脸尺寸重要，所有测试图像的平均性能很好地总结了每个组的情况。组间的性能差异取决于应用的FR模型和其他成像因素，这表明单独的决议并不能带来一致的性能偏差。
　　（X）域内相似性效应。我们分析了QMULSurvFace中的域内相似性效应，我们测试了是否来自一个来源的人脸图像（域）都很容易与其他域不同。这种共同的领域特征可能会压倒跨领域的面部识别差异越细微。为此，我们检查了域内和域间错误对的相似性统计。具体来说，我们形成了60，000个域内和60，000个域间检索库错误对，并分析了由CentreFace和SphereFace特征，图10表明域内相似性效应并不严重，域间和域内重叠较大。这表明不同的来源QMULSurvFace的域不会隐式强加微不足道的主导域内影响，因此这基准确实提供了具有挑战性的开放集测试。
　　（XI）定性评价。提供一个视觉评估，我们在图11中展示了CentreFace在QMULSurvFace上的人脸识别示例。该模型成功地在top20中找到了真正的匹配三项任务，最后一项失败。监控质量差数据提出了极端的FR挑战。
　　5。1。2人脸验证评估
　　（I）基准QMULSurvFace。我们进行了基准QMULSurvFace上的人脸验证。如表14所示，CentreFace仍然是表现最好的，FaceNet排名第二，击败了SphereFace。这表明面部之间识别和验证差异，所有模型都表现不佳低FAR（例如0。1），表明人脸验证在监控图像中仍然是一个未解决的任务。
　　（II）SurvFace与WebFace。我们使用LFW比较监控和网络图像人脸验证。为此，我们还通过平均准确度（如表2）评估QMULSurvFace，即正确验证对的比例，从表15中可以看出，在QMULSurvFace上的最佳性能是CentreFace的88。00，显着低于最好的LFW结果高99。83。这表明FR在监视图像数据中的挑战更高。
　　（III）SurvFace图像质量。我们评估了监控图像质量对人脸验证的影响，通过对比QMULSurvFace（1090ID）和UCCS。我们同样生成了5，319个阳性和5，319个阴性测试UCCS对（表6）。为了公平比较，我们仅使用了545个ID的7，922个训练图像QMULSurvFace（1090ID）用于模型训练。从表16中可以看出，UCCS上的FR性能是明显高于QMULSurvFace。这与人脸识别测试一致（表9）。
　　（IV）定性评价。为了进行视觉检查，我们在图12中的QMULSurvFace上显示了FAR10的CenterFace的人脸验证示例。
　　5。2监控人脸识别中的超分辨率
　　在对原始低分辨率监视数据进行FR评估之后，我们测试了超分辨率人脸图像。这目的是检查图像超分辨率技术在解决低分辨率监视FR中的问题。在这个测试中，我们只评估了原始的低分辨率QMULSurvFace基准，因为UCCS图像被人为地排除在高分辨率之外（图9）。
　　模型训练和测试。用于增强深度FR具有图像超分辨率能力的模型，我们考虑两种训练策略。
　　（1）独立训练：我们首先在CASIA上预训练FR模型，然后在QMULSurvFace。我们随后独立训练图像超分辨率模型仅使用CASIA数据，因为没有可用的高分辨率QMULSurvFace数据。低分辨率CASIA人脸是通过对高分辨率的下采样产生一起形成超分辨率模型的训练对。在测试中，我们部署了学习到的超分辨率在通过深度特征和欧几里得距离执行FR之前恢复低分辨率QMULSurvFace图像的模型。
　　（2）联合训练：训练超分辨率和FR在混合pipeline中联合模型以改进其兼容性。具体来说，我们将超分辨率和FR模型通过将前者的输出与后者的输入相连，因此允许对两者进行端到端的训练。在实践中，我们首先使用CASIA进行联合学习，然后使用QMULSurvFace对FR进行微调。但联合训练并不总是可行的，因为额外的过大的模型尺寸和模型训练收敛等挑战。在我们的实验中，我们实现了六个混合管道的联合训练在三个超分辨率（SRCNN，FSRCNN，VDSR）和两个FR模型（DeepID2和CentreFace）。在测试时，我们在QMULSurvFace图像上部署了混合管道使用欧几里得距离执行FR。
　　评估设置。对于性能指标，我们将TPIR（Eqn。（6））和FPIR（Eqn。（5））用于面部验证和TAR（Eqn。（3））和FAR（Eqn。（1））用于人脸识别。
　　实施细节。对于超分辨率，我们进行了4倍放大还原。我们将作者发布的代码用于所有超分辨率模型。在模型训练中，我们遵循作者建议的参数设置（如果有），或者在整个实验过程中仔细调整它们。
　　5。2。1人脸识别评估
　　（I）超分辨率的效果。我们测试了效果基于QMULSurvFace的监视FR中图像超分辨率的研究。从表17中，我们有两个观察结果：（1）令人惊讶的是，利用超分辨率算法经常给监视FR带来轻微的负面影响。合理的原因有三个。第一个是超分辨率的MSE损失（Eqn。（17））模型不是感知测量，而是低级别的像素度量。二是训练超分辨率数据是CASIAwebfaces与QMULSurvFace图像的域间隙（图1）。三是人工合成在超分辨率中产生的负面影响（图13）。一个轻微的例外情况（类似于5。1节）是VggFace由于需要更高分辨率的输入，在某种程度上更倾向于超分辨率。此外，VggFace是性能最弱。（2）FR和FR的联合训练超分辨率不一定优于独立训练。这表明它不是微不足道的有效地将FR辨别能力传播到超分辨率的学习中。因此，它如何将超分辨率能力与监控FR相结合值得进一步深入研究。
　　（II）SurvFace与WebFace。我们评估了下采样网络FR的超分辨率与监视FR的比较效果。这减轻了域训练数据和测试数据之间的差距。我们构建了一个低分辨率的网络FR数据集具有与QMULSurvFace（表5）类似的设置，采样MegaFace2。MegaFace2被选中是因为它包含非名人因此确保ID与训练数据CASIA不重叠。我们将选定的MegaFace2图像下采样到平均QMULSurvFace大小为2420（图14），以及使用3，000个识别库ID构建了一个开放集测试设置（51，949张图像）和10，254个检索ID（176，990张图像）（表6）。
　　我们进一步随机抽样了一个ID不相交的训练集包含5，319个ID的81，355张图像。我们创建了一个低分辨率的同类设置MegaFace2针对QMULSurvFace。我们采用了最有效的联合训练策略。表18显示，超分辨率最多为低分辨率FR性能带来了非常小的收益，这表明当代技术是在合成FR判别保真度方面仍远不能令人满意（图15）。相比之下，FR由VDSR辅助形成，特别是在模拟低分辨率的网络面孔比监视更好图像，类似地反映在超分辨率图像中（图1）。这表明由于缺乏高分辨率监控数据，低分辨率监控FR更具挑战性。
　　5。2。2人脸验证评估
　　我们评估了超分辨率在QMULSurvFace上的成对人脸验证效果。我们使用了联合训练的CentreFace模型。表19表明所有方法都略微降低了性能，与上面的人脸识别测试一致（表17）。此外，在严格的误报率下，验证结果在很大程度上不能令人满意，例如远0。1。然而，这对于现实世界的应用来说是非常需要的，因为FAR密切关注系统的可用性。这表明超分辨率对改进监控人脸图像中的人脸验证存在较大的空间。
　　6讨论与结论
　　在这项工作中，我们提出了一个大型监视称为QMULSurvFace的人脸识别基准，包括具有原生低分辨率人脸图像的真实世界监控人脸数据集、广泛的基准实验结果、深入的讨论和分析。与现有的FR挑战相比，模型性能已经饱和，这个挑战表明最先进的算法在处理质量差的监控面部图像方面仍然不能令人满意。在结束语中，我们讨论了一些我们认为有价值的研究方向在未来的研究中进行调查。
　　迁移学习。从基准测试结果（表17），表明知识转移辅助网络人脸数据有利于提升监控FR性能。然而，更多的研究需要实现更有效的转移。鉴于监控和网络面孔之间的域差异，重要的是要考虑域适应。在现有的解决方案中，风格转移是一种直接的方法。这个想法是用目标主风格转换源图像，以便可以利用标记的源数据来训练有监督的FR模型。在解决的同时风格迁移问题本质上是具有挑战性的。
　　分辨率恢复。如前所述，低分辨率的性质阻碍了监视FR的性能。虽然图像超分辨率（SR）是一种自然的解决方案，但我们的评估表明当前的算法并不有效。两个主要原因是：（1）我们无法获得本地高分辨率监控训练SR模型所需的人脸。（2）学习到的SR模型难以迁移由于域差距导致的网络数据。尽管已采用SR技术来改进低分辨率FR，他们依靠有限测试的手工特征表示在小的模拟数据上。目前尚不清楚SR方法对本地监测FR的效果如何。
　　语义属性。人脸属性作为中级表示来提高高分辨率面部图像中的FR。一般来说，检测人脸属性具有挑战性，因为姿势、表情、光照、遮挡和背景的复杂，除了不平衡的类别分布。和这个鉴于质量较差的监控图像，难度更大。由于大型属性数据集的出现，这个方向变得更加合理。我们预计属性将对监视FR技术的发展发挥重要作用。
　　人脸对齐。通过关键点检测进行人脸对齐是FR中不可或缺的预处理。尽管取得巨大的进步，对齐人脸仍然是一项艰巨的任务尤其是在监控图像中的挑战（图16）。与SR和属性检测类似，此任务会发生域转移。因此，一个想法是构建大型监控人脸关键点数据集。整合使用SR进行关键点检测也是一个有趣的话题。
　　上下文约束。鉴于在监视面部数据的观察中不完整和嘈杂，重要的是发现和建模上下文信息作为额外的约束。在社会环境中，群体结构为模型推断提供了有用的信息（社会力量）。
　　开集识别。SurveillanceFR是一个开放集识别问题。实际上，大多数探测者都是非目标人员。这是因此有利于模型学习构建一个目标人群的决策边界。虽然开放集识别技术是独立发展的，但我们预计未来会有更多的联合尝试解决这两个问题。
　　零样本学习。FR关于零样本学习（ZSL）没有可用的测试类训练样本。在文献中，ZSL的重点是跨可见和不可见类的知识转移通过中间表示，例如属性和词向量。全部类被分配了固定的表示。FR不使用此类桥接信息但从训练中学习了对ID敏感的表示类。从这个意义上说，FR更普遍。
　　图像数据可扩展性。与现有网络相比FR基准，QMULSurvFace是规模较小。未来的一项重要工作是扩大这一挑战以获得更有效的模型训练并进一步扩大开集测试。
　　最后的评论。鉴于FR性能在现有的网络网络人脸很大程度上饱，这项工作及时提出更具挑战性的基准QMULSurvFace，以进一步激发创新算法。这一基准为研究不足且至关重要的监视FR问题提出了更多研究要求。