监控人脸识别挑战

　　论文提出了ijb-s监控人脸识别数据集，对人脸识别提出新的挑战，在网络明星识别性能已经饱和的情况下，监控人脸识别还无法实际应用，还有很多坑要填。
　　摘要
　　人脸识别（FR）是计算机视觉中研究最广泛的问题之一。最近，我们见证了 FR 的重大进展，得益于深度学习算法和更大规模数据集的帮助，尤其是那些受限的社交媒体网络图像，例如名人面孔的高分辨率照片由专业摄影记者拍摄，但是，在无约束和低分辨率中更具挑战性的 FR监控图像仍然研究不足。
　　对低分辨率监控有效且稳健人脸图像识别刺激开发创新的 FR 方法，我们引入了一个新的监控人脸识别挑战，即QMUL-SurvFace，这个基准是迄今为止最大的，更重要的是唯一真正的监控 FR 基准，低分辨率的人脸图像不是通过高分辨率的人工下采样来合成的图像，而是来自真实的监控视频。这个基准有 在不合作的监视场景中捕获15,573 个身份的 463,507 个人脸图像，采集自广阔的空间和时间，因此，QMUL-SurvFace提出了真正的性能监控 FR 挑战，具有低分辨率、运动模糊、不受控制的姿势、不同的遮挡、光照差和杂乱无章背景。
　　在 QMUL-SurvFace 挑战中，我们对五个具有代表性的深度学习人脸识别模型（DeepID2、CentreFace、Vg gFace、FaceNet 和 SphereFace）的 FR 性能，我们证明了当前最好的算法还远远不能令人满意地解决监控 FR 问题。特别是，我们展示了现有名人照片拍摄基准（例如 MegaFace）和 QMUL-SurvFace 在 FR 性能方面的惊人差距。例如，CentreFace 模型在 在 QMUL-SurvFace 上的Rank-1中仅 29.9%，而在封闭式测试中 MegaFace 上的表现要高得多，为 65.2%。从侧面看，开放集 FR 更具挑战性，但由于存在公共空间中有大量非目标人群（干扰者）。FR 性能较弱在 QMUL-SurvFace 上表明了这一点，例如表现最佳的 CentreFace在 10% 误报率时成功率为 13.8% （Rank-20）。
　　此外，我们广泛调查了监控固有的具有挑战性的低分辨率问题，通过测试不同图像超分辨率和人脸识别模型在网络和监控数据集上。我们的评价表明当前的超分辨率方法在提高低分辨率 FR 性能方面是有效的，尽管它们已被证明可用于合成高低分辨率网络图像的频率细节。最后，我们讨论了解决监控FR 挑战需要解决的一些开放研究方向和问题。
　　1 简介
　　人脸识别（FR）是计算机视觉中一项成熟的研究问题，目的是通过面部图像识别人类身份（ID）。还有其他基于视觉识别的人体识别的生物识别方法，例如全身人重新识别、虹膜识别、步态识别和指纹识别。其中，FR被认为是一种更方便和非侵入性的方式，从执法和信息安全到商业、娱乐和电子商务的广泛识别应用。因为一个事实，脸型更可靠并且比衣服外观稳定，前提是人脸图像是可见的。
　　自 1970 年代以来的过去几十年FR问题已被广泛研究，并在过去五年内越来越多地部署在社会应用中。仅在 2016 年，就有超过 77,300 份 FR 出版物包括谷歌学术的专利，特别是，过去几年见证了 FR 在高分辨率高质量网络图像上的表现达到了可以说比人类更好的水平，例如99.83% 1:1 人脸LFW 挑战的验证和 1:N 的 99.801%百万级 MegaFace 挑战中的人脸识别。商用FR产品已经越来越成熟，越来越多地出现在我们的日常生活中，例如：网络相册、在线电子支付和智能手机电子银行，这种趋势在更大范围内加速。
　　FR 成功背后的一个驱动力是基于神经网络的协同和快速发展的深度学习技术、大型面部图像基准和强大的计算设备。在双方的共同努力下正在快速推进学术界和工业界。有人可能会争辩：＂最先进的 FR 算法，尤其是在大规模数据深度学习的帮助下，达到足够的成熟度和应用水平，大规模公共基准挑战几乎饱和的性能证明了这一点，所以，FR 问题应被视为＂已解决＂，并且剩下的努力主要在系统工程生产上。＂
　　然而，如本研究所示，当前的 FR 方法无法很好地适应噪声和低分辨率图像（不是通过下采样合成的），这些图像的典型特征是在不受约束的广域中捕获监控视频和图像的面部数据，也许是FR在实践中的最重要应用领域。具体来说，我们证明了典型监视图像中的 FR 远不能令人满意，尤其是在大规模情况下。与识别具有限噪声的高分辨率网络照片图像不同，监控 FR 的问题仍然极具挑战性和开放性。这个令人惊讶，因为监控视频数据以低分辨率图像为特征，噪声很大，受到不良成像条件的影响，会导致姿势、表情、遮挡、照明和背景杂波不受约束（图 1）。
　　网络人脸识别是由于社交媒体和电子商务在智能手机上的普及而流行并具有商业吸引力及各种数码设备，解决监控FR挑战对于公共安全和执法应用至关重要。缺乏适用于监控场景是缺乏大规模真实监控的人脸图像基准，对比丰富高分辨率网络照片 FR 基准的可用性（表 1）。例如，有 4,753,320 个网络人脸来自 MegaFace2 中 672,057 个面部 ID 的面部图像，能够非常容易的收集和标注大规模的网络人脸图像。
　　相反，构建大规模本地监控人脸图像数据作为更广泛研究的基准不太可行，它非常昂贵令人望而却步，由于很大程度上受限的数据访问和非常繁琐的数据标记成本高昂。目前，最大的监视 FR 挑战基准是 (UCCS) 数据集 ，其中包含来自1,732 个人脸 ID，规模明显小于MegaFace 名人照片数据集。但是UCCS 是有限的，并且只是半原生的，因为它是由单个位置的高分辨率相机捕获的，在这项研究中，我们表明：（1）最先进的大规模训练的基于深度学习的 FR 模型高质量的基准数据集，例如 MegaFace不能很好地推广到原生的低质量监控人脸识别任务；(2) 对人工合成的低分辨率图像 FR 性能测试不能真实反映监控 FR 的真正挑战；(3) 图像超分辨率模型训练缺乏高分辨率监控所需的面部图像。
　　在这项研究中，我们提供了一个更现实和更大的规模监控人脸识别挑战，在公共领域可用。通过从不受约束的公共场景中获取的监控面部图像原生低分辨率识别一个人的身份。我们做出以下三个贡献：
　　(I) 我们构建了一个大规模人脸 ID 的数据集用于模型开发和评估的本地监控面部图像数据。具体来说，我们介绍QMUL-SurvFace 挑战，包含 15,573 个 ID 的 463,507 张人脸图像。据我们所知，这是用于监视 FR 挑战的最大数据集，具有捕获的原生低分辨率监控面部图像远距离不受约束的广角相机。这个基准数据集由17个公共领域人员重新识别数据集（表4）使用深度学习人脸检测模型构建 。这个新的监控 FR 基准的独特功能是提供交叉位置（cross camera views）ID 标签注释，可从来源处获得重新识别数据集，这种交叉视图标记信息对于开集 FR 测试很有用。
　　（二）我们对五个有代表性的深度学习进行基准测试FR 模型人脸识别和验证。与通常考虑闭集设置的现有 FR 挑战相比，我们特别评估这些算法以执行更现实的开放集监视 FR 任务，闭集测试假设每个识别ID 在识别库中，因此每个都始终存在真正的匹配ID，而开放式测试没有，尊重现实的大型监视 FR 场景。
　　(III) 我们调查现有 FR 的有效性，原生低分辨率监控图像模型通过同时利用图像超分辨率的数据和 FR 模型。我们研究超分辨率和 FR 模型的不同组合包括独立和联合训练计划。进一步比较 MegaFace 和UCCS 基准可以更好地理解QMUL-SurvFace 的独特特性，就解决监视 FR 挑战的未来研究方向进行广泛讨论。
　　2 相关工作
　　2.1 人脸识别挑战
　　表 1 总结了代表性的 FR 挑战和基准。具体而言，早期挑战集中在图像和 ID 数量有限的小规模受限 FR 场景 ，既不提供足够的外观变化和多样性，以实现稳健模型训练，也没有实际可靠的测试基准，2007 年，开创性的 Labeled Faces in the Wild (LFW)挑战被提出并开始将社区转向不受约束的通过提供网络人脸图像和标准性能评估协议来实现名人面孔，LFW 为激发兴趣和进步做出了重大贡献。通过创建更大的 FR 基准，这种向大型数据集发展的趋势得到了放大，例如 CASIA 、CelebFaces ，VGGFace，MS-Celeb-1M、MegaFace和MegaFace2。到目前为止，似乎网络照片图像的大型训练和测试数据基准的可用性已得到解决，面对如此大的基准挑战，FR 精度在高质量的图像中达到了前所未有的水平，比如在LFW上FR性能已经达到99.83%（人脸验证）MegaFace 上 99.801%（人脸识别）。
　　然而，这并不能扩展到在不受约束的情况下捕获的原生低分辨率监视面部图像数据，这是由于两个原因：(1) LFW 等现有的 FR 挑战具有不同的数据选择偏差的程度（近正面姿势，较少运动模糊，良好的照明）；(2) 深度学习方法通常是特定于领域，另一方面，在网络照片视图和监控视图之间面部图像有很大差异，监视FR研究进展甚微，它正在被大量研究，只有很少的基准可用。主要障碍之一是难以建立大规模监视 FR 挑战，因为收集监视面部图像数据和详尽的面部 ID 的成本高且可行性有限。即使在 FERET 数据集中，也只模拟了在具有精心控制的成像设置的情况下收集监控人脸图像，因此它提供的面部图像质量比来自本地监控视频的那些质量好很多。
　　最近一项值得注意的研究介绍了 UCCS 挑战，目前是公共领域最大的监控 FR 基准。UCCS面部图像是从一个没有主体合作的远程距离（不受约束）采集的，这些图像中的面孔是各种各样的姿势，模糊和遮挡（图9（b））。这个基准代表了一个相对现实的监视 FR与 FERET 相比的情景。然而，UCCS图像是从单个高分辨率捕获的，因此以更少的视角变化提供更多的面部细节。而且，UCCS体积小，特别是在面部方面ID 号 (1,732)，在统计上受限于评估监视 FR 挑战（第 5.1 节）。在这项研究中，我们通过构建更大规模的原生低分辨率监视 FR挑战来解决 UCCS 的局限性，QMUL-SurvFace 基准，它包含463,507 个真实世界的监控人脸图像 15,573 个从不同的公共来源捕获的不同 ID。
　　2.2 人脸识别方法
　　我们简要回顾了现有的大量 FR 算法，包括手工、深度学习和低分辨率方法。低分辨率 FR包括讨论在处理较差的图像质量方面最新技术的方法。我们还讨论图像用于增强图像保真度和提高 FR 性能的超分辨率技术。
　　(I) 手工制作的方法。大多数早期的 FR 方法依赖于手工制作的特征（例如颜色直方图、LBP、SIFT、Gabor）和匹配模型学习算法（例如判别边缘挖掘、子空间学习，基于字典的稀疏编码，贝叶斯模型）。这些方法往往效率低下高维特征表示和复杂图像预处理的大量计算成本。此外，他们还遭受次优识别泛化，特别是在大数据时有显着的面部外观变化。这个是由于弱表示能力（手工制作特征中使用的人类主要知识有限且不完整）以及特征提取和模型之间缺乏端到端的交互学习推理。
　　（二）深度学习方法。在过去的五年里，基于深度学习的 FR 模型，特别是卷积神经网络 (CNN) ，取得了显着的成功（表 2）。这种范式受益于优越网络架构 和优化算法 。Deep FR 方法自然地解决了手工制作的局限性通过联合学习人脸表示和端到端匹配模型，为了获得良好的性能，通常需要使用大量标记的人脸图像，需要训练数百万个深度参数。这通常可以通过使用收集和标记（过滤）来自互联网资源的数百万张网络人脸图像来满足。因此，现代 FR模型通常经过训练、评估和部署网络人脸数据集（表 1 和表 2）。
　　虽然网络 FR 性能达到了前所未有的水平，但目前尚不清楚最先进的方法如何推广到低质量的监控面部数据。直觉上，更多的挑战涉及由于三个原因，监视 FR 场景：（1）监控人脸图像包含的外观要少得多质量较差且分辨率较低的细节（图 1），从而阻碍了FR性能。(2) 深度模型是高度特定于域的，并且可能在跨域部署中产生很大的性能下降。这个尤其是当训练和测试数据量很大，例如 web 和监控人脸。在这种情况下，迁移学习具有挑战性。标记监控的稀缺性可能会进一步增加挑战数据。(3) 代替中考虑的闭集搜索大多数现有方法，监视场景中的 FR 是本质上是开集，其中 ID 不是必然出现在识别库中。这带来了一个额外要求 FR 的重大挑战系统可以准确拒绝非目标人员（即干扰者），同时不会丢失目标 ID，因此，开集FR更具挑战性，因为干扰物可以是任意变化的。
　　（三）低分辨率人脸识别。一个特别的FR 监控中的挑战 FR 是低分辨率，对于分辨率差异较大的图像对上的 FR，分辨率差异问题出现。一般来说，现有的低分辨率FR方法分为两类：（1）图像超分辨率， (2) 分辨率不变学习
　　第一类基于两个学习标准：像素级视觉保真度和面部识别。现有方法通常进行两个训练过程更注重外观增强。最近有尝试将这两个子任务结合起来进行更具判别性的学习。
　　第二类方法旨在提取分辨率不变的特征 ，或学习跨分辨率结构变换。由于深度 FR 模型是数据驱动，要有合适的训练数据可用，此策略就可以进行模型优化。然而，所有现有的方法都有许多局限性：（1）在封闭集设置中考虑小尺度和/或下采样的人工低分辨率人脸图像，因此无法在尺度上反映真正的监视 FR 挑战。（2）依靠手工制作特征和线性/浅层模型结构，因此服从次优泛化。(3) 需要从同一图像中耦合低分辨率和高分辨率图像对域用于模型训练，但在监控场景中不可用。在低分辨率 (LR) 图像人脸识别部署中，存在两种典型的操作设置。一种常见设置是 LR-to-HR（高分辨率），它旨在将 LR 探测图像与 HR 识别库图像（例如护照或其他文件照片）进行匹配，这是执法机构广泛使用的一种方法，用于将潜在候选人与观察名单进行匹配。
　　还有另一个操作设置需要 LR 到 LR 图像人脸匹配，当两者 图像是 LR 面部图像，LR-to-LR 人脸识别发生在较少的时间，也没有预定义的观察名单。在城市环境中，无法保证记录 HR 面部的受控接入点，一个普通人在不受约束的公共场合的图像空间由于常用的宽视场闭路电视监控摄像机和长距离。在大型公共空间视频中监控数据包含非常大量的没有预先注册人脸的 HR 人脸图像。视频取证分析通常需要大量在分布式和自公共干扰时获取当唯一可用的面部图像来，通过对先验未知（未注册）人员的面部识别来分离大空间LR。最近，迅速崛起的智能购物，例如 Amazon Go、阿里巴巴盒马和京东7Fresh超市，也建议任何面向个性化客户的人脸识别技术店内定位（跟踪和标签）
　　图像超分辨率。超分辨率方法由于强大的深度 CNN 模型在回归重建图像和真实图像之间的像素损失方面的能力 。总结五个基准上的六个最先进的深度模型在表 3 中给出。大多数情况下，FR 和超分辨率研究独立推进，两者都假设大量高分辨率训练数据的可用性。在监控中，高分辨率图像通常不可用，这反过来又诉诸现有方法迁移学习。当训练和测试数据分布差异很大时，超分辨率就变成了由于对域的额外需求，极具挑战性适应。
　　作为特定对象的超分辨率，致力于面部外观的保真度恢复。一种常见的方法是从示例高分辨率图像中传输高频细节和结构信息，这通常通过映射低分辨率和高分辨率训练对来实现。现存的，方法需要无噪声的输入图像，同时假设严格的部分检测和密集对应。否则，可能会出现压倒性的伪影。这些假设极大地限制了由于低分辨率监视数据的可用性，存在不受控制的噪声和不存在耦合的高分辨率图像。
　　3 QMUL-SurvFace 识别挑战
　　3.1 原生低分辨率监控人脸数据集
　　据我们所知，公共领域没有大型的本地监控 FR 挑战。针对这个问题的研究，我们构建了一个新的通过在现实世界的监控视频和图像中自动提取出现的不合作公众的面孔来衡量基准（挑战）。我们称这个挑战 QMUL-SurvFace。与大多数现有的 FR 挑战不同，使用高质量网络或在受控条件下捕获的模拟监控图像，无法评估真正的监控FR 性能，我们探索真实世界的原生监控，来自 17 个行人重识别的组合图像数据，来自不同地点的不同监控场景和多个国家（表 4）。
　　数据集统计。QMUL-SurvFace 挑战包含 463,507 张低分辨率人脸图像 15,573具有不受控制的姿势、照明、运动模糊、遮挡和背景杂波（图 3）。其中，有 10,638(68.3%) 每个人都与两个或更多检测到的人脸图像相关联。这是迄今为止最大的本地监视人脸基准（表 1）。
　　人脸图像收集 QMUL-SurvFace代表一个可扩展的测试场景，我们通过部署 TinyFace 自动提取面部图像检测器 重新识别监测数据（图 5）。手动标记面由于大量视频数据，不容易量化。请注意，由于检测不完善、图像质量差和极端的头部姿势，并非源图像中的所有人脸都能被成功检测到。平均行人ID召回率为 77.0%（15,573，20,224 人）和人脸52.6%（881,065 人中有 463,507 人）。
　　表 4 总结了所有人员重新识别数据集的人脸检测统计数据。做作为一个准确的 FR 挑战，我们通过过滤掉错误检测来手动清理 QMUL SurvFace 数据。我们手动丢弃了 CUHK-SYSU 数据集中的所有影视节目（非监控）图像数据这些由两个独立的注释者标记，并且相互交叉检查。对于人脸 ID 注释，我们使用了来源中可用的人员标签，我们假设数据集之间没有 ID 重叠。这是理性的，因为它们是在不同的时间和监视场所独立创建的，也就是说，一个人出现在多重重新识别中数据集非常低。
　　面部特征。与现有的 FR 挑战相比，QMUL-SurvFace 的独特之处在于视频监控中典型的分辨率非常低的人脸（图 6）– 使监视 FR 的具有挑战性。人脸空间分辨率的高度/宽度范围为 6/5 到 124/106 像素，平均值为 24/20。该数据集呈现出频率范围为 1 到 558 （图 7）。此外，QMUL-SurvFace 人物特征差异很大（图 2）。给定低分辨率面部外观，监视 FR 可能对国籍的敏感度不如高分辨率网络FR。
　　3.2 评估协议
　　FR 性能通常使用两个应用程序（验证和识别）和两个协议（封闭集和开放集）进行评估。
　　数据分区。为了对评估协议进行基准测试，我们首先需要拆分 QMUL-SurvFace 数据到训练集和测试集。我们划分 10,638 个 ID每张 ≥ 2 张人脸图像分成两半：一半(5,319) 用于训练，一半 (5,319) 加上剩余的 4,935 个单次 ID（总共 10,254）用于测试（表5）。我们只对一个训练/测试数据拆分进行基准测试，因为数据集在 ID 类和人脸中足够大图像以支持统计上稳定的评估。
　　我们对人脸识别和验证两者应用与上述相同的数据分区。的所有面部图像训练 ID 用于训练 FR 模型。额外的可以使用来自其他来源的图像，但不能是测试 ID 的面部图像。测试数据的使用取决于关于应用程序和协议。接下来，我们介绍QMUL-SurvFace 上的人脸识别和人脸基准测试方法。
　　人脸验证。验证人脸对的比较性能，在 LFW 上评估的大多数 FR 方法都采用该协议。具体来说，将人脸图像呈现给 FR 系统由已注册面孔表示的 ID。如果他们的匹配相似度得分更高，超过阈值 t，则接受，否则拒绝。协议指定匹配和FR 方法应在其中执行的不匹配对评估。对于每个测试 ID，我们生成一个匹配的对，即总共 5,319 对（表 6）。我们生成通过在人脸和非配对人脸之间随机抽样获得相同数量 (5,319) 的不匹配对。对于性能测量，这些对中的每一对都将通过计算匹配相似度得分来评估。
　　在验证过程中，会出现两类错误：(1) 错误接受干扰者; (2) 错误拒绝——系统错误地拒绝感兴趣的 ID。因此，我们定义 False接受率 (FAR) 作为不匹配对的比例，对应的分数 s 高于阈值 t
　　其中 U 表示不匹配对的集合。相比之下，错误拒绝率 (FRR) 代表匹配分数低于 s 的匹配对的分数阈值 t：
　　其中 M 是匹配对的集合。为了理解方便，我们进一步定义真实接受率(TAR)，FRR 的补码，如
　　对于 QMUL-SurvFace 上的人脸验证评估，我们使用成对的 TAR@FAR 度量。我们还利用(ROC) 通过改变阈值进行分析测量t 并生成 TAR-vs-FAR ROC 曲线。整体精度性能可以通过ROC曲线下面积来衡量，简称AUC。验证协议见表 6 上半部分。
　　人脸识别。在取证和监视应用中，人脸识别才是最重要的，并且可以说是一个更复杂和不平凡的问题，因为必须将探测图像与所有识别库ID匹配。文献中大多数现有的 FR 方法都考虑闭集场景，假设每个探测对象都存在于识别库中。我们在 QMUL-SurvFace 上构建了闭集场景的评估设置。对于 5,319 个中的每一个多镜头测试ID，我们将相应的图像随机采样到图库中。图库集表示涉及操作数据库的图像，例如访问控制系统的存储库。检索组代表用于查询人脸识别系统的图像。对于闭集识别中的性能评估，我们选择累积匹配特征测量。返回配对（真正匹配）的搜索比例rank r 或更高，rank-1 率是算法有效性最常见的总结指标。这是基于非阈值等级的度量。正式地，等级 r 被定义为：
　　其中 Nmate(i) 表示检索图像的数量排在第 i 位，总共 N个检索图像。然而，在现实的监控应用中，大多数闭路电视摄像机拍摄的人脸不属于任何识别库，人应该被检测为未知，导致开放集协议。这通常被称为观察名单识别（取证搜索）场景，其中只有感兴趣的人才能进入识别库，通常每个 ID 都有几个不同的图像，例如 FBI最想要的名单，允许开集监视FR 测试，我们构建了一个观察列表识别协议，其中只有感兴趣的人脸 ID 被注册到识别库。具体来说，我们创建以下检索和识别库：（1）在 5,319 个多样本测试 ID 中，我们随机选择 3,000 张并采样半脸图像将每个选定的 ID 放入图库集中。(2) 包括这些单发 ID 图像在内的所有剩余图像都用于形成检索组。像这样，大多数调查人员是未知的（未注册 ID），更准确地反映了开放空间。
　　对于开集FR性能评估，我们必须量化两种错误类型。这第一种是误报——来自未知的人脸图像人关联不正确，包含一个或多个登记者的数据，这个误差是量化的，由误报识别率 (FPIR) 确定：
　　衡量搜索的比例，一名或多名报名候选人达到或超过阈值 t（即误报），第二种错误是未命中——搜索登记的目标人员数据（即配偶搜索）不返回正确的 ID。我们通过以下方式量化未命中错误假阴性识别率 (FNIR)：
　　这是配对搜索的比例 Nm与已注册的配对在前 r 排名或匹配相似度得分之外找到低于阈值 t，在 Nm 匹配搜索中。经过默认情况下，我们设置 r = 20 (即 FNIR(t, 20)) 。在实践中，一个更直观的衡量标准可能是＂命中率＂或真阳性识别率 (TPIR)：
　　这是 FNIR 的补充，提供积极的配对搜索成功频率的声明。在 QMUL-SurvFace 中，我们采用 TPIR@FPIR 度量作为开放集人脸识别性能指标。TPIR-vs-FPIR 可以类似地生成 ROC 曲线，其中AUC代表整体测量（见表 6 的下半部分）。
　　开集和闭集的联系。上述闭集和开集的性能指标FR 不是完全独立的，而是相关的。这CMC(r) (Eqn. (4)) 可以看作是TPIR(t, r) (Eqn. (7)) 忽略相似度得分将阈值要求 t 放宽为：
　　这种度量链接对于提高闭集和开集的比较性能很有用。
　　注意事项。现有的 FR 挑战采用封闭集评估协议，包括 MegaFace ，在能够评估 FR 模型的泛化能力规模搜索，它不能完全确认监视 FR 操作。对于监视 FR，人工操作员通常分配了一个任务目标人员列表他们的面部图像在一个工作系统中注册。这FR 的任务是在公共场所搜索目标。这是一个开集FR问题。因此，我们采用开集识别协议作为 QMUL SurvFace 的主要设置（表 6）。此外，我们仍然考虑使用封闭集 FR 实验与现有的基准来进行同类比较。
　　4 基准评估
　　在本节中，描述了两类技术用于基准评估：深度学习 FR和图像超分辨率方法。
　　4.1 人脸识别模型
　　我们介绍了五个代表的FR 模型（表 2）：DeepID2、Cen treFace、FaceNet、VggFace 和 SphereFace 。所有方法均基于 CNN 架构，每个都有不同的目标损失函数和网络设计。它们是为学习判别式而设计的通过增加 ID 间的变化同时减少 ID 内的变化来面对表示空间。两种变体本质上都是复杂且高度非线性的由于相同 ID 的面孔在不同的条件下可能会出现非常不同的外观，而不同的面孔ID 可能看起来很相似。一旦训练了深度 FR 模型通过标准的 SGD 算法，我们将其部署为特征提取器并以 L2 距离执行 FR。
　　DeepID2 模型 的特点是同时学习人脸识别和验证监督。识别是通过softmax 交叉熵损失将人脸图像分类为一个 ID 类。形式上，我们预测人脸图像的后验概率
　　CentreFace 模型 也采用softmax交叉熵损失函数（Eqn.(10)) 。然而，它以类的方式寻求 ID 内的紧凑性通过提出所有面部图像的表示约束特征尽可能靠近相应的 ID 中心。学习这个类的紧凑性就完成了由定义为的中心损失函数：
　　其中 yi 表示人脸图像 xi 和 cyi 的 ID 类yi类的中心，所有相同 ID 的人脸图像都被限制为分组在一起，以便可以抑制个人内部的变化。最终的损失函数与鉴定监督为：
　　由于特征空间在训练过程中是动态的，所以所有的类中心都在不断更新。CentreFace 模型以 28 层实现ResNet 架构。
　　FaceNet 模型使用了一个三元组损失函数 来学习二元类（正对负对）特征嵌入。三元组损失是为了诱导正负对之间判别性边际，定义为：
　　其中 T 表示基于生成的三元组集ID标签，α是用于分隔的预固定边距正 (xa, xp) 和负 (xa, xn) 训练对。通过这样做，一个训练 ID 的人脸图像是被限制在一个孤立的流形上，其他 ID 有一定的距离，因此具有辨别能力。为了快速收敛，使用违反三元组约束的三元组至关重要（等式（15））。为了以可扩展的方式实现这一目标，我们在小批量中选择硬阳性和阴性。
　　在我们的 FaceNet 实现中，Inception-ResNetCNN 架构被用作对最初采用的 ZF CNN 的更强替代。
　　VggFace 模型认为以顺序方式进行识别和三元组训练方案。具体来说，我们首先训练模型通过 softmax 交叉熵损失（方程式（10））。然后我们通过三元组损失学习特征嵌入（等式（15））只有最后一个全连接层被更新为实施判别投影。第二步应用样本挖掘策略更有效的优化。VggFace 采用VGG16 CNN 层。
　　SphereFace 模型利用新设计的基于角边距的 softmax 损失函数。这种损失不同于基于欧几里得距离通过在超球体流形中执行特征判别学习来实现三元组损失（方程式（15））。动机是，通过识别损失学习的多类特征表现出内在的角分布，角度 softmax 损失表示为
　　其中 θj,i 指定第 j 类的归一化识别权重 Wj (k Wjk = 1) 与训练样本 xi, m (m ≥ 2) 预先设定的角度边距，yi 是 xi 的真实类别，具体来说，这种设计操纵了角度决策边界类之间并强制执行约束 cos(mθyi ) >任意 j ≠ yi 的 cos(θj )，当 m ≥ 2 且 θyi ∈ [0, πm ] 时，这个不等式 cos(θyi ) > cos(mθyi) 成立。所以，cos(mθyi) 表示 cos(θyi） 和更大的 m 导致更宽的角类间边距。与 CentreFace 类似，一个 28 层的 ResNet CNN 在 SphereFace 实现中采用。
　　4.2 图像超分辨率模型
　　我们展示了五种图像超分辨率方法的制定细节（表 3）：SRCNN，FSRCNN , LapSRN ,VDSR 和 DRRN 。与上述 FR 方法类似，这些超分辨率模型利用 CNN 架构。超分辨率模型旨在学习低分辨率和高分辨率图像之间的高度非线性映射。这需要真实的低分辨率和高分辨率训练对。模型训练完成后，我们将其部署以恢复较差的模型执行 FR 之前的分辨率监视面孔。
　　SRCNN 模型 是其中之一第一个在超分辨率取得显著成功的深层方法。设计灵感来自于早期基于稀疏编码的方法。通过端到端的学习利用神经网络的优势，SRCNN 在一个统一的框架中制定了原始分离的组件，以实现更好的映射函数学习。采用平方误差（MSE）作为损失函数：
　　FSRCNN 模型 是 SRCNN 的加速和更准确的变体，通过将原始的低分辨率图像作为输入，设计更深的沙漏来实现的（收缩然后扩展）形状的非线性映射模块，并采用反卷积层来放大输入。MSR 损失函数 (Eqn. (17)) 用于训练。
　　VDSR 模型改进了SRCNN通过提高网络深度从 3 到 20 个卷积层。在大图像区域设计深层次的级联网络（例如 41×41以像素为单位）用于增强高频细节推断。为了有效地训练这个模型，残差学习方案被采纳。也就是说，模型被优化为学习输入和实况高分辨率图像之间的残差图像。VDSR 由MSE 损失（方程（17））监督训练。
　　DRRN 模型构建了一个通过联合利用更深的（52 层）网络残差和递归学习。特别是，除了对于输入和之间的全局残差学习输出为 VDSR，该方法还通过短距离 ID 分支利用局部残差学习来缓解跨所有层的信息丢失，所有模块共享参数和输入，以便可以在一个在不增加模型参数大小的情况下迭代。MSE 损失函数 (Eqn. (17)) 用于监督模型训练。
　　LapSRN 模型 包括多层级联子网络，旨在逐步预测高分辨率重建从粗到细。与VDSR 和 DRRN相同，残差学习方案是与放大映射功能一起利用减轻训练难度，同时享受更多的判别学习。对于训练，它采用 Charbon nier 惩罚函数 ：
　　其中 ε（例如，设置为 10−3) 是一个预先固定的噪声常数。与 MST 相比，这种损失具有更好的抑制训练异常值的潜力。每个级别都同时受到监督，并针对相应的真实高分辨率图像进行单独的损失。这个多重损失结构类似于深度监督模型的好处。
　　讨论。值得指出的是，使用训练超分辨率模型的 MSE 损失有利于峰值单噪比 (PSNR) 速率，常见的监控人脸识别挑战赛性能测量。这适合深度神经网络工作，因为 MSE 是可微分的，但不能保证感知质量。一种现象是 MSE 监督模型的超分辨图像可能过于平滑和模糊。我们将评估超分辨率模型（第 5.2 节）。
　　5 实验结果
　　在本节中，我们将介绍并讨论监测 FR 的实验评估。对不同的 低分辨率监控人脸（第 5.1 节）和超分辨率人脸（第 5.2 节）FR 方法进行了评估。
　　5.1 低分辨率监控人脸识别
　　我们评估了具有模糊观察的原始低分辨率 QMUL-SurvFace 图像的 FR 性能。除了低分辨率问题，还有其他不受控制的协变量和噪声，例如光照变化、表情、遮挡、背景杂波和压缩伪影。所有这些因素导致不同程度的推理不确定性（图 3）。
　　模型训练和测试。为了训练一个 FR 模型，我们采用了以下三种策略：（1）仅使用 QMUL-SurvFace 训练集（来自5,319 个 ID）。(2) 仅使用 CASIA 网络数据 (494,414来自 10,575 个 ID 的图像）。我们将测试使用效果不同的网络源数据集，例如 MegaFace2 和 MS-Celeb-1M。(3) 首先在CASIA上预训练一个FR模型，然后在QMUL-SurvFace上进行微调。默认情况下我们采用这个训练策略。我们使用欧几里得距离进行部署。
　　在训练和测试中，我们通过双三次插值将所有面部图像重新缩放到所需的FR 型号。这样的插值图像仍然是＂低分辨率＂，因为基本分辨率几乎没有变化（图 13）。
　　评估设置。我们考虑人脸验证和识别。默认情况下，我们对人脸识别采用更真实的开集评估，除非另有说明。对于开集测试（第 5.1.1 节），我们使用TPIR (Eqn. (6)) 以不同的 FPIR 速率 (Eqn. (5))。这真正的匹配排在 top-r 中（即等式（7）中的 r = 20）被视为成功。用于人脸验证测试（Sec.5.1.2)，我们使用了 TAR (Eqn. (3)) 和 FAR (Eqn. (1))。
　　实施细节。对于 CentreFace、VggFace和 SphereFace我们使用了原作者模型。对于 FaceNet，我们利用 TensorFlow 重新实现 ，我们重写了DeepID2。在整个实验中，我们采用了建议的参数设置，或者通过网格搜索仔细调整超参数。数据增强应用于 QMUL-SurvFace 训练数据，包括翻转、高斯核模糊、颜色偏移、亮度和对比度调整。我们排除了crop和带来负面影响的旋转变换。
　　5.1.1 人脸识别评估
　　(I) 基准 QMUL-SurvFace。我们进行了基准测试表 7 和图8中 QMUL-SurvFace 上的人脸验证。我们有四个观察结果：(1) 并非所有的 FR 模型（例如 VggFace）在QMUL-SurvFace中都会收敛。虽然 CASIA 的数据大小为更大， QMUL-SurvFace 训练数据足以进行通用深度模型训练。取而代之的是可能更多是由于低分辨率来的极端挑战，特别是当模型需要高比例时像 VggFace 的 224×224 这样的输入。这表明本地监视 FR 和网络FR的差异。(2) 最差的 FR 结果是由仅使用 CASIA 人脸训练的模型。这是预期的，因为 CASIA 和QMUL-SurvFace（图 9）。(3) 大部分模型使用 CASIA 人脸进行预训练后得到显着改进。这表明网络数据通过提炼模型初始化产生了积极的影响。(4) CentreFace 是五个模型中表现最好的。这表明在监视 FR 训练中限制类内变化的有效性，与 web FR 一致 。
　　(II) 开放集与封闭集。我们比较了开集FR 与 QMUL SurvFace 上的传统闭集设置。在封闭集测试中，我们移除了测试库中的所有干扰因素。我们评估了前 2 个 FR模型，CentreFace 和 SphereFace。表 8 显示闭集 FR 显然比开集更容易。例如，CentreFace 达到 27.3%TPIR20@FPIR30% 在开放集 vs 61.1% Rank-20 in闭集。在较低的误报情况下差距更大。这意味着当考虑到干扰的攻击，FR 更难。
　　(III) SurvFace 与 WebFace。我们在闭集测试中比较了 surveillance FR 和 web FR。我们以CentreFace为例。该模型QMUL-SurvFace 上为 29.9%（表 8），远低于MegaFace 上 65.2% 的比率，即 54% (1-29.9/65.2)性能下降。这表明监视 FR更具挑战性，尤其是考虑到使用一百万个干扰物使 MegaFace 测试更加复杂时。
　　(IV) SurvFace 图像质量。我们评估了开放集FR中监视图像质量的影响，为此，我们将 QMUL-SurvFace 与 UCCS 进行了对比， 提供监控人脸质量明显更好的图像（图 9）。对于 UCCS，我们使用了发布的人脸图像来自 1,732 个 ID 中的 1,090 个。我们随机制作了一个 545/545 训练/测试 ID分割， 6,948/7,068 图像分割。启用进行同类比较，我们通过随机选择 545/545 构建了一个 QMUL SurvFace(1090ID) 数据集QMUL-SurvFace 训练/测试 ID。为了评估，我们使用 100 个随机 ID 设计了一个开放集测试设置识别库和所有 545 个 ID 用于检索。
　　结果。表 9 显示 QMUL-SurvFace比 UCCS 更具挑战，不同 FR 模型经历了不同程度的性能下降。这个表明图像质量是一个重要因素，并且UCCS 在反映监测 FR 方面不太准确，由于人为的高图像质量带来的挑战。
　　(V) LR 到 LR 与 LR 到 HR。我们比较了两者常见的低分辨率 FR 部署设置UCCS 基准数据集。见表 10大多数性能具有可比性，这表明LR-to-LR 和 LR-to-HR 表现出相似的低分辨率识别挑战。有趣的是，LR-to-LR 结果相对更好。这是由于分辨率较低比 LR 到 HR 会有更小的gap。
　　(VI) 测试可扩展性。我们通过比较 QMUL-SurvFace(1090ID) 和 QMUL SurvFace 来检查测试的可扩展性。表 7 和表 9 之间的比较表明，在 1090 ID 的较小测试中产生了显着更高的 FR 性能。这表明大型测试基准是必要的，并且对于实现实际应用的真实性能评估至关重要。
　　（VII）网络图像分辨率。我们检查了 CASIA 网络人脸分辨率对监视 FR 的影响。我们将常见的 112×96 尺寸与 QMUL SurvFace 的平均分辨率 24×20 进行了比较。观察到表 11 将 web face 匹配到 QMUL-SurvFace 中在大多数情况下，分辨率不会带来性能优势。这是因为网络人脸图像和监控图像的域差异，对监视 FR 的贡献有限（表 7），简单地对齐图像分辨率并不能缓解这个问题。
　　（VIII）网络图片来源。我们通过比较三个数据集来测试网络训练数据集的性能效果基准：CASIA, MS-Celeb-1M 和 MegaFace2。我们评估了由优化的 CentreFace 和 SphereFace建议的训练策略。表 12 表明，在监视 FR 性能方面网络数据的选择只会导致可忽略的变化。对于训练，CASIA成本效益（更便宜）是另外两个更大的数据集的几十倍，所以我们在主要实验中使用它。此外，训练 FR 更具挑战性对于模型给定一个巨大的 ID 类空间，例如 MegaFace2。
　　(IX) SurvFace 分辨率。我们检查了测试图像分辨率效果。鉴于 QMUL-SurvFace 图像的双模态分布，我们划分了所有测试在宽度为 20 像素的阈值处将人脸分成两组，并评估每组的 FR 性能。表 13 表明，虽然人脸尺寸重要，所有测试图像的平均性能很好地总结了每个组的情况。组间的性能差异取决于应用的 FR 模型和其他成像因素，这表明单独的决议并不能带来一致的性能偏差。
　　(X) 域内相似性效应。我们分析了QMUL-SurvFace 中的域内相似性效应 ，我们测试了是否来自一个来源的人脸图像（域）都很容易与其他域不同。这种共同的领域特征可能会压倒跨领域的面部识别差异越细微。为此，我们检查了域内和域间错误对的相似性统计。具体来说，我们形成了 60,000 个域内和 60,000 个域间检索库错误对，并分析了由 CentreFace 和SphereFace 特征， 图 10 表明域内相似性效应并不严重，域间和域内重叠较大。这表明不同的来源QMUL-SurvFace 的域不会隐式强加微不足道的主导域内影响，因此这基准确实提供了具有挑战性的开放集测试。
　　（XI）定性评价。 提供一个视觉评估，我们在图 11 中展示了 Cen treFace 在 QMUL-SurvFace 上的人脸识别示例。该模型成功地在 top-20 中找到了真正的匹配三项任务，最后一项失败。 监控质量差数据提出了极端的FR挑战。
　　5.1.2 人脸验证评估
　　(I) 基准 QMUL-SurvFace。我们进行了基准QMUL-SurvFace 上的人脸验证。如表 14 所示，CentreFace 仍然是表现最好的，FaceNet 排名第二，击败了 SphereFace。这表明面部之间识别和验证差异，所有模型都表现不佳低 FAR（例如 0.1%），表明人脸验证在监控图像中仍然是一个未解决的任务。
　　(II) SurvFace 与 WebFace。我们使用LFW比较监控和网络图像人脸验证。为此，我们还通过平均准确度（如表 2）评估 QMUL-SurvFace，即正确验证对的比例，从表 15 中可以看出，在 QMUL SurvFace 上的最佳性能是 CentreFace 的 88.00%，显着低于最好的 LFW 结果高 99.83%。这表明FR 在监视图像数据中的挑战更高。
　　(III) SurvFace 图像质量。我们评估了监控图像质量对人脸验证的影响，通过对比 QMUL-SurvFace(1090ID) 和 UCCS。我们同样生成了 5,319 个阳性和 5,319 个阴性测试 UCCS 对（表 6）。为了公平比较，我们仅使用了 545 个 ID 的 7,922 个训练图像QMUL-SurvFace(1090ID) 用于模型训练。从表 16 中可以看出，UCCS 上的 FR 性能是明显高于 QMUL-SurvFace。这与人脸识别测试一致（表 9）。
　　（IV）定性评价。为了进行视觉检查，我们在图 12 中的 QMUL-SurvFace 上显示了 FAR=10% 的 Center Face 的人脸验证示例。
　　5.2 监控人脸识别中的超分辨率
　　在对原始低分辨率监视数据进行 FR 评估之后，我们测试了超分辨率人脸图像。这目的是检查图像超分辨率技术在解决低分辨率监视 FR 中的问题。在这个测试中，我们只评估了原始的低分辨率 QMUL-SurvFace 基准，因为 UCCS 图像被人为地排除在高分辨率之外（图 9）。
　　模型训练和测试。用于增强深度 FR具有图像超分辨率能力的模型，我们考虑两种训练策略。
　　(1) 独立训练：我们首先在 CASIA 上预训练 FR 模型，然后在QMUL-SurvFace。我们随后独立训练图像超分辨率模型仅使用CASIA 数据，因为没有可用的高分辨率 QMULSurvFace 数据。低分辨率 CASIA 人脸是通过对高分辨率的下采样产生一起形成超分辨率模型的训练对。在测试中，我们部署了学习到的超分辨率在通过深度特征和欧几里得距离执行 FR 之前恢复低分辨率 QMUL-SurvFace 图像的模型。
　　（2）联合训练：训练超分辨率和FR在混合pipeline中联合模型以改进其兼容性。具体来说，我们将超分辨率和FR 模型通过将前者的输出与后者的输入相连，因此允许对两者进行端到端的训练。在实践中，我们首先使用 CA SIA 进行联合学习，然后使用 QMUL-SurvFace 对 FR 进行微调。但联合训练并不总是可行的，因为额外的过大的模型尺寸和模型训练收敛等挑战。在我们的实验中，我们实现了六个混合管道的联合训练在三个超分辨率（SRCNN， FSRCNN, VDSR)和两个 FR 模型 (DeepID2 和CentreFace）。在测试时，我们在 QMUL-SurvFace 图像上部署了混合管道使用欧几里得距离执行 FR。
　　评估设置。对于性能指标，我们将 TPIR (Eqn. (6)) 和 FPIR (Eqn. (5)) 用于面部验证和 TAR (Eqn. (3)) 和 FAR (Eqn. (1))用于人脸识别。
　　实施细节。对于超分辨率，我们进行了 4 倍放大还原。我们将作者发布的代码用于所有超分辨率模型。在模型训练中，我们遵循作者建议的参数设置（如果有），或者在整个实验过程中仔细调整它们。
　　5.2.1 人脸识别评估
　　(I)超分辨率的效果。我们测试了效果基于 QMUL SurvFace 的监视 FR 中图像超分辨率的研究。从表 17 中，我们有两个观察结果：(1) 令人惊讶的是，利用超分辨率算法经常给监视FR带来轻微的负面影响。合理的原因有三个。第一个是超分辨率的 MSE 损失 (Eqn. (17))模型不是感知测量，而是低级别的像素度量。二是训练超分辨率数据是 CASIA web faces与 QMUL-SurvFace 图像的域间隙（图 1）。三是人工合成在超分辨率中产生的负面影响（图 13）。一个轻微的例外情况（类似于 5.1 节）是 VggFace 由于需要更高分辨率的输入，在某种程度上更倾向于超分辨率。此外，VggFace 是性能最弱。(2) FR和FR的联合训练超分辨率不一定优于独立训练。这表明它不是微不足道的有效地将FR辨别能力传播到超分辨率的学习中。因此，它如何将超分辨率能力与监控FR相结合值得进一步深入研究。
　　(II) SurvFace 与 WebFace。我们评估了下采样网络 FR 的超分辨率与监视 FR 的比较效果。这减轻了域训练数据和测试数据之间的差距。我们构建了一个低分辨率的网络 FR 数据集具有与 QMUL-SurvFace（表 5）类似的设置，采样 MegaFace2。MegaFace2被选中是因为它包含非名人因此确保 ID 与训练数据 CA SIA 不重叠。我们将选定的 MegaFace2 图像下采样到平均 QMUL-SurvFace 大小为 24×20（图 14），以及使用 3,000 个识别库 ID 构建了一个开放集测试设置（51,949 张图像）和 10,254 个检索 ID（176,990 张图像）（表 6）。
　　我们进一步随机抽样了一个 ID 不相交的训练集包含 5,319 个 ID 的 81,355 张图像。 我们创建了一个低分辨率的同类设置MegaFace2 针对 QMUL-SurvFace。我们采用了最有效的联合训练策略。表 18 显示，超分辨率最多为低分辨率 FR 性能带来了非常小的收益，这表明当代技术是在合成 FR 判别保真度方面仍远不能令人满意（图 15）。相比之下，FR 由 VDSR 辅助形成，特别是在模拟低分辨率的网络面孔比监视更好图像，类似地反映在超分辨率图像中（图 1）。这表明由于缺乏高分辨率监控数据，低分辨率监控 FR 更具挑战性。
　　5.2.2 人脸验证评估
　　我们评估了超分辨率在 QMUL-SurvFace 上的成对人脸验证效果。我们使用了联合训练的 CentreFace 模型。表 19 表明所有方法都略微降低了性能，与上面的人脸识别测试一致（表 17）。此外，在严格的误报率下，验证结果在很大程度上不能令人满意，例如远=0.1%。然而，这对于现实世界的应用来说是非常需要的，因为FAR 密切关注系统的可用性。这表明超分辨率对改进监控人脸图像中的人脸验证存在较大的空间。
　　6 讨论与结论
　　在这项工作中，我们提出了一个大型监视称为 QMUL-SurvFace 的人脸识别基准，包括具有原生低分辨率人脸图像的真实世界监控人脸数据集、广泛的基准实验结果、深入的讨论和分析。与现有的 FR 挑战相比，模型性能已经饱和，这个挑战表明最先进的算法在处理质量差的监控面部图像方面仍然不能令人满意。在结束语中，我们讨论了一些我们认为有价值的研究方向在未来的研究中进行调查。
　　迁移学习。从基准测试结果（表 17），表明知识转移辅助网络人脸数据有利于提升监控FR性能。然而，更多的研究需要实现更有效的转移。鉴于监控和网络面孔之间的域差异，重要的是要考虑域适应。在现有的解决方案中，风格转移是一种直接的方法。这个想法是用目标主风格转换源图像，以便可以利用标记的源数据来训练有监督的 FR 模型。在解决的同时风格迁移问题本质上是具有挑战性的。
　　分辨率恢复。如前所述，低分辨率的性质阻碍了监视 FR 的性能。虽然图像超分辨率 (SR) 是一种自然的解决方案，但我们的评估表明当前的算法并不有效。两个主要原因是：（1）我们无法获得本地高分辨率监控训练 SR 模型所需的人脸 。(2) 学习到的 SR 模型难以迁移由于域差距导致的网络数据。尽管已采用 SR 技术来改进低分辨率 FR ，他们依靠有限测试的手工特征表示在小的模拟数据上。目前尚不清楚 SR 方法对本地监测 FR 的效果如何。
　　语义属性。人脸属性作为中级表示来提高高分辨率面部图像中的 FR。一般来说，检测人脸属性具有挑战性，因为姿势、表情、光照、遮挡和背景的复杂，除了不平衡的类别分布。和这个鉴于质量较差的监控图像，难度更大。由于大型属性数据集的出现，这个方向变得更加合理。我们预计属性将对监视FR技术的发展发挥重要作用。
　　人脸对齐。通过关键点检测进行人脸对齐是 FR 中不可或缺的预处理。尽管取得巨大的进步，对齐人脸仍然是一项艰巨的任务尤其是在监控图像中的挑战（图 16）。与 SR 和属性检测类似，此任务会发生域转移。因此，一个想法是构建大型监控人脸关键点数据集。整合使用 SR 进行关键点检测也是一个有趣的话题。
　　上下文约束。鉴于在监视面部数据的观察中不完整和嘈杂，重要的是发现和建模上下文信息作为额外的约束。在社会环境中，群体结构为模型推断提供了有用的信息（社会力量）。
　　开集识别。Surveillance FR 是一个开放集识别问题 。实际上，大多数探测者都是非目标人员。这是因此有利于模型学习构建一个目标人群的决策边界。虽然开放集识别技术是独立发展的，但我们预计未来会有更多的联合尝试解决这两个问题。
　　零样本学习。FR关于零样本学习(ZSL) 没有可用的测试类训练样本。在文献中，ZSL的重点是跨可见和不可见类的知识转移通过中间表示，例如属性和词向量。全部类被分配了固定的表示。FR 不使用此类桥接信息但从训练中学习了对 ID 敏感的表示类。从这个意义上说，FR 更普遍。
　　图像数据可扩展性。与现有网络相比FR 基准，QMUL-SurvFace 是规模较小。未来的一项重要工作是扩大这一挑战以获得更有效的模型训练并进一步扩大开集测试。
　　最后的评论。鉴于 FR 性能在现有的网络网络人脸很大程度上饱，这项工作及时提出更具挑战性的基准 QMUL SurvFace，以进一步激发创新算法。这一基准为研究不足且至关重要的监视 FR 问题提出了更多研究要求。