JavaCV人脸识别三部曲之三识别和预览

　　欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创（含配套源码）：https：github。comzq2599blogdemos《JavaCV人脸识别三部曲》前文链接《视频中的人脸保存为图片》
　　《训练》
　　本篇概览作为《JavaCV人脸识别三部曲》的终篇，今天咱们要开发一个实用的功能：有人出现在摄像头中时，应用程序在预览窗口标注出此人的身份，效果如下图所示：
　　简单来说，本篇要做的事情如下：理解重点概念：confidence理解重点概念：threshold编码验证今天编写的代码，主要功能如下图所示：
　　理解重点概念：confidenceconfidence和threshold是OpenCV的人脸识别中非常重要的两个概念，咱们先把这两个概念搞清楚，再去编码就非常容易了假设，咱们用下面六张照片训练出包含两个类别的模型：
　　用一张新的照片去训练好的模型中做识别，如下图，识别结果有两部分内容：label和confidence
　　先说lable，这个好理解，与训练时的lable一致（回顾上一篇的代码，lable如下图红框所示），前面图中lable等于2，表示被判定为郭富城：
　　按照上面的说法，lable等于2就能确定照片中的人像是郭富城吗？当然不能！！！此时confidence字段就非常重要了，先看JavaCV源码中对confidence的解释，如下图红框所示，我的理解是：与lable值相关联的置信度，或者说这张脸是郭富城的可能性：
　　如果理解为可能性，那么问题来了，这是个double型的值，这个值越大，表示可能性越大还是越小？上图并没有明说，但是那一句e。g。distance，让我想起了机器学习中的Kmeans，此时我脑海中的画面如下：
　　若真如上图所示，那么显然confidence越小，是郭富城的可能性就越大了，接下来再去找一些权威的说法：OpenCV的官方论坛有个帖子的说法如下图：代码中的confidence变量属于命名不当，其含义不是可信度，而是与模型中的类别的距离：（地址：https：answers。opencv。orgquestion226714confidencevalueinlbph）
　　再看第二个解释，如下图红框，说得很清楚了，值越小，与模型中类别的相似度越高，0表示完全匹配：
　　再看一个StackOverflow的解释：（https：stackoverflow。comquestions39010477confidenceinopencvfacerecognizerpredictmethodoutput）
　　至此，相信您对confidence已经足够理解了，lable等于2，confidence30。01，意思是：被识别照片与郭富城最相似，距离为30。01，距离越小，是郭富城的可能性越大理解重点概念：threshold在聊threshold之前，咱们先看一个场景，还是刘德华郭富城的模型，这次咱们拿喜洋洋的照片给模型识别，识别结果如下：
　　显然，模型不会告诉你照片里是谁，只会告诉你：和郭富城的距离是3000。01看到这里，聪明的您可能会这么想：那我就写一段代码吧，识别结果的confidence如果太大（例如超过100），就判定用于识别的人不属于训练模型的任何一个类别上述功能，OpenCV已经帮咱们想到了，那就是：threshold，翻译过来即门限，如果咱们设置了threshold等于100，那么，一旦距离超过100，OpenCV的lable返回值就是1理解了confidence和threshold，接下来可以写人脸识别的代码了，感谢咱们的充分准备，接下来是丝般顺滑的编码过程源码下载《JavaCV人脸识别三部曲》的完整源码可在GitHub下载到，地址和链接信息如下表所示（https：github。comzq2599blogdemos）：
　　这个git项目中有多个文件夹，本篇的源码在javacvtutorials文件夹下，如下图红框所示：
　　javacvtutorials里面有多个子工程，《JavaCV人脸识别三部曲》系列的代码在simplegrabpush工程下：
　　编码：人脸识别服务开始正式编码，今天咱们不会新建工程，而是继续使用《JavaCV的摄像头实战之一：基础》中创建的simplegrabpush工程先定义一个Bean类PredictRlt。java，用来保存识别结果（lable和confidence字段）：packagecom。bolingcavalry。grabpush。extend；importlombok。Data；DatapublicclassPredictRlt｛privateintlable；privatedoubleconfidence；｝然后把人脸识别有关的服务集中在RecognizeService。java中，方便主程序使用，代码如下，有几处要注意的地方稍后提到：packagecom。bolingcavalry。grabpush。extend；importcom。bolingcavalry。grabpush。Constants；importorg。bytedeco。opencv。global。opencvimgcodecs；importorg。bytedeco。opencv。opencvcore。Mat；importorg。bytedeco。opencv。opencvcore。Size；importorg。bytedeco。opencv。opencvface。FaceRecognizer；importorg。bytedeco。opencv。opencvface。FisherFaceRecognizer；importstaticorg。bytedeco。opencv。global。opencvimgcodecs。IMREADGRAYSCALE；importstaticorg。bytedeco。opencv。global。opencvimgproc。resize；authorwillzhaoversion1。0description把人脸识别的服务集中在这里date2021121221：32publicclassRecognizeService｛privateFaceRecognizerfaceRecognizer；推理结果的标签privateint〔〕plabel；推理结果的置信度privatedouble〔〕pconfidence；推理结果privatePredictRltpredictRlt；用于推理的图片尺寸，要和训练时的尺寸保持一致privateSizesizenewSize（Constants。RESIZEWIDTH，Constants。RESIZEHEIGHT）；publicRecognizeService（StringmodelPath）｛plabelnewint〔1〕；pconfidencenewdouble〔1〕；predictRltnewPredictRlt（）；识别类的实例化，与训练时相同faceRecognizerFisherFaceRecognizer。create（）；加载的是训练时生成的模型faceRecognizer。read（modelPath）；设置门限，这个可以根据您自身的情况不断调整faceRecognizer。setThreshold（Constants。MAXCONFIDENCE）；｝将Mat实例给模型去推理parammatreturnpublicPredictRltpredict（Matmat）｛调整到和训练一致的尺寸resize（mat，mat，size）；booleanisFinishfalse；try｛推理（这一行可能抛出RuntimeException异常，因此要补货，否则会导致程序退出）faceRecognizer。predict（mat，plabel，pconfidence）；isFinishtrue；｝catch（RuntimeExceptionruntimeException）｛runtimeException。printStackTrace（）；｝如果发生过异常，就提前返回if（！isFinish）｛returnnull；｝将推理结果写入返回对象中predictRlt。setLable（plabel〔0〕）；predictRlt。setConfidence（pconfidence〔0〕）；returnpredictRlt；｝｝上述代码有以下几处需要注意：构造方法中，通过faceRecognizer。setThreshold设置门限，我在实际使用中发现50比较合适，您可以根据自己的情况不断调整predict方法中，用于识别的图片要用resize方法调整大小，尺寸要和训练时的尺寸一致实测发现，在一张照片中出现多个人脸时，faceRecognizer。predict可能抛出RuntimeException异常，因此这里要捕获异常，避免程序崩溃退出编码：检测和识别检测有关的接口DetectService。java，如下，和《JavaCV人脸识别三部曲之一：视频中的人脸保存为图片》中的完全一致：packagecom。bolingcavalry。grabpush。extend；importcom。bolingcavalry。grabpush。Constants；importorg。bytedeco。javacv。Frame；importorg。bytedeco。javacv。OpenCVFrameConverter；importorg。bytedeco。opencv。opencvcore。；importorg。bytedeco。opencv。opencvobjdetect。CascadeClassifier；importstaticorg。bytedeco。opencv。global。opencvcore。CV8UC1；importstaticorg。bytedeco。opencv。global。opencvimgcodecs。imwrite；importstaticorg。bytedeco。opencv。global。opencvimgproc。；authorwillzhaoversion1。0description检测工具的通用接口date202112510：57publicinterfaceDetectService｛根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测paramsrc原始图片的MAT对象return相同尺寸的灰度图片的MAT对象staticMatbuildGrayImage（Matsrc）｛returnnewMat（src。rows（），src。cols（），CV8UC1）；｝初始化操作，例如模型下载throwsExceptionvoidinit（）throwsException；得到原始帧，做识别，添加框选paramframereturnFrameconvert（Frameframe）；释放资源voidreleaseOutputResource（）；｝然后就是DetectService的实现类DetectAndRecognizeService。java，功能是用摄像头的一帧图片检测人脸，再拿检测到的人脸给RecognizeService做识别，完整代码如下，有几处要注意的地方稍后提到：packagecom。bolingcavalry。grabpush。extend；importlombok。extern。slf4j。Slf4j；importorg。bytedeco。javacpp。Loader；importorg。bytedeco。javacv。Frame；importorg。bytedeco。javacv。OpenCVFrameConverter；importorg。bytedeco。opencv。opencvcore。；importorg。bytedeco。opencv。opencvobjdetect。CascadeClassifier；importjava。io。File；importjava。net。URL；importjava。util。Map；importstaticorg。bytedeco。opencv。global。opencvimgproc。；authorwillzhaoversion1。0description音频相关的服务date20211238：09Slf4jpublicclassDetectAndRecognizeServiceimplementsDetectService｛每一帧原始图片的对象privateMatgrabbedImagenull；原始图片对应的灰度图片对象privateMatgrayImagenull；分类器privateCascadeClassifierclassifier；转换器privateOpenCVFrameConverter。ToMatconverternewOpenCVFrameConverter。ToMat（）；检测模型文件的下载地址privateStringdetectModelFileUrl；处理每一帧的服务privateRecognizeServicerecognizeService；为了显示的时候更加友好，给每个分类对应一个名称privateMapInteger，StringkindNameMap；构造方法paramdetectModelFileUrlparamrecognizeModelFilePathparamkindNameMappublicDetectAndRecognizeService（StringdetectModelFileUrl，StringrecognizeModelFilePath，MapInteger，StringkindNameMap）｛this。detectModelFileUrldetectModelFileUrl；this。recognizeServicenewRecognizeService（recognizeModelFilePath）；this。kindNameMapkindNameMap；｝音频采样对象的初始化throwsExceptionOverridepublicvoidinit（）throwsException｛下载模型文件URLurlnewURL（detectModelFileUrl）；FilefileLoader。cacheResource（url）；模型文件下载后的完整地址StringclassifierNamefile。getAbsolutePath（）；根据模型文件实例化分类器classifiernewCascadeClassifier（classifierName）；if（classifiernull）｛log。error（Errorloadingclassifierfile〔｛｝〕，classifierName）；System。exit（1）；｝｝OverridepublicFrameconvert（Frameframe）｛由帧转为MatgrabbedImageconverter。convert（frame）；灰度Mat，用于检测if（nullgrayImage）｛grayImageDetectService。buildGrayImage（grabbedImage）；｝进行人脸识别，根据结果做处理得到预览窗口显示的帧returndetectAndRecoginze（classifier，converter，frame，grabbedImage，grayImage，recognizeService，kindNameMap）；｝程序结束前，释放人脸识别的资源OverridepublicvoidreleaseOutputResource（）｛if（null！grabbedImage）｛grabbedImage。release（）；｝if（null！grayImage）｛grayImage。release（）；｝if（nullclassifier）｛classifier。close（）；｝｝检测图片，将检测结果用矩形标注在原始图片上paramclassifier分类器paramconverterFrame和mat的转换器paramrawFrame原始视频帧paramgrabbedImage原始视频帧对应的matparamgrayImage存放灰度图片的matparamkindNameMap每个分类编号对应的名称return标注了识别结果的视频帧staticFramedetectAndRecoginze（CascadeClassifierclassifier，OpenCVFrameConverter。ToMatconverter，FramerawFrame，MatgrabbedImage，MatgrayImage，RecognizeServicerecognizeService，MapInteger，StringkindNameMap）｛当前图片转为灰度图片cvtColor（grabbedImage，grayImage，CVBGR2GRAY）；存放检测结果的容器RectVectorobjectsnewRectVector（）；开始检测classifier。detectMultiScale（grayImage，objects）；检测结果总数longtotalobjects。size（）；如果没有检测到结果，就用原始帧返回if（total1）｛returnrawFrame；｝PredictRltpredictRlt；intposx；intposy；intlable；doubleconfidence；Stringcontent；如果有检测结果，就根据结果的数据构造矩形框，画在原图上for（longi0；itotal；i）｛Rectrobjects。get（i）；核心代码，把检测到的人脸拿去识别predictRltrecognizeService。predict（newMat（grayImage，r））；如果返回为空，表示出现过异常，就执行下一个if（nullpredictRlt）｛System。out。println（returnnull）；continue；｝分类的编号（训练时只有1和2，这里只有有三个值，1和2与训练的分类一致，还有个1表示没有匹配上）lablepredictRlt。getLable（）；与模型中的分类的距离，值越小表示相似度越高confidencepredictRlt。getConfidence（）；得到分类编号后，从map中取得名字，用来显示if（kindNameMap。containsKey（predictRlt。getLable（）））｛contentString。format（s，confidence：。4f，kindNameMap。get（lable），confidence）；｝else｛取不到名字的时候，就显示unknowncontentunknown（predictRlt。getLable（））；System。out。println（content）；｝intxr。x（），yr。y（），wr。width（），hr。height（）；rectangle（grabbedImage，newPoint（x，y），newPoint（xw，yh），Scalar。RED，1，CVAA，0）；posxMath。max（r。tl（）。x（）10，0）；posyMath。max（r。tl（）。y（）10，0）；putText（grabbedImage，content，newPoint（posx，posy），FONTHERSHEYPLAIN，1。5，newScalar（0，255，0，2。0））；｝释放检测结果资源objects。close（）；将标注过的图片转为帧，返回returnconverter。convert（grabbedImage）；｝｝上述代码有几处要注意：重点关注detectAndRecoginze方法，这里面先调用classifier。detectMultiScale检测出当前照片所有的人脸，然后把每一张人脸交个recognizeService进行识别识别结果的lable是个int型的，看起来不够友好，因此从kindNameMap中根据lable找出对应的名称来最终给每个头像添加矩形框，还在左上角添加识别结果，以及confidence的值处理完毕后转为Frame对象返回，这样的帧显示在预览页面，效果就是视频中每个人被框选出来，并带有身份现在核心代码已经写完，需要再写一些代码来使用DetectAndRecognizeService编码：运行框架《JavaCV的摄像头实战之一：基础》创建的simplegrabpush工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：
　　新建文件PreviewCameraWithIdentify。java，这是AbstractCameraApplication的子类，其代码很简单，接下来按上图顺序依次说明先定义CanvasFrame类型的成员变量previewCanvas，这是展示视频帧的本地窗口：protectedCanvasFramepreviewCanvas把前面创建的DetectService作为成员变量，后面检测的时候会用到：检测工具接口privateDetectServicedetectService；PreviewCameraWithIdentify的构造方法，接受DetectService的实例：不同的检测工具，可以通过构造方法传入paramdetectServicepublicPreviewCameraWithIdentify（DetectServicedetectService）｛this。detectServicedetectService；｝然后是初始化操作，可见是previewCanvas的实例化和参数设置，还有检测、识别的初始化操作：OverrideprotectedvoidinitOutput（）throwsException｛previewCanvasnewCanvasFrame（摄像头预览和身份识别，CanvasFrame。getDefaultGamma（）grabber。getGamma（））；previewCanvas。setDefaultCloseOperation（JFrame。EXITONCLOSE）；previewCanvas。setAlwaysOnTop（true）；检测服务的初始化操作detectService。init（）；｝接下来是output方法，定义了拿到每一帧视频数据后做什么事情，这里调用了detectService。convert检测人脸并保存图片，然后在本地窗口显示：Overrideprotectedvoidoutput（Frameframe）｛原始帧先交给检测服务处理，这个处理包括物体检测，再将检测结果标注在原始图片上，然后转换为帧返回FramedetectedFramedetectService。convert（frame）；预览窗口上显示的帧是标注了检测结果的帧previewCanvas。showImage（detectedFrame）；｝最后是处理视频的循环结束后，程序退出前要做的事情，先关闭本地窗口，再释放检测服务的资源：OverrideprotectedvoidreleaseOutputResource（）｛if（null！previewCanvas）｛previewCanvas。dispose（）；｝检测工具也要释放资源detectService。releaseOutputResource（）；｝由于检测有些耗时，所以两帧之间的间隔时间要低于普通预览：OverrideprotectedintgetInterval（）｛returnsuper。getInterval（）8；｝至此，功能已开发完成，再写上main方法，代码如下，有几处要注意的地方稍后说明：publicstaticvoidmain（String〔〕args）｛StringmodelFileUrlhttps：raw。github。comopencvopencvmasterdatahaarcascadeshaarcascadefrontalfacealt。xml；StringrecognizeModelFilePathE：temp2021121801faceRecognizer。xml；这里分类编号的身份的对应关系，和之前训练时候的设定要保持一致MapInteger，StringkindNameMapnewHashMap（）；kindNameMap。put（1，Man）；kindNameMap。put（2，Woman）；检测服务DetectServicedetectServicenewDetectAndRecognizeService（modelFileUrl，recognizeModelFilePath，kindNameMap）；开始检测newPreviewCameraWithIdentify（detectService）。action（1000）；｝上述main方法中，有以下几处需要注意：kindNameMap是个HashMap，里面放这每个分类编号对应的名称，我训练的模型中包含了两位群众演员的头像，给他们分别起名Man和WomanmodelFileUrl是人脸检测时用到的模型地址recognizeModelFilePath是人脸识别时用到的模型地址，这个模型是《JavaCV人脸识别三部曲之二：训练》一文中训练的模型至此，人脸识别的代码已经写完，运行main方法，请几位群众演员来到摄像头前面，验证效果吧验证程序运行起来后，请名为Man的群众演员A站在摄像头前面，如下图，识别成功：
　　接下来，请名为Woman的群众演员B过来，和群众演员A同框，如下图，同时识别成功，不过偶尔会识别错误，提示成unknown（1）：
　　再请一个没有参与训练的小群众演员过来，与A同框，此刻的识别也是准确的，小演员被标注为unknown（1）：
　　去看程序的控制台，发现FaceRecognizer。predict方法会抛出异常，幸好程序捕获了异常，不会把整个进程中断退出
　　至此，整个《JavaCV人脸识别三部曲》全部完成，如果您是位java程序员，正在寻找人脸识别相关的方案，希望本系列能给您一些参考另外《JavaCV人脸识别三部曲》是《JavaCV的摄像头实战》系列的分支，作为主干的《JavaCV的摄像头实战》依然在持续更新中，欣宸原创会继续与您一路相伴，学习、实战、提升欢迎关注头条号：程序员欣宸学习路上，你不孤单，欣宸原创一路相伴。。。