PytorchRCNN进行多目标检测

　　1 说明
　　====
　　1.1 目标检测在python-opencv（cv2）里占很大的比重，而目标检测当红网络肯定少不了RCNN家族。
　　1.2 2014年，RBG（Ross B. Girshick）使用Region Proposal + CNN代替传统目标检测使用的滑动窗口+手工设计特征，设计了R-CNN框架，使得目标检测取得巨大突破，并开启了基于深度学习目标检测的热潮。
　　1.3 Fast R-CNN就是在R-CNN的基础上采纳了SPP Net方法，对R-CNN作了改进，使得性能进一步提高，让人们看到了Region Proposal + CNN这一框架实时检测的希望。
　　1.4 Faster R-CNN最新进展。
　　==================================
　　R-CNN（Selective Search + CNN + SVM）
　　SPP-net（ROI Pooling）
　　Fast R-CNN（Selective Search + CNN + ROI）
　　Faster R-CNN（RPN + CNN + ROI）
　　==================================
　　总的来说，从R-CNN, SPP-NET, Fast R-CNN, Faster R-CNN一路走来，基于深度学习目标检测的流程变得越来越精简，精度越来越高，速度也越来越快。可以说基于region proposal的R-CNN系列目标检测方法是当前目标检测技术领域最主要的一个分支。
　　2 准备
　　=====
　　2.1 环境：python3.8+deepin-linux操作系统+微软编辑器vscode。
　　2.2 切记：opencv4.2.0+torch1.5.1（注意版本，否则报错）。
　　2.3 图片来源：今日头条正版免费图库，效果图。
　　2.4 进行多目标检测，适当修改，提高可调试性，注意事项已经交代。
　　代码：1.py 执行1.jpeg图片 (threshold=0.8)
　　代码：1.py 执行2.jpeg图片（threshold=0.5）
　　3 代码1.py
　　========
　　3.1 来源https://github.com/spmallick/learnopencv，对其代码进行删除，修改，注释，修复bug，调试和注意事项。
　　3.2 代码头注释部分#Pytorch使用Faster R-CNN进行目标检测 #复杂性多种物体的目标检测  #注意版本 #查询opencv版本 ＂＂＂ import cv2 cv2.__version__ ＂＂＂ #opencv 4.2.0  #本机终端输入 #python3.8 1.py
　　3.3 完整代码1.py#第1步：导入模块 import cv2 import numpy as np  import torch import torchvision import torchvision.transforms as T  #第2步：模型加载 #使用的是Faster R-CNN + ResNet50预训练模型。 #下载预训练模型，Resnet50 Faster R-CNN，带有训练好的权重参数。 model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True) #不启用 BatchNormalization 和 Dropout，保证BN和dropout不发生变化， #pytorch框架会自动把BN和Dropout固定住，不会取平均，而是用训练好的值 model.eval()  #第3步：识别内容 #可识别内容，注意顺序不能调动和N/A不能删除 COCO_INSTANCE_CATEGORY_NAMES = [     ＂__background__＂, ＂person＂, ＂bicycle＂, ＂car＂, ＂motorcycle＂, ＂airplane＂, ＂bus＂,     ＂train＂, ＂truck＂, ＂boat＂, ＂traffic light＂, ＂fire hydrant＂, ＂N/A＂, ＂stop sign＂,     ＂parking meter＂, ＂bench＂, ＂bird＂, ＂cat＂, ＂dog＂, ＂horse＂, ＂sheep＂, ＂cow＂,     ＂elephant＂, ＂bear＂, ＂zebra＂, ＂giraffe＂, ＂N/A＂, ＂backpack＂, ＂umbrella＂, ＂N/A＂, ＂N/A＂,     ＂handbag＂, ＂tie＂, ＂suitcase＂, ＂frisbee＂, ＂skis＂, ＂snowboard＂, ＂sports ball＂,     ＂kite＂, ＂baseball bat＂, ＂baseball glove＂, ＂skateboard＂, ＂surfboard＂, ＂tennis racket＂,     ＂bottle＂, ＂N/A＂, ＂wine glass＂, ＂cup＂, ＂fork＂, ＂knife＂, ＂spoon＂, ＂bowl＂,     ＂banana＂, ＂apple＂, ＂sandwich＂, ＂orange＂, ＂broccoli＂, ＂carrot＂, ＂hot dog＂, ＂pizza＂,     ＂donut＂, ＂cake＂, ＂chair＂, ＂couch＂, ＂potted plant＂, ＂bed＂, ＂N/A＂, ＂dining table＂,     ＂N/A＂, ＂N/A＂, ＂toilet＂, ＂N/A＂, ＂tv＂, ＂laptop＂, ＂mouse＂, ＂remote＂, ＂keyboard＂, ＂cell phone＂,     ＂microwave＂, ＂oven＂, ＂toaster＂, ＂sink＂, ＂refrigerator＂, ＂N/A＂, ＂book＂,     ＂clock＂, ＂vase＂, ＂scissors＂, ＂teddy bear＂, ＂hair drier＂, ＂toothbrush＂ ]   #第4步：定义预测函数 def get_prediction(img_path, threshold):     img=cv2.imread(img_path)      transform = T.Compose([T.ToTensor()])     img = transform(img)     pred = model([img])     pred_class = [COCO_INSTANCE_CATEGORY_NAMES[i] for i in list(pred[0][＂labels＂].numpy())]     #修改np.int32，原来打印出np.float     pred_boxes = [[(np.int32(i[0]), np.int32(i[1])), (np.int32(i[2]), np.int32(i[3]))] for i in list(pred[0][＂boxes＂].detach().numpy())]     pred_score = list(pred[0][＂scores＂].detach().numpy())     pred_t = [pred_score.index(x) for x in pred_score if x>threshold][-1]     pred_boxes = pred_boxes[:pred_t+1]     pred_class = pred_class[:pred_t+1]     return pred_boxes, pred_class     #第5步：定义目标检测函数 def object_detection_api(img_path, threshold=0.5, rect_th=2, text_size=1, text_th=2):     #调用预测函数，获取框和识别名     boxes, pred_cls = get_prediction(img_path, threshold)     #读取图片     img = cv2.imread(img_path)          for i in range(len(boxes)):         #绿色框         cv2.rectangle(img, boxes[i][0], boxes[i][1],color=(0, 255, 0))         #红色识别物体名称         cv2.putText(img,pred_cls[i], boxes[i][0], cv2.FONT_HERSHEY_SIMPLEX, text_size, (0,0,255))      #显示结果     cv2.imshow(＂out＂ , img)     cv2.waitKey(0)     cv2.destroyAllWindows()  #第6步：指定图片启动目标检测 #默认threshold=0.5，也可以修改 object_detection_api(＂./1.jpeg＂, threshold=0.8) #object_detection_api(＂./2.jpeg＂, threshold=0.5)
　　===以上仅仅只能对图片进行多目标检测，档次有点低===
　　===高级一点，全套功能：图片、摄像头实时和视频文件mp4===
　　4 全套功能代码2.py
　　==============
　　4.1 头文件注释和代码来源：# -*- coding: utf-8 -*- ＂＂＂ Created on Thu Jul 30 08:47:12 2020 @author: Johnson ＂＂＂ #https://blog.csdn.net/zhonglongshen/article/details/107682640?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-7.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-7.control #对其代码进行删除，修改，注释，修复bug，调试和注意事项。  #本机终端输入 #python3.8 2.py
　　4.2 coco.names文件内容，注意去除引号和逗号
　　4.3 完整代码2.py#第1步：模块导入 import numpy as np import cv2  import torch import  torchvision from torchvision import transforms   #第2步：打开文件coco.names #将代码1的目标识别名放入coco.names中 with open(＂./coco.names＂) as f: #获取类别名称     coco_names = [line.strip() for line in f.readlines()]  #第3步：加载模型 #在torchvision框架可以直接加载预训练模型 model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True) model.eval() ##将图片变成 Tensor，并且把数值normalize到[0,1] transform = transforms.Compose([transforms.ToTensor()])  #第4步：图片检测函数定义，功能1 def faster_rcnn_detection(path):     image = cv2.imread(path)     blob = transform(image)     c,h,w = blob.shape     input_x = blob.view(1,c,h,w)     output = model(input_x)[0]  #这里如果是GPU.cuda()     boxes = output[＂boxes＂].cpu().detach().numpy()     scores = output[＂scores＂].cpu().detach().numpy()     labels = output[＂labels＂].cpu().detach().numpy()     index = 0     for x1,y1,x2,y2 in boxes:         #大于0.9比较好，太小要识别过多不精准，误识别         #类似与代码1的threshold=0.6         if scores[index]>0.6:             #框的颜色等设置             cv2.rectangle(image, (np.int32(x1), np.int32(y1)),                          (np.int32(x2), np.int32(y2)), (0, 255, 0), 1, 8, 0)             label_id = labels[index]             label_txt = coco_names[label_id]             #文字的颜色等设置             #将字体1.0改为2.0             #将1改为2，未报错             cv2.putText(image, label_txt, (np.int32(x1), np.int32(y1)),              cv2.FONT_HERSHEY_PLAIN, 2.0, (0, 0, 255), 2)         index+=1          cv2.imshow(＂Faster-RCNN Detection Demo＂, image)     cv2.waitKey(0)     cv2.destroyAllWindows()       #第5步：视频检测函数定义，功能2 def video_detection(path):     capture = cv2.VideoCapture(path)      #循环     #while True:     #while(capture.isOpened()):     while cv2.waitKey(1) < 0:         ret,frame = capture.read()                  if ret == True:             #视频翻转             frame = cv2.flip(frame,1)  #0颠倒，1翻转一下             blob = transform(frame)             c,h,w = blob.shape             input_x = blob.view(1,c,h,w)             output = model(input_x)[0]  #这里如果是GPU.cuda()             boxes = output[＂boxes＂].cpu().detach().numpy()             scores = output[＂scores＂].cpu().detach().numpy()             labels = output[＂labels＂].cpu().detach().numpy()             index = 0                      for x1,y1,x2,y2 in boxes:                 #大一些，否则漏识别                 if scores[index]>0.5:                     #框的颜色等设置                     cv2.rectangle(frame, (np.int32(x1), np.int32(y1)),                                 (np.int32(x2), np.int32(y2)), (0, 255, 0), 1, 8, 0)                     label_id = labels[index]                     label_txt = coco_names[label_id]                     #文字的颜色等设置                     cv2.putText(frame, label_txt, (np.int32(x1), np.int32(y1)),                      cv2.FONT_HERSHEY_PLAIN, 1.0, (0, 0, 255), 1)                 index+=1                  wk = cv2.waitKey(1)             if wk==27:                 break              cv2.imshow(＂video detection＂,frame)     #摄像头检测函数 #video_detection(0) #视频文件检测 video_detection(＂./video.mp4＂)  #图片检测函数 #faster_rcnn_detection(＂./1.jpeg＂)
　　5 小bug
　　视频保存未成功！大家可以加油。总之比较完美。