deepstream实践Gstnvinfer插件

　　学习deepstream插件，首先要了解推理插件，它运行AI模型实现推理，是核心插件。在了解完推理插件后，可以在此基础上了解其他插件的功能。
　　Gstnvinfer插件是deepstream推理插件之一，它使用NVIDIATensorRT对输入图像数据进行推理。Gstnvinfer框架
　　下图Gstnvinfer插件框架图，该插件接受来自上游的NV12RGBA批量缓冲数据，NvDsBatchMeta结构必须已经添加到GstBuffer。底层库（libnvdsinfer）对具有高、宽维度的INT8RGB、BGR或GRAY数据进行处理。Gstnvinfer插件根据网络要求对输入帧进行转换（格式转换和缩放），并将转换后的数据传递给底层库。底层库对转换后的帧进行预处理（执行归一化和均值减法）并生成最终的浮点RGBBGRGRAY平面数据，数据传递给TensorRT引擎进行推理。
　　nvinfer框架
　　Gstnvinfer目前适用于以下类型的网络：
　　多类型目标检测；多标签分类；语义分割；实例分割
　　Gstnvinfer插件可以在三种模式下工作：主模式：处理全帧；次要模式：对上游组件在元数据中添加的对象进行处理预处理张量输入模式：对上游组件添加的张量进行处理
　　在预处理张量输入模式下运行时，会完全跳过Gstnvinfer内部预处理。Gstnvinfer查找添加到输入buffer的GstNvDsPreProcessBatchMeta并将张量原封不动传递给TensorRT推理函数。此模式目前支持处理全帧和ROI。GstNvDsPreProcessBatchMeta由Gstnvdspreprocess插件添加。
　　当Gstnvinfer与跟踪器插件一起作为二级分类器运行时，它把分类输出缓存在以对象的唯一ID作为键的map中，避免重复推断每一帧中的相同对象来提高性能。即当对象首次出现在框架中（基于对象ID）或对象的大小（边界框区域）增加20或更多时，才会推断对象。注意此优化仅当将跟踪器添加为上游元素时，才可能进行。
　　Gstnvinfer下游组件接收一个Gstbuffer，其中包含未修改的NV12RGBA数据以及经Gstnvinfer插件推理后创建的元数据。该插件可用于级联推理，即可以直接对输入数据进行一级推理，然后对一级推理的结果进行二级推理，以此类推。Gstinfer输入输出
　　输入：GstBufferNvDsBatchMeta（包含NvDsFrameMeta）Caffe模型和CaffePrototxtONNXUFF文件TAO编码模型和Key离线：支持TAOSDK工具箱转换模型产生的engine文件Layers：支持TensorRT支持的所有Layers
　　控制参数：
　　Gstnvinfer从配置文件中获取控制参数。通过GObject属性也可以设置Gstnvinfer控制参数，它可以设置下面这些参数：Batch大小推理间隔帧数添加推理输出张量为buffer元数据添加实例mask输出到对象元数据通过GObject属性设置的参数会覆盖通过配置文件设置的参数
　　输出：GstBuffer根据网络类型和配置参数会输出下面的一种或几种数据：
　　NvDsObjectMeta，NvDsClassifierMeta，NvDsInferSegmentation，MetaNvDsInferTensorMeta学习Gstnvinfer配置文件
　　参见https：www。toutiao。comarticle7096632112018686497，我们分析安装deepstream后得到的deepstreamapp配置文件样例来学习如何设置Gstnvinfer属性。
　　下面是配置了caffe模型的Gstnvinfer配置文件configinferprimarynano。txt，对主要的属性做了注释。〔property〕gpuid0把输入从0255转换到01的比例值netscalefactor0。0039215697906911373caffe模型文件，存储了权重、偏置信息，并存储了网络结构信息modelfile。。。。modelsPrimaryDetectorNanoresnet10。caffemodelcaffe模型网络结构信息protofile。。。。modelsPrimaryDetectorNanoresnet10。prototxt模型识别处的物体类别标签labelfilepath。。。。modelsPrimaryDetectorNanolabels。txt最多一次预测8帧batchsize81处理整帧图像；2只处理预测出来的对象区域processmode1输入模型网络图像格式，0RGB；1BGR；2GRAYmodelcolorformat00FP32，1INT8，2FP16mode，预测网络使用的数据精度networkmode2预测出来的对象种类数量numdetectedclasses4每隔一帧图像预测一次interval1nvinfer标志id，用来标记，无其他作用gieuniqueid1预测模型网络输出层名称outputblobnamesconv2dbbox；conv2dcovSigmoid1：隐式batch维度，0：显式batch维度，使用onnx时需要设置为显式batch维度；模型网络使用动态tensor维度时，也需要设置为显式batch维度forceimplicitbatchdim1〔classattrsall〕preclusterthreshold0。2groupthreshold1eps0。2roitopoffset0roibottomoffset0detectedminw0detectedminh0detectedmaxw0detectedmaxh0
　　在配置文件中，若没有指定模型的engine文件，需要根据情况指定以下属性：int8calibfile（只有在模型进行了INT8量化时使用）若使用Caffe模型，需要指定下列属性：modelfile，protofile，outputblobnames若使用uff模型，需指定下列属性：ufffile，inputdims，uffinputblobname，outputblobnames
　　对于目标检测，必须设置属性：numdetectedclasses。下面属性是可选的：clustermode：默认是GroupRectanglesinterval：只有在主模式下起作用，默认值是0clustomlibpath：用户自定义bbox解析动态库路径
　　parsebboxfuncname：用户自定义解析bbox函数名。
　　clustomlibpath需要与parsebboxfuncname一起配合使用
　　对于分类，必须设置的属性有：
　　classifierthreshold，isclassifier
　　可选属性classifierasyncmode，只有在次模式下起作用，默认值是false
　　在次模式下，可选的属性有：operateongieid：此Gstnvinfer实例要处理的metadata中必须包含的Gstnvinfer实例id，默认值0operateonclassids：此Gstnvinfer实例要处理对象的分类id。
　　譬如主Gstnvinfer目标检测实例，能检测4种类型物体，汽车、自行车、人、路标，它们的分类id是0；1；2；3，若operateonclassids0；表示此Gstnvinfer实例会对汽车分类。默认是对目标检测出的所有类型物体进行分类。inputobjectminwidth，inputobjectminheight
　　inputobjectmaxwidth，inputobjectmaxheight
　　batchsize：每次都推荐设置一个合适值，默认值是1操作Gstnvinfer配置文件
　　上一节介绍了Gstnvinfer配置文件各属性作用。这节通过简单例子介绍如何修改Gstnvinfer配置文件。
　　上一节Gstnvinfer配置文件使用了caffe模型文件，bbox处理函数是默认的方法。使用caffe模型转换后的tensorrtengine文件，bbox处理函数使用用户自定义函数如何配置呢？可以看下面的配置，与上一节的配置文件相比modelfile和protofile换成了modelenginefile，添加了parsebboxfuncname和customlibpath属性。
　　安装deepstream后，开源的部分代码中给出了用户自定义处理函数样例，此部分代码路径：
　　｛pathofdeepstream｝sourceslibsnvdsinfercustomparser，｛pathofdeepstream｝是deepstream的安装路径。〔property〕gpuid0把输入从0255转换到01的比例值netscalefactor0。0039215697906911373模型gpu加速后的tensorrt模型文件modelenginefile。。。。modelsPrimaryDetectorNanoresnet10。caffemodelb8gpu0fp16。engine模型识别出的物体类别标签labelfilepath。。。。modelsPrimaryDetectorNanolabels。txt最多一次预测8帧batchsize81处理整帧图像；2只处理预测出来的对象区域processmode1输入模型网络图像格式，0RGB；1BGR；2GRAYmodelcolorformat00FP32，1INT8，2FP16mode，预测网络使用的数据精度networkmode2预测出来的对象种类数量numdetectedclasses4每隔一帧图像预测一次interval1nvinfer标志id，用来标记，无其他作用gieuniqueid1预测模型网络输出层名称outputblobnamesconv2dbbox；conv2dcovSigmoid1：隐式batch维度，0：显式batch维度，使用onnx时需要设置为显式batch维度；模型网络使用动态tensor维度时，也需要设置为显式batch维度forceimplicitbatchdim1用户自定义解析bbox函数名parsebboxfuncnameNvDsInferParseCustomResnet用户自定义bbox解析动态库路径customlibpathhomenvidiadeepstreamsourceslibsnvdsinfercustomparserlibnvdsinfercustomparser。so〔classattrsall〕preclusterthreshold0。2groupthreshold1eps0。2roitopoffset0roibottomoffset0detectedminw0detectedminh0detectedmaxw0
　　下面介绍deepstreamapp配置文件如何调用Gstnvinfer插件对于主模式Gstnvinfer，configfile是必须要配置的。若配置属性与Gstnvinfer属性一致，会覆盖Gstnvinfer对应属性〔primarygie〕确定调用Gstnvinfer主模式enable1使用0号GPU，会覆盖Gstnvinfer配置文件中对应属性gpuid0模型gpu加速后的tensorrt模型文件，会覆盖Gstnvinfer配置文件中对应属性modelenginefile。。。。modelsPrimaryDetectorNanoresnet10。caffemodelb8gpu0fp16。engine最多一次预测1帧，会覆盖Gstnvinfer配置文件中对应属性batchsize1用于OSD，不是Gstnvinfer属性bboxbordercolor01；0；0；1bboxbordercolor10；1；1；1bboxbordercolor20；0；1；1bboxbordercolor30；1；0；1每隔4帧图像预测一次，会覆盖Gstnvinfer配置文件中对应属性interval4给Gstnvinfer实例设置的唯一id，用于区分不同实例产生的metadata，会覆盖Gstnvinfer配置文件中对应属性gieuniqueid1设置推理输出配置的cuda内存类型nvbufmemorytype0Gstnvinfer配置文件路径configfileconfiginferprimarynano。txt保存推理原始结果的文件路径inferrawoutputdirhomenvidiaworkspacestudy对于次模式Gstnvinfer，configfile是必须要配置的。若配置属性与Gstnvinfer属性一致，会覆盖Gstnvinfer对应属性〔secondarygie0〕确定调用Gstnvinfer次模式enable1模型gpu加速后的tensorrt模型文件，会覆盖Gstnvinfer配置文件中对应属性modelenginefile。。。。modelsSecondaryVehicleTypesresnet18。caffemodelb16gpu0int8。engine使用0号GPU，会覆盖Gstnvinfer配置文件中对应属性gpuid0最多一次预测16帧，会覆盖Gstnvinfer配置文件中对应属性batchsize16给Gstnvinfer实例设置的唯一id，用于区分不同实例产生的metadata，会覆盖Gstnvinfer配置文件中对应属性gieuniqueid4此Gstnvinfer实例要处理的metadata中必须包含的Gstnvinfer实例id，会覆盖Gstnvinfer配置文件中对应属性operateongieid1此Gstnvinfer实例要处理对象的分类id。譬如主Gstnvinfer是目标检测实例，能检测4种类型物体，汽车、自行车、人、路标，汽车的分类id是0，此Gstnvinfer实例对汽车分类此属性会覆盖Gstnvinfer配置文件中对应属性operateonclassids0；Gstnvinfer配置文件路径configfileconfiginfersecondaryvehicletypes。txt
　　本文介绍了如何配置deepstreamGstnvinfer插件，相信了解这些后，可以轻松配置deepstreamapp，调用Gstnvinfer进行模型推理。
　　参考：https：docs。nvidia。commetropolisdeepstreamdevguidetextDSplugingstnvinfer。html