MATLAB环境下深度学习代码生成将推理模型部署到生产环境中

　　如今，深度学习已在商业领域普及，现实中对训练好的推理模型的应用，已可见于各行各业，但具体应用的开发仍大量依赖一些大公司的框架或产品。他们有些提供云端的接口，也有些提供基于安卓的智能终端上的apk，换句话说，核心其实并没有掌握在自己手里，想深度定制就难了。
　　而能够自行采用TensorRT、cuDNN或CUDA，或者利用IntelMKLDNN，又或者针对ARM的MaliGPU或Neon核实现深度学习应用的，与普遍存在的需求相比仍在少数。
　　原因可能是下面中的一条或多条：缺乏有相关编程经验的工程师目标平台不能用TensorRT，自己基于cuDNN或原生CUDA写太难了用TensorRT还能搞定NVIDIAGPU，ARM实在无能为力找来一套开源代码，BUG好多，动不动就死了，死了，了性能不达标但量化好坑，FP32的模型转FP16INT8可咋整有IntelXeon处理器没NVIDIAGPU，还得学MKLDNN框架
　　深度学习不仅训练要用到大量数据和算力，其推理也很耗计算资源，因此在实际应用中必须利用如MKLDNN、CUDA、ARMCompute等在支持张量计算的硬件如IntelXeon、NVIDIAGPU和ARMMali或Neon核上实现才能获得满足实际要求的性能。
　　假设我们有一个训练好的LSTM模型，存储在lstmnet。mat文件中，我们写了一个MATLAB函数lstmnetpredict。m来调用这个模型进行推理，如下：functionoutlstmnetpredict（in）
　　persistentmynet；
　　ifisempty（mynet）
　　mynetcoder。loadDeepLearningNetwork（lstmnet。mat）；
　　end
　　outpredict（mynet，in）；
　　采用以下脚本，即可为上述推理函数产生C代码。为代码生成进行配置
　　cfgcoder。gpuConfig（mex）；
　　cfg。TargetLangC；
　　cfg。DeepLearningConfigcoder。DeepLearningConfig（cudnn）；
　　定义目标函数的输入参数
　　matrixInputcoder。typeof（double（0），〔3Inf〕，〔falsetrue〕）；
　　Runthecodegencommand。
　　codegenconfigcfglstmnetpredictargs｛matrixInput｝report
　　自动生成的C代码看起来是下面这个样子的：
　　事实上，通过修改代码生成配置，也就是下面这几行代码，我们就可以为不同的目标平台生成不同的代码了。为代码生成进行配置
　　cfgcoder。gpuConfig（mex）；
　　cfg。TargetLangC；
　　cfg。DeepLearningConfigcoder。DeepLearningConfig（cudnn）；
　　譬如，如果我们要基于TensorRT来生成嵌入式GPU（如JetsonNano）上跑的代码：为代码生成进行配置
　　cfgcoder。gpuConfig（lib）；
　　cfg。TargetLangC；
　　cfg。GenCodeOnlytrue；
　　cfg。Hardwarecoder。hardware（NVIDIAJetson）；
　　cfg。DeepLearningConfigcoder。DeepLearningConfig（tensorrt）；
　　cfg。GpuConfig。ComputeCapability7。0；
　　cfg。DeepLearningConfig。DataTypefp16；
　　定义目标函数的输入参数
　　matrixInputcoder。typeof（double（0），〔3Inf〕，〔falsetrue〕）；
　　Runthecodegencommand。
　　codegenconfigcfglstmnetpredictargs｛matrixInput｝report
　　这里，我们可以指定硬件平台与兼容版本，甚至通过增加一行DataType的配置就可以从默认的FP32转而生成FP16的推理代码了。
　　转成INT8稍微复杂一些，因为那不仅要防止溢出，还必须进行校验校准。以一个图像分类网络如mobilenetv2或resnet50为例，如果要产生INT8的代码，我们需要准备一个数据集用来在代码生成时进行校验校准，但代码生成时的配置其实也就是3行脚本：cfg。DeepLearningConfig。DataTypeint8；
　　cfg。DeepLearningConfig。DataPathcalibdataset；
　　cfg。DeepLearningConfig。NumCalibrationBatches50；
　　再譬如，如果要针对ARMNeon生成C代码，脚本如下：为代码生成进行配置
　　cfgcoder。config（lib）；
　　cfg。TargetLangC；
　　cfg。GenCodeOnlytrue；
　　dlcfgcoder。DeepLearningConfig（armcompute）；
　　dlcfg。ArmArchitecturearmv7；
　　dlcfg。ArmComputeVersion19。05；
　　cfg。DeepLearningConfigdlcfg；
　　cfg。Hardwarecoder。hardware（RaspberryPi）；
　　定义目标函数的输入参数
　　matrixInputcoder。typeof（double（0），〔3Inf〕，〔falsetrue〕）；
　　Runthecodegencommand。
　　codegenconfigcfglstmnetpredictargs｛matrixInput｝report
　　这里用到了ARMCompute库，我们不仅指定了ARM的架构版本，还指定了Compute库的版本。
　　给ARMNeon生成的代码看起来是这样子的：
　　面包多代码
　　https：mbd。puboGeBENHAGEN
　　此外，知乎付费咨询：哥廷根数学学派
　　擅长现代信号处理（改进小波分析系列，改进变分模态分解，改进经验小波变换，改进辛几何模态分解等等），改进机器学习，改进深度学习，机械故障诊断，改进时间序列分析（金融信号，心电信号，振动信号等）