MATLAB应用之深度学习网络到底在看哪里？

　　你有没有想过，你经常使用的深度学习网络在看图像的什么部分进行分类？
　　例如下图：
　　如果深度学习网络将此图像分类为＂圆号＂，你认为图片的哪个部分对分类最重要？
　　我们使用预训练好的 ResNet-50 网络进行此实验。
　　He, Kaiming, Zhang, Xiangyu, Ren, Shaoqing, Sun, Jian. ＂Deep Residual Learning for Image Recognition.＂ In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778. 2016
　　获取 MATLAB 中 ResNet-50 网络的方法是启动 Add-On Explorer并搜索 resnet。 net = resnet50;
　　我们需要注意 ResNet-50 需要输入特定尺寸的图像。网络的初始层提供了这一信息： sz = net.Layers(1).InputSize(1:2)sz =     224   224
　　所需的图像尺寸可以直接传递给 imresize 函数。 rgb = imread(url); rgb = imresize(rgb,sz); imshow(rgb)
　　在网络中调用 classify ，查看图片可能的分类： classify(net,rgb)ans =     categorical         French horn
　　ResNet-50 认为这是圆号。
　　Birju 在一篇关于卷积神经网络可视化技术的论文中，了解到遮挡敏感性的概念。如果阻挡或遮挡图像的一部分，将如何影响网络的预测得分？遮挡不同的部分又将如何影响结果？
　　Birju 做了如下尝试： rgb2 = rgb; rgb2((1:71)+77,(1:71)+108,:) = 128; imshow(rgb2)
　　classify(net,rgb2)ans =     categorical       notebook
　　Hmm...估计网络＂认为＂灰色方块看起来像笔记本。被遮挡的区域对于图像分类来说应该很重要。再试试不同的遮挡位置： rgb3 = rgb;rgb3((1:71)+15,(1:71)+80,:) = 128;imshow(rgb3)
　　classify(net,rgb3)ans =     categorical         French horn
　　好吧，脑袋并不重要。
　　Birju 编写了一些 MATLAB 代码来系统地量化不同图像区域对分类结果的相对重要性。他使用 MATLAB 构建了大量图像，并对遮挡不同区域的图像进行批处理。对于遮挡的不同位置，记录预期类（本例为＂法国号＂）的概率得分。
　　我们制作一批带有 71x71 遮挡区域的图像。首先计算所有遮挡模块的顶点，用 (X1,Y1) 和 (X2,Y2) 表示。
　　mask_size = [71 71];[H,W,~] = size(rgb);X = 1:W;Y = 1:H;[X1, Y1] = meshgrid(X, Y);X1 = X1(:) - (mask_size(2)-1)/2;Y1 = Y1(:) - (mask_size(1)-1)/2;X2 = X1 + mask_size(2) - 1;Y2 = Y1 + mask_size(1) - 1;
　　注意不要让遮挡区域的顶点偏离图像边界。 X1 = max(1, X1); Y1 = max(1, Y1);  X2 = min(W, X2); Y2 = min(H, Y2);
　　批处理： batch = repmat(rgb,[1 1 1 size(X1,1)]);  for i = 1:size(X1,1)    c = X1(i):X2(i);    r = Y1(i):Y2(i);    batch(r,c,:,i) = 128; % gray mask. end
　　注意：这一批包含 50,000 多张图像。你需要大量的 RAM 才能同时创建和处理如此大量的图像。
　　这里有一些遮挡的图像：
　　现在，我们将使用 predict（而不是 classify）来获取每个图像在每个类别中的预测分数。MiniBatchSize 参数是用来限制 GPU 内存的使用，意味着 predict 函数将一次发送 64 个图像到 GPU 进行处理。 s = predict(net, batch, ＂MiniBatchSize＂,64);size(s)ans =         50176        1000
　　我们获得了很多的概率得分！其中 51,529 个图像，共有 1,000 个类别。矩阵 s 具有每个类别和每个图像的预测分数。
　　我们重点关注预测原始图像类别的预测分数： scores = predict(net,rgb); [~,horn_idx] = max(scores);
　　这里是每一个圆号类别中的图像预测分数： s_horn = s(:,horn_idx);
　　将圆号类别的分数转换为图像显示： S_horn = reshape(s_horn,H,W); imshow(-S_horn,[]) colormap(gca,＂parula＂)
　　最亮的区域表示遮挡对概率得分影响最大的遮挡区间。
　　下面我们找到了最影响圆号概率得分的遮挡位置： [min_score,min_idx] = min(s_horn); rgb_min_score = batch(:,:,:,min_idx); imshow(rgb_min_score)
　　结果可见，识别圆号的关键在于螺旋形管身和阀键，而不是号嘴。
　　面包多代码
　　https://mbd.pub/o/GeBENHAGEN
　　此外，知乎付费咨询:哥廷根数学学派
　　擅长现代信号处理(改进小波分析系列，改进变分模态分解，改进经验小波变换，改进辛几何模态分解等等)，改进机器学习，改进深度学习，机械故障诊断，改进时间序列分析(金融信号，心电信号，振动信号等)