关于深度学习网络识别的详细介绍

你有没有想过，你经常使用的深度学习网络在看图像的什么部分进行分类？

例如下图：

如果深度学习网络将此图像分类为“圆号”，你认为图片的哪个部分对分类最重要？

MathWorks Computer Vision System Toolbox 开发工程师Birju Patel专注于深度学习，设计了如下案例进行解答这一问题：

我们使用预训练好的 ResNet-50 网络进行此实验。

* He, Kaiming, Zhang, Xiangyu, Ren, Shaoqing, Sun, Jian. "Deep Residual Learning for Image Recognition." In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778. 2016.

获取 MATLAB 中 ResNet-50 网络的方法是启动 Add-On Explorer（MATLAB 的 HOME 选项卡）并搜索 resnet。

net = resnet50;

我们需要注意 ResNet-50 需要输入特定尺寸的图像。网络的初始层提供了这一信息：

sz = net.Layers(1).InputSize(1:2)sz = 224 224

所需的图像尺寸可以直接传递给 imresize 函数。)

在网络中调用 classify ，查看图片可能的分类：

classify(net,rgb)ans = categorical French horn

ResNet-50 认为这是圆号。

Birju 在一篇关于卷积神经网络可视化技术的论文中，了解到遮挡敏感性的概念。如果阻挡或遮挡图像的一部分，将如何影响网络的预测得分？遮挡不同的部分又将如何影响结果？

Birju 做了如下尝试：

rgb2 = rgb; rgb2((1:71)+77,(1:71)+108,:) = 128; imshow(rgb2)

classify(net,rgb2)ans = categorical notebook

Hmm...估计网络“认为”灰色方块看起来像笔记本。被遮挡的区域对于图像分类来说应该很重要。再试试不同的遮挡位置：

rgb3 = rgb;rgb3((1:71)+15,(1:71)+80,:) = 128;imshow(rgb3)

classify(net,rgb3)ans = categorical French horn

好吧，脑袋并不重要。

Birju 编写了一些 MATLAB 代码来系统地量化不同图像区域对分类结果的相对重要性。他使用 MATLAB 构建了大量图像，并对遮挡不同区域的图像进行批处理。对于遮挡的不同位置，记录预期类（本例为“法国号”）的概率得分。

我们制作一批带有 71x71 遮挡区域的图像。首先计算所有遮挡模块的顶点，用 (X1,Y1) 和 (X2,Y2) 表示。

mask_size = [71 71]; [H,W,~] = size(rgb); X = 1:W; Y = 1:H; [X1, Y1] = meshgrid(X, Y); X1 = X1(:) - (mask_size(2)-1)/2; Y1 = Y1(:) - (mask_size(1)-1)/2; X2 = X1 + mask_size(2) - 1; Y2 = Y1 + mask_size(1) - 1;

注意不要让遮挡区域的顶点偏离图像边界。

X1 = max(1, X1); Y1 = max(1, Y1); X2 = min(W, X2); Y2 = min(H, Y2);

批处理：

batch = repmat(rgb,[1 1 1 size(X1,1)]); for i = 1:size(X1,1) c = X1(i):X2(i); r = Y1(i):Y2(i); batch(r,c,:,i) = 128; % gray mask. end

注意：这一批包含 50,000 多张图像。你需要大量的 RAM 才能同时创建和处理如此大量的图像。

这里有一些遮挡的图像：

现在，我们将使用 predict（而不是 classify）来获取每个图像在每个类别中的预测分数。MiniBatchSize 参数是用来限制 GPU 内存的使用，意味着 predict 函数将一次发送 64 个图像到 GPU 进行处理。

s = predict(net, batch, 'MiniBatchSize',64);size(s)ans = 50176 1000

我们获得了很多的概率得分！其中 51,529 个图像，共有 1,000 个类别。矩阵 s 具有每个类别和每个图像的预测分数。

我们重点关注预测原始图像类别的预测分数：

scores = predict(net,rgb); [~,horn_idx] = max(scores);

这里是每一个圆号类别中的图像预测分数：

s_horn = s(:,horn_idx);

将圆号类别的分数转换为图像显示：

S_horn = reshape(s_horn,H,W); imshow(-S_horn,[]) colormap(gca,'parula')

最亮的区域表示遮挡对概率得分影响最大的遮挡区间。

下面我们找到了最影响圆号概率得分的遮挡位置：

[min_score,min_idx] = min(s_horn); rgb_min_score = batch(:,:,:,min_idx); imshow(rgb_min_score)

结果可见，识别圆号的关键在于螺旋形管身和阀键，而不是号嘴。