0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

解析OpenVINO™ + SSD 实时对象检测

英特尔物联网 来源:英特尔物联网 作者:英特尔物联网 2021-05-18 09:35 次阅读

前面我们了解OpenVINO 如何部署图像分类网络ResNet,本文我们将会学习OpenVINO 中对象检测网络的部署与推理应用。说到对象检测网络,我们首先需要理解两个概念:对象检测与对象检测网络。

SSD对象检测模型

对象检测是计算机视觉核心任务之一,也是最常见与应用最广泛的视觉场景。OpenVINO 已经提供了以下通用场景下的对象检测包括人脸检测、行人检测、物体检测、车辆检测、车牌检测等,一个图像对象检测显示示意图如下:

图-1(来自SSD论文)

相比图像分类,对象检测多了每个对象位置信息,所以简单的认为对象检测=图像分类+Box位置信息。第一个深度学习相关的对象检测网络正是基于这样思想的RCNN模型,但是它的缺点是无法实时,所以2015年底有人提出了一个实时对象检测网络Single Shot MultiBox Detector缩写为SSD。它的模型结构如下:

23b73396-b4ff-11eb-bf61-12bb97331649.png

图2(来自SSD论文)

图2中SSD对象检测网络简单说可以分为三个部分:

- 基础网络(backbone) 这里为VGG16

- 特征提取Neck,构建多尺度特征

- 检测头 – 非最大抑制与输出

OpenVINO 中模型库自带预训练的人脸检测网络有很多,分别针对不同的应用场景与输入分辨率。这里我们以face-detection-0202人脸检测模型为例说明,它是一个MobileNetV2作为基础网络的SSD对象检测模型,模型支持的输入图像大小与格式如下:

NCHW=1x3x384x384其中

N表示图像数目,这里为1

C表示输入图像通道数目,这里彩色图像为3

H表示图像高度

W表示图像宽度

期望的图像通道顺序:BGR

23f26fa6-b4ff-11eb-bf61-12bb97331649.png

图-3

模型推理计算得输出格式为:

1x1xNx7其中

N表示检测到的对象数目

7表示[image_id, label, conf, x_min, y_min, x_max, y_max]这七个值,其中

Image_id 表示图像编号,这个输入的是一张图像,base为0

Label 表示标签,跟数据集的label_map文本文件相关,根据标签编号可以查找标签文本名

Conf 表示对象的置信度,取值范围在0~1之间,值越大表示置信程度越高

x_min, y_min, x_max, y_max 四个值对象位置信息,分别是左上角与有下角的坐标

该模型的相关性能参数如下:

图-4

从上面我们可以知道模型来自Pytorch训练生成。

OpenVINO基于SSD模型实时人脸检测

现在我们已经了解SSD模型的基本网络结构,OpenVINO 自带SSD人脸检测模型face-detection-0202的输入与输出相关格式与参数细节信息,这里我们就基于该模型使用OpenVINO 中的推理引擎模型实现一个实时人脸检测应用,根据之前的内容,我们首先需要加载模型,相关代码如下:

// 加载检测模型

auto network = ie.ReadNetwork(model_xml, model_bin);

其中

model_xml表示face-detection-0202模型文件

model_bin表示face-detection-0202权重文件

然后设置模型的输入与输出相关的格式,代码如下:

// 请求网络输入与输出信息

InferenceEngine::InputsDataMap input_info(network.getInputsInfo());

InferenceEngine::OutputsDataMap output_info(network.getOutputsInfo());

// 设置输入格式

for (auto &item : input_info) {

auto input_data = item.second;

input_data->setPrecision(Precision::U8);

input_data->setLayout(Layout::NCHW);

}

printf("get it ");

// 设置输出格式

for (auto &item : output_info) {

auto output_data = item.second;

output_data->setPrecision(Precision::FP32);

}

加载可执行网络,创建推理请求对象实例,代码如下:

// 创建可执行网络对象

auto executable_network = ie.LoadNetwork(network, "CPU");

// 请求推断图

auto infer_request = executable_network.CreateInferRequest();

设置推理输入图像数据,转换为NCHW格式的blob数据,代码如下:

/** Getting input blob **/

auto input = infer_request.GetBlob(input_name);

size_t num_channels = input->getTensorDesc().getDims()[1];

size_t h = input->getTensorDesc().getDims()[2];

size_t w = input->getTensorDesc().getDims()[3];

size_t image_size = h*w;

Mat blob_image;

resize(src, blob_image, Size(w, h));

// NCHW

unsigned char* data = static_cast(input->buffer());

for (size_t row = 0; row < h; row++) {

for (size_t col = 0; col < w; col++) {

for (size_t ch = 0; ch < num_channels; ch++) {

data[image_size*ch + row*w + col] = blob_image.at(row, col)[ch];

}

}

}

预测与解析输出结果,代码如下:

// 执行预测

infer_request.Infer();

// 处理输出结果

for (auto &item : output_info) {

auto output_name = item.first;

// 获取输出数据

auto output = infer_request.GetBlob(output_name);

const float* detection = static_cast::value_type*>(output->buffer());

const SizeVector outputDims = output->getTensorDesc().getDims();

const int maxProposalCount = outputDims[2];

const int objectSize = outputDims[3];

// 解析输出结果

for (int curProposal = 0; curProposal < maxProposalCount; curProposal++) {

float label = detection[curProposal * objectSize + 1];

float confidence = detection[curProposal * objectSize + 2];

float xmin = detection[curProposal * objectSize + 3] * image_width;

float ymin = detection[curProposal * objectSize + 4] * image_height;

float xmax = detection[curProposal * objectSize + 5] * image_width;

float ymax = detection[curProposal * objectSize + 6] * image_height;

if (confidence > 0.5) {

printf("label id : %d ", static_cast(label));

Rect rect;

rect.x = static_cast(xmin);

rect.y = static_cast(ymin);

rect.width = static_cast(xmax - xmin);

rect.height = static_cast(ymax - ymin);

putText(src, "OpenVINO-2021R02", Point(20, 20), FONT_HERSHEY_SIMPLEX, 0.75, Scalar(0, 0, 255), 2, 8);

rectangle(src, rect, Scalar(0, 255, 255), 2, 8, 0);

}

std::cout << std::endl;

}

}

imshow("OpenVINO+SSD人脸检测", src);

最终显示结果如下:

图-5

总结

本文我们完成了OpenVINO 人脸检测模型的推理调用演示,关键知识点在于模型的输入与输出格式,以及推理以后的模型输出数据的解析方式。到这里大家希望借助OpenVINO 实现一个视频版本的人脸检测,没关系,下一次我们将来完成这样的事情……

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • SSD
    SSD
    +关注

    关注

    20

    文章

    2656

    浏览量

    115284
  • 代码
    +关注

    关注

    30

    文章

    4536

    浏览量

    66490
  • 人脸检测
    +关注

    关注

    0

    文章

    71

    浏览量

    16273
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803
  • resnet
    +关注

    关注

    0

    文章

    12

    浏览量

    3110

原文标题:OpenVINO™ + SSD 实时对象检测

文章出处:【微信号:英特尔物联网,微信公众号:英特尔物联网】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    OpenVINO™ Java API应用RT-DETR做目标检测器实战

    本文将从零开始详细介绍环境搭建的完整步骤,我们基于英特尔开发套件AIxBoard为硬件基础实现了Java在Ubuntu 22.04系统上成功使用OpenVINO™ Java API,并且成功运行了RT-DETR实现实时端到端目标检测
    的头像 发表于 03-18 15:04 126次阅读
    <b class='flag-5'>OpenVINO</b>™ Java API应用RT-DETR做目标<b class='flag-5'>检测</b>器实战

    基于OpenVINO Python API部署RT-DETR模型

    RT-DETR 是在 DETR 模型基础上进行改进的,一种基于 DETR 架构的实时端到端检测器,它通过使用一系列新的技术和算法,实现了更高效的训练和推理,我们将在 Python、C++、C# 三个
    的头像 发表于 10-20 11:15 486次阅读
    基于<b class='flag-5'>OpenVINO</b> Python API部署RT-DETR模型

    OpenVINO场景文字检测与文字识别教程

    OpenVINO是英特尔推出的深度学习模型部署框架,当前最新版本是OpenVINO2023版本。OpenVINO2023自带各种常见视觉任务支持的预训练模型库Model Zoo,其中支持场景文字
    的头像 发表于 09-24 15:31 659次阅读
    <b class='flag-5'>OpenVINO</b>场景文字<b class='flag-5'>检测</b>与文字识别教程

    opencv_videoio_ffmpeg_64.dll缺失,无法在OpenVINO trade中配置OpenCV怎么处理?

    通过实时流协议 (RTSP) 输出粉红色屏幕从 IP 摄像头执行视频。 创建 Video 他们时收到错误。错误: MFX: Can\'t initialize session [ERROR:0
    发表于 08-15 08:24

    在Raspberry Pi上从源代码构建OpenVINO 2021.3收到错误怎么解决?

    2.0 推断引擎管道中创建核心对象。而 OpenVINO™ 2021.3 使用以前的推理引擎管道 API。 建立 OpenVINO™从 2022.1 开始,从源开始使用 OpenVINO
    发表于 08-15 08:24

    如何为各种支持的操作系统更新OpenVINO工具套件环境变量?

    执行 OpenVINO™ 工具套件对象检测演示,但收到错误: [i]没有名称为“openvino”的模块。
    发表于 08-15 08:21

    从Docker映像为Raspbian OpenVINO工具套件的安装过程

    run -it --privileged -v /dev:/dev --network=host openvino-rpi) 使用以下命令运行对象检测示例。转到内部版本样本目录:cd /root
    发表于 08-15 06:59

    OpenVINO工具套件Attribute Error,Graph对象没有属性node怎么解决?

    \"/opt/intel/openvino_2019.3.334/deployment_tools/model_optimizer/mo/main.py\", line 302
    发表于 08-15 06:56

    无法在OpenVINO工具套件中使用ENetwork.层怎么解决?

    OpenVINO™ 工具套件 2021.4 中使用 IENetwork.层 。 收到错误:openvino.inference_engine.ie_api。IENetwork 对象没有属性“层”
    发表于 08-15 06:41

    为什么无法通过Heroku部署OpenVINO™工具套件?

    无法通过 Heroku 部署OpenVINO™工具套件: Importeror:libpython3.9.so.1.0:无法打开共享对象文件:无此类文件或目录
    发表于 08-14 08:58

    利用OpenVINO工具包检测汽车品牌

    检测品牌、车标和形状。 OpenVINO TM的Intel&Distribution工具包是一个全面的工具包,用于快速开发模拟人类视觉的应用程序和解决方案。该工具包以细胞神经网络为基础,将计算机视觉工作负载扩展到IntelR硬件,最大限度地提高性能。
    发表于 08-04 07:36

    使用Openvino从视频中实时检测逃票

    电子发烧友网站提供《使用Openvino从视频中实时检测逃票.zip》资料免费下载
    发表于 06-29 10:53 0次下载
    使用<b class='flag-5'>Openvino</b>从视频中<b class='flag-5'>实时</b><b class='flag-5'>检测</b>逃票

    没有“中间商赚差价”, OpenVINO™ 直接支持 PyTorch 模型对象

    体验—— OpenVINO 的 mo 工具可以直接将 PyTorch 模型对象转化为 OpenVINO 的模型对象,开发者可以不需要将 ONNX 模型作为中间过渡。
    的头像 发表于 06-27 16:39 387次阅读
    没有“中间商赚差价”, <b class='flag-5'>OpenVINO</b>™ 直接支持 PyTorch 模型<b class='flag-5'>对象</b>

    AI爱克斯开发板上使用OpenVINO加速YOLOv8目标检测模型

    《在AI爱克斯开发板上用OpenVINO加速YOLOv8分类模型》介绍了在AI爱克斯开发板上使用OpenVINO 开发套件部署并测评YOLOv8的分类模型,本文将介绍在AI爱克斯开发板上使用OpenVINO加速YOLOv8目标
    的头像 发表于 05-26 11:03 671次阅读
    AI爱克斯开发板上使用<b class='flag-5'>OpenVINO</b>加速YOLOv8目标<b class='flag-5'>检测</b>模型

    在AI爱克斯开发板上用OpenVINO™加速YOLOv8目标检测模型

    《在 AI 爱克斯开发板上用 OpenVINO 加速 YOLOv8 分类模型》介绍了在 AI 爱克斯开发板上使用 OpenVINO 开发套件部署并测评 YOLOv8 的分类模型,本文将介绍在 AI 爱克斯开发板上使用 OpenVINO
    的头像 发表于 05-12 09:08 791次阅读
    在AI爱克斯开发板上用<b class='flag-5'>OpenVINO</b>™加速YOLOv8目标<b class='flag-5'>检测</b>模型