三种主流模型部署框架YOLOv8推理演示

前言

深度学习模型部署有OpenVINO、ONNXRUNTIME、TensorRT三个主流框架，均支持Python与C++的SDK使用。对YOLOv5~YOLOv8的系列模型，均可以通过C++推理实现模型部署。这里以YOLOv8为例，演示了YOLOv8对象检测模型在OpenVINO、ONNXRUNTIME、TensorRT三个主流框架上C++推理演示效果。所有测试均基于我笔记本电脑，相关的硬件配置如下：

CPU i7
GPU3050ti
Win10 64

代码演示

OpenVINO + CPU部署、ONNXRUNTIME + GPU部署、TensorRT + GPU部署YOLOv8对象检测代码已经封装成C++类，通过客户端三行代码即可调用，演示效果分别如下：

OpenVINO + CPU YOLOv8对象检测推理

ONNXRUNTIME + GPU YOLOv8对象检测推理

TensorRT + GPU YOLOv8对象检测推理

客户端初始化代码如下： 初始化OpenVINO+YOLOv8封装类实例

std::shared_ptrdetector(new YOLOv8OpenVINODetector());

初始化ONNXRUNTIEM+YOLOv8封装类实例

std::shared_ptrdetector(new YOLOv8ORTDetector());

初始化TensorRT+YOLOv8封装类实例

std::shared_ptrdetector(new YOLOv8TRTDetector());

客户端推理代码如下：

detector->initConfig("D:/python/my_yolov8_train_demo/yolov8n.engine", 0.4, 0.25f);
cv::VideoCapture capture("D:/bird_test/Pexels_Videos_2670.mp4");
cv::Mat frame;
std::vector results;
while (true) {
  bool ret = capture.read(frame);
  if (frame.empty()) {
    break;
  }
  detector->detect(frame, results);
  for (DetectResult dr : results) {
    cv::Rect box = dr.box;
    cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
  }
  cv::imshow("YOLOv8 + TensorRT - by gloomyfish", frame);
  char c = cv::waitKey(1);
  if (c == 27) { // ESC 退出
    break;
  }
  // reset for next frame
  results.clear();
}
return 0;
}

审核编辑：汤梓红