飞桨目标检测端到端开发套件PaddleDetection正式开源车辆分析工具PP-Vehicle

停车场闸机的车牌识别、道路两侧的违停检测、繁华路口的车流统计、茫茫车海中的车辆锁定…这些场景背后的技术原理大家是否在心中简单构思过？抑或想要抽时间自己攒一套出来可却又不知从何下手？——PP-Vehicle来告诉你答案。

继行人分析工具PP-Human之后，飞桨目标检测端到端开发套件PaddleDetection正式开源车辆分析工具PP-Vehicle！

PP-Vehicle功能全景图

PP-Vehicle是一款针对车辆分析相关场景的开源工具，产品主要围绕以下几个方面进行设计开发：

• 实用性：针对车辆分析场景共性的底层模型进行优选迭代；针对几个高频场景进行了详细的后处理策略设计，可以满足业务的快速上线需求。同时提供丰富的二次开发教程，方便用户根据自己的业务场景进行私有化开发。

• 泛化性：在公开数据集以及自采数据集上进行充分训练，并且提供预训练模型，覆盖车辆分析中监控视角、驾驶员视角、俯拍视角等常见相机视角。

• 低代码：实现1行代码快速部署，支持图片、视频、单路/多路rtsp视频流输入，修改配置文件即可快速实现策略修改以及pipeline的组合。

接下来让我们具体看一下PP-Vehicle的工作。

搭配源码食用更佳！

https://github.com/PaddlePaddle/PaddleDetection

记得Star收藏，

防止走丢又实时关注更新！

整体方案

PP-Vehicle技术架构

PP-Vehicle整体分为输入、核心算法、输出三部分：

• 输入：支持离线图片、视频以及rtsp视频流等形式，可根据输入类型快速配置，如下图所示，为输入配置为rtsp拉流的示例。

PP-Vehiclertsp拉流预测示例

• 核心算法：主要由预训练模型以及逻辑策略组成。预训练模型主要有4个：车辆检测模型、车辆跟踪模型、车牌识别模型、车辆属性分析模型。各个模型性能见下表：

预训练模型

违停pipeline配置文件示例

• 输出：包括车牌信息、车辆轨迹、车辆属性、违停信息等；同时支持这些信息的可视化渲染输出，如下图为直接配置可视化信息rtsp推流显示。

rtsp推流展示示例

可视化效果

详见：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED.md

方案简析

PP-Vehicle针对一些高频车辆分析场景提供了详细的解决方案，在这里就主要思路进行简析，详细的解析大家可以关注课后的海报，听一听开发同学的详解。

车牌识别方案：

1. 通过目标检测来获取图片中的车辆检测框，模型方案为PP-YOLOE-l。当输入为视频时，会基于车辆检测框，使用OC-SORT跟踪模型来完成车辆的多目标跟踪；

2. 通过车辆检测框的坐标截取对应位置图像；

3. 使用车牌检测模型在每张车辆截图中识别车牌所在位置，同理截取车牌区域，模型方案为PP-OCRv3车牌检测模型；

4. 使用字符识别模型识别车牌中的字符，模型方案为PP-OCRv3车牌识别模型；

5. 此外还使用了一些优化策略提升速度以及准确率。

1. 使用跳帧策略，每10帧做一次车牌检测，避免每帧做车牌检测的算力消耗；

2. 车牌结果稳定策略，避免单帧结果的波动，利用同一个id的历史所有车牌识别结果进行投票，得到该id最大可能的正确结果；

3. 车辆检测模型联合BDD-100k和UA-DETRAC数据集训练， 车牌检测方案采用CCPD数据集在车牌场景finetune提升检测精度。

详见：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_plate.md

车辆属性识别方案：

1. 车辆属性识别模型使用了PaddleClas的超轻量图像分类方案(PULC，Practical Ultra Lightweight image Classification)。

2. 并在该模型的基础上，进一步使用了以下优化方案：

1. 使用SSLD预训练模型，在不改变推理速度的前提下，精度提升约0.5个百分点；

2. 融合EDA数据增强策略，精度提升0.52个百分点；

3. 使用SKL-UGI知识蒸馏, 精度提升0.23个百分点。

详见：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_attribute.md

违停检测方案：

1. 通过目标检测来获取车辆检测框，模型方案为PP-YOLOE；

2. 基于跟踪算法获取每辆车的轨迹，模型方案为OC-SORT。如果车辆中心在违停区域内且在指定时间内未发生移动，则视为违章停车；

3. 使用车牌识别模型得到违章停车车牌并可视化。

详见：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_illegal_parking.md

二次开发

此外，PP-Vehicle支持二次开发，大家可以在自己的数据集上进行模型训练、策略改写等，定制化自己的专属PP-Vehicle。如下图为车牌识别任务二次开发示例：

二次开发示例

详见：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/docs/advanced_tutorials/customization/ppvehicle_plate.md

部署优化

特别的，PP-Vehicle针对边缘端部署场景进行了优化，如针对Jetson系列模型选择轻量级版本，同时开启跟踪跳帧功能进行优化，同时提供了丰富的部署选项以达到性能-速度的平衡。

Jetson配置参数

详见：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED_en.md#Inference-Deployment

审核编辑 ：李倩