基于LockAI视觉识别模块：C++人脸识别

本文基于RV1106做成的LockAI视觉识别模块，采用 LZ-Picodet 模型训练的人脸检测模型 LZ-Face，以及ArcFace人脸识别模型，实现人脸识别系统。

源代码：https://gitee.com/LockzhinerAI/LockzhinerVisionModule/tree/master/Cpp_example/D03_face_recognition_system

1. 基本知识讲解

1.1 人脸识别简介

人脸识别是一种利用人的脸部特征进行身份识别的生物识别技术。它通过检测图像或视频中的人脸，提取如眼睛、鼻子和嘴巴等关键特征点，并将这些信息转化为面部特征向量，进而与已知人脸数据库中的数据比对来确认个人身份。被广泛应用于安全监控、门禁系统、移动设备解锁及社交媒体等领域。

1.2 人脸识别常用方法

人脸识别主要涉及到以下几个关键步骤：人脸检测、特征提取和匹配识别。以下是实现人脸识别的常用方法：

深度学习方法：现代的人脸识别系统大多采用深度学习方法，并结合大规模人脸数据库和高性能计算资源，实现了非常高的识别精度。

基于模板匹配的方法：通过将待识别人脸与预定义的标准人脸模板进行比较来实现识别。

---

2. C++ API 文档

2.1 FaceRecognitionSystem类

2.1.1 头文件

#include

作用：用于声明FaceRecognitionSystem类，使得FaceRecognitionSystem类可以在当前文件中使用。

2.1.2 构造类函数

lockzhiner_vision_module::FaceRecognitionSystemface_system;

作用：用于实现人脸识别。

参数说明：

无

返回值：

无

2.1.3 Predict函数

autoresult=face_system.Predict(input_mat);

作用：FaceRecognitionSystem类中的一个函数，用于实现人脸识别。

参数说明：

input_mat：要识别的图像。

返回值：

返回一个包含人脸识别结果的对象。该对象包含人脸的id，置信度和人脸的位置信息。

2.2 Visualize函数

2.2.1 头文件

#include

作用：用于声明Visualize函数，使得Visualize函数可以在当前源文件中使用。

2.2.2 结果可视化

lockzhiner_vision_module::Visualize(input_mat,output_image,result);

参数说明：

input_mat：原始输入图像。

output_image：用于存储带有可视化结果的输出图像。

result：输入参数，表示人脸识别的结果。该result对象包含人脸的id，置信度和人脸的位置信息。

返回值：

无

---

3. 综合代码解析

3.1 流程图

3.2 核心代码解析

初始化人脸识别模型

lockzhiner_vision_module::FaceRecognitionSystemface_system;

构建人脸数据库

if(!face_system.BuildDatabase(argv[3],argv[4])) {
std::cout<<"Failed to build database."<<std::endl;
return1;
}

调用摄像头捕获图像

cv::VideoCapturecap;
// 设置摄像头获取帧的宽高
cap.set(cv::CAP_PROP_FRAME_WIDTH,640);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,480);
cap.open(0);

// wihile循环中的以下代码用于捕获图像帧
cap>>input_mat;
if(input_mat.empty())
{
continue;
}

模型推理

autoresult=face_system.Predict(input_mat);

3.3 完整代码实现

#include
#include
#include
#include
#include
#include
#include
#include

usingnamespacestd::chrono;

lockzhiner_vision_module::FaceRecognitionSystemface_system;

intmain(intargc,char*argv[])
{
if(argc!=5)
{
std::cerr<<"Usage: Test-Face-Recognition-System det_model_path "
"rec_model_path database_root crop_root"
<<std::endl;
return1;
}

if(!face_system.Initialize(argv[1],argv[2]))
{
std::cout<<"Failed to initialize face system."<<std::endl;
return1;
}

if(!face_system.BuildDatabase(argv[3],argv[4]))
{
std::cout<<"Failed to build database."<<std::endl;
return1;
}
// 初始化 edit 模块
lockzhiner_vision_module::Editedit;
if(!edit.StartAndAcceptConnection())
{
std::cerr<<"Error: Failed to start and accept connection."<<std::endl;
returnEXIT_FAILURE;
}
std::cout<<"Device connected successfully."<<std::endl;

cv::VideoCapturecap;
// 设置摄像头捕获帧的宽高
cap.set(cv::CAP_PROP_FRAME_WIDTH,640);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,480);
cap.open(0);

if(!cap.isOpened())
{
std::cerr<<"Error: Could not open camera."<<std::endl;
returnEXIT_FAILURE;
}

cv::Matinput_mat;
while(true)
{
intread_index=0;
inttime_ms=0;
for(inti=0;i<30;i++)
{
// 获取当前时间点作为开始时间
high_resolution_clock::time_pointstart_time=
high_resolution_clock::now();
cap>>input_mat;
if(input_mat.empty())
{
continue;
}
// 使用 model 对象的 Predict 方法对输入图像进行预测
autoresult=face_system.Predict(input_mat);
// 获取当前时间点作为结束时间
high_resolution_clock::time_pointend_time=high_resolution_clock::now();
autotime_span=duration_cast<milliseconds>(end_time-start_time);
time_ms+=time_span.count();
read_index+=1;

cv::Matoutput_image;
lockzhiner_vision_module::Visualize(input_mat,output_image,
result);
// 使用 edit 模块处理帧
edit.Print(output_image);
}
std::cout<<"Frames per second: "<<1000.0/time_ms*read_index
<<std::endl;
}
// 释放摄像头资源
cap.release();
return0;
}

---

4. 编译调试

4.1 编译环境搭建

请确保你已经按照开发环境搭建指南正确配置了开发环境。

同时已经正确连接开发板。

4.2 Cmake介绍

cmake_minimum_required(VERSION3.10)

project(D03_face_recognition_system)

set(CMAKE_CXX_STANDARD17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 定义项目根目录路径
set(PROJECT_ROOT_PATH"${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = "${PROJECT_ROOT_PATH})

include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")

# 定义 OpenCV SDK 路径
set(OpenCV_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR"${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES"${OpenCV_LIBS}")

# 定义 LockzhinerVisionModule SDK 路径
set(LockzhinerVisionModule_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR"${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)

add_executable(Test-face-recognition-system face_recognition_system.cc)
target_include_directories(Test-face-recognition-system PRIVATE${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-face-recognition-system PRIVATE${OPENCV_LIBRARIES}${LOCKZHINER_VISION_MODULE_LIBRARIES})

install(
TARGETS Test-face-recognition-system
RUNTIME DESTINATION .
)

4.3 编译项目

使用 Docker Destop 打开 LockzhinerVisionModule 容器并执行以下命令来编译项目

# 进入Demo所在目录
cd/LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/D03_face_recognition_system
# 创建编译目录
rm-rfbuild &&mkdirbuild &&cdbuild
# 配置交叉编译工具链
exportTOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置项目
cmake ..
# 执行编译项目
make-j8&&makeinstall

在执行完上述命令后，会在build目录下生成可执行文件。

---

5. 例程运行示例

5.1 运行前准备

请确保你已经下载了凌智视觉模块人脸检测模型

请确保你已经下载了凌智视觉模块人脸识别模型

5.2 运行过程

在凌智视觉模块输入以下命令：

chmod777Test-face-recognition-system
./Test-face-recognition-system LZ-Face LZ-ArcFace BaseDataset CropDataset

5.3 运行效果