电子发烧友App
一、项目介绍前言
人脸识别作为一种生物特征识别技术，具有非侵扰性、非接触性、友好性和便捷性等优点。人脸识别通用的流程主要包括人脸检测、人脸裁剪、人脸校正、特征提取和人脸识别。人脸检测是从获取的图像中去除干扰，提取人脸信息，获取人脸图像位置，检测的成功率主要受图像质量，光线强弱和遮挡等因素影响。下图是整个人脸检测过程。 
二、识别检测方法传统识别方法
（1）基于点云数据的人脸识别
（2）基于面部特征的3D人脸识别深度学习识别方法
（1）基于深度图的人脸识别
（2）基于RGB-3DMM的人脸识别
（3）基于RGB-D的人脸识别 本文方法关键点定位概述
一般人脸中有5个关键点，其中包括眼睛两个，鼻子一个，嘴角两个。还可以细致的分为68个关键点，这样的话会概括的比较全面，我们本次研究就是68个关键点定位。 
上图就是我们定位人脸的68个关键点，其中他的顺序是要严格的进行排序的。从1到68点的顺序不能错误。 
项目解析 使用机器学习框架dlib做本次的项目。首先我们要指定参数时，要把dlib中的68关键点人脸定位找到。设置出来的68关键点人脸定位找到。并且设置出来。
from collecTIons import OrderedDict
import numpy as np
import argparse
import dlib
import cv2
首先我们导入工具包。其中dlib库是通过这个网址http://dlib.net/files/进行下载的。然后我们导入参数。
ap = argparse.ArgumentParser（）
ap.add_argument（“-p”， “--shape-predictor”， required=True，
help=“path to facial landmark predictor”）
ap.add_argument（“-i”， “--image”， required=True，
help=“path to input image”）
args = vars（ap.parse_args（））
这里我们要设置参数，--shape-predictor shape_predictor_68_face_landmarks.dat --image images/lanqiudui.jpg。
如果一张图像里面有多个人脸，那么我们分不同部分进行检测，裁剪出来所对应的ROI区域。我们的整体思路就是先检测人脸所在的一个区域位置，然后检测鼻子相对于人脸框所在的一个位置，比如说人的左眼睛在0.2w，0.2h的人脸框处。
FACIAL_LANDMARKS_68_IDXS = OrderedDict（［
（“mouth”， （48， 68）），
（“right_eyebrow”， （17， 22）），
（“left_eyebrow”， （22， 27）），
（“right_eye”， （36， 42）），
（“left_eye”， （42， 48）），
（“nose”， （27， 36）），
（“jaw”， （0， 17））
］）
这个是68个关键点定位的各个部位相对于人脸框的所在位置。分别对应着嘴，左眼、右眼、左眼眉、右眼眉、鼻子、下巴。
FACIAL_LANDMARKS_5_IDXS = OrderedDict（［
（“right_eye”， （2， 3）），
（“left_eye”， （0， 1）），
（“nose”， （4））
］）
如果是5点定位，那么就需要定位左眼、右眼、鼻子。0、1、2、3、4分别表示对应的5个点。
detector = dlib.get_frontal_face_detector（）
predictor = dlib.shape_predictor（args［“shape_predictor”］）
加载人脸检测与关键点定位。加载出来。其中detector默认的人脸检测器。然后通过传入参数返回人脸检测矩形框4点坐标。其中predictor以图像的某块区域为输入，输出一系列的点（point locaTIon）以表示此图像region里object的姿势pose。返回训练好的人脸68特征点检测器。
image = cv2.imread（args［“image”］）
（h， w） = image.shape［：2］
width=500
r = width / float（w）
dim = （width， int（h * r））
image = cv2.resize（image， dim， interpolaTIon=cv2.INTER_AREA）
gray = cv2.cvtColor（image， cv2.COLOR_BGR2GRAY）
这里我们把数据读了进来，然后进行需处理，提取h和w，其中我们自己设定图像的w为500，然后按照比例同比例设置h。然后进行了resize操作，最后转化为灰度图。
rects = detector（gray， 1）
这里调用了detector的人脸框检测器，要使用灰度图进行检测，这个1是重采样个数。这里面返回的是人脸检测矩形框4点坐标。然后对检测框进行遍历
for （i， rect） in enumerate（rects）：
# 对人脸框进行关键点定位
# 转换成ndarray
shape = predictor（gray， rect）
shape = shape_to_np（shape）
这里面返回68个关键点定位。shape_to_np这个函数如下。
def shape_to_np（shape， dtype=“int”）：
# 创建68*2
coords = np.zeros（（shape.num_parts， 2）， dtype=dtype）
# 遍历每一个关键点
# 得到坐标
for i in range（0， shape.num_parts）：
coords［i］ = （shape.part（i）.x， shape.part（i）.y）
return coords
这里shape_to_np函数的作用就是得到关键点定位的坐标。
for （name， （i， j）） in FACIAL_LANDMARKS_68_IDXS.items（）：
clone = image.copy（）
cv2.putText（clone， name， （10， 30）， cv2.FONT_HERSHEY_SIMPLEX，
0.7， （0， 0， 255）， 2）
# 根据位置画点
for （x， y） in shape［i:j］：
cv2.circle（clone， （x， y）， 3， （0， 0， 255）， -1）
# 提取ROI区域
（x， y， w， h） = cv2.boundingRect（np.array（［shape［i:j］］））
roi = image［y:y + h， x:x + w］
（h， w） = roi.shape［：2］
width=250
r = width / float（w）
dim = （width， int（h * r））
roi = cv2.resize（roi， dim， interpolaTIon=cv2.INTER_AREA）
# 显示每一部分
cv2.imshow（“ROI”， roi）
cv2.imshow（“Image”， clone）
cv2.waitKey（0）
这里字典FACIAL_LANDMARKS_68_IDXS.items（）是同时提取字典中的key和value数值。然后遍历出来这几个区域，并且进行显示具体是那个区域，并且将这个区域画圆。随后提取roi区域并且进行显示。后面部分就是同比例显示w和h。然后展示出来。
output = visualize_facial_landmarks（image， shape）
cv2.imshow（“Image”， output）
cv2.waitKey（0）
最后展示所有区域。 其中visualize_facial_landmarks函数就是：
def visualize_facial_landmarks（image， shape， colors=None， alpha=0.75）：
# 创建两个copy
# overlay and one for the final output image
overlay = image.copy（）
output = image.copy（）
# 设置一些颜色区域
if colors is None：
colors = ［（19， 199， 109）， （79， 76， 240）， （230， 159， 23），
（168， 100， 168）， （158， 163， 32），
（163， 38， 32）， （180， 42， 220）］
# 遍历每一个区域
for （i， name） in enumerate（FACIAL_LANDMARKS_68_IDXS.keys（））：
# 得到每一个点的坐标
（j， k） = FACIAL_LANDMARKS_68_IDXS［name］
pts = shape［j:k］
# 检查位置
if name == “jaw”：
# 用线条连起来
for l in range（1， len（pts））：
ptA = tuple（pts［l - 1］）
ptB = tuple（pts［l］）
cv2.line（overlay， ptA， ptB， colors［i］， 2）
# 计算凸包
else：
hull = cv2.convexHull（pts）
cv2.drawContours（overlay， ［hull］， -1， colors［i］， -1）
# 叠加在原图上，可以指定比例
cv2.addWeighted（overlay， alpha， output， 1 - alpha， 0， output）
return output
这个函数是计算cv2.convexHull凸包的，也就是下图这个意思。 
这个函数cv2.addWeighted是做图像叠加的。
src1， src2：需要融合叠加的两副图像，要求大小和通道数相等 alpha：src1 的权重 beta：src2 的权重 gamma：gamma 修正系数，不需要修正设置为 0 dst：可选参数，输出结果保存的变量，默认值为 None dtype：可选参数，输出图像数组的深度，即图像单个像素值的位数（如 RGB 用三个字节表示，则为 24 位），选默认值 None 表示与源图像保持一致。 dst = src1 × alpha + src2 × beta + gamma;上面的式子理解为，结果图像 = 图像 1× 系数 1+图像 2× 系数 2+亮度调节量。
编辑：黄飞
工商网监
评论