张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

PFLD:简单、快速、超高精度人脸特征点检测算法

2019-03-04 09:10 次阅读

什么样的算法才是好算法?

真正能实用的算法才是最好的算法!

这需要实现三个目标:精度高、速度快、模型小!

近期,arXiv新发布的文章《PFLD: A Practical Facial Landmark Detector》,则是实用人脸特征点检测算法的典范。

PFLD算法,目前主流数据集上达到最高精度、ARM安卓机140fps,模型大小仅2.1M!

这篇新出的论文,必将成为人脸特征点检测领域的重要文献,今天我们就一起来探究一下,PFLD算法到底有什么黑科技。

作者信息:

作者分别来自天津大学、武汉大学、腾讯AI实验室、美国天普大学。

感谢各位大牛!

人脸特征点检测的挑战

作者首先从算法实用性角度讨论了人脸特征点检测问题的面临的挑战。

  • Challenge #1 - Local Variation

人脸表情变化很大,真实环境光照复杂,而且现实中大量存在人脸局部被遮挡的情况等。

  • Challenge #2 - Global Variation

人脸是 3D 的,位姿变化多样,另外因拍摄设备和环境影响,成像质量也有好有坏。

  • Challenge #3 - Data Imbalance

现有训练样本各个类别存在不平衡的问题。

  • Challenge #4 - Model Efficiency

在计算受限的设备比如手机终端,必须要考虑计算速度和模型文件大小问题。

算法思想

作者使用的网络结构如下:

其中,

黄色曲线包围的是主网络,用于预测特征点的位置;

绿色曲线包围的部分为辅网络,在训练时预测人脸姿态(有文献表明给网络加这个辅助任务可以提高定位精度,具体参考原论文),这部分在测试时不需要。

作者主要用两种方法,解决上述问题。

对于上述影响精度的挑战,修改loss函数在训练时关注那些稀有样本,而提高计算速度和减小模型size则是使用轻量级模型。

  • Loss函数设计

Loss函数用于神经网络在每次训练时预测的形状和标注形状的误差。

考虑到样本的不平衡,作者希望能对那些稀有样本赋予更高的权重,这种加权的Loss函数被表达为:

M为样本个数,N为特征点个数,Yn为不同的权重,|| * ||为特征点的距离度量(L1或L2距离)。(以Y代替公式里的希腊字母)

进一步细化Yn:

其中

即为最终的样本权重。

K=3,这一项代表着人脸姿态的三个维度,即yaw, pitch, roll 角度,可见角度越高,权重越大。

C为不同的人脸类别数,作者将人脸分成多个类别,比如侧脸、正脸、抬头、低头、表情、遮挡等,w为与类别对应的给定权重,如果某类别样本少则给定权重大。

  • 主网络

作者使用轻量级的MobileNet,其参数如下:

  • 辅网络

参数如下:

实验结果

作者在主流人脸特征点数据集300W,AFLW上测试了精度,尽管看起来上述模型很简单,但超过了以往文献的最高精度!

下图是在300W上的CED,完美将其他算法的曲线压在下面。

下图为在300W数据集上不同评价标准IPN\IOP精度比较结果,依然是最棒的。

其中PFLD 1X是标准网络,PFLD 0.25X是MobileNet blocks width 参数设为0.25的压缩网络,PFLD 1X+是在WFLW数据集上预训练的网络。

值得一提的是表格中LAB算法,是CVPR2018上出现的优秀算法,之前一直是state-of-the-art。感兴趣的朋友可以参考52CV当时的报道:重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB 。

下图是该算法在AFLW数据集上与其他算法的精度比较:

同样是达到了新高度!

下面来看一下算法处理速度和模型大小,图中C代表i7-6700K CPU,G代表080 Ti GPU,G*代表Titan X GPU,A代表移动平台Qualcomm ARM 845处理器。

PFDL同样是异乎优秀!与精度差别很小的LAB算法相比,CPU上的速度提高了2000倍!

下面是一些特征点检测示例,尽管很多样本难度很大,但PFLD依然给出了可以接受的结果。

 

作者没有开源代码,但给出了Android应用 APK 和Android工程(算法封装在bin文件里)。

这个算法实在是太吸引人了,你是不是也想试一下呢?


原文标题:PFLD:简单、快速、超高精度人脸特征点检测算法

文章出处:【微信号:rgznai100,微信公众号:AI科技大本营】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

龙哥教你1天学会LabVIEW人脸识别

首发labview人脸识别编程,识别率达到97%。在“刷脸”技术不断趋于成熟的今天,提前掌握最新技术,意味先于别人获得职
发表于 04-17 00:00 0次 阅读
龙哥教你1天学会LabVIEW人脸识别

关于人脸识别技术原理分析和应用

脸识别系统可以在Linux 操作系统下利用QT库来开发图形界面,以OpenCV 图像处理库为基础,利....
的头像 兴芯微 发表于 08-26 11:42 37次 阅读
关于人脸识别技术原理分析和应用

估值40亿美金的旷视科技申请IPO AI独角兽上市潮到来

8月26日晚间,旷视科技正式向港交所提交了IPO招股说明书,首次揭开了AI独角兽的神秘面纱。旷视科技....
发表于 08-26 10:22 64次 阅读
估值40亿美金的旷视科技申请IPO AI独角兽上市潮到来

关于人脸识别的历史和发展

2014年,Facebook发表于CVPR14的工作DeepFace将大数据(400万人脸数据)与深....
的头像 兴芯微 发表于 08-26 09:04 22次 阅读
关于人脸识别的历史和发展

【Toybrick RK3399Pro AI开发板试用体验】opencv 人脸识别

opencv 可以实现的功能有很多,这次就试试人脸识别 省心的opencv在example中已经提供了 分类器的级联分类器的文件,省去重复造轮...
发表于 08-25 23:22 18次 阅读
【Toybrick RK3399Pro AI开发板试用体验】opencv 人脸识别

到处刷脸的我们还有隐私可言吗

先进的人脸识别系统已经可以在人群中将你认出来。
发表于 08-23 15:20 71次 阅读
到处刷脸的我们还有隐私可言吗

中科视拓SeetaFace2现已通过GitHub开源人脸识别算法

SeetaFace2采用商业友好的BSD协议,这是在2016年9月开源SeetaFace1.0人脸识....
的头像 电子发烧友网工程师 发表于 08-23 14:00 107次 阅读
中科视拓SeetaFace2现已通过GitHub开源人脸识别算法

传旷视科技准备上市,募资最多10亿美元最快年内挂牌

早前有消息称旷视拟在四月或五月提交上市申请,考虑采用同股不同权架构,募资最多约10亿美元,最快年内挂....
的头像 电子发烧友网工程师 发表于 08-23 12:56 1060次 阅读
传旷视科技准备上市,募资最多10亿美元最快年内挂牌

关于faceID——近红外人脸识别技术的分析介绍

为了减弱环境光对人脸成像的影响,主动光源的强度需要高于环境光,但是强光会对人眼产生干扰,降低用户舒适....
的头像 兴芯微 发表于 08-23 11:07 152次 阅读
关于faceID——近红外人脸识别技术的分析介绍

隐私问题爆发,多个城市开始“拒绝”人脸识别

这之后,随着亚马逊、微软等相继被曝出与政府之间也存在着“人脸识别”技术相关的项目合作,包括将人脸识别....
的头像 倩倩 发表于 08-22 14:46 573次 阅读
隐私问题爆发,多个城市开始“拒绝”人脸识别

场景越铺越广,人脸识别解决了什么痛点?

首先,无论商业上如何包装,人脸识别技术都不能算是一项多么尖端的技术,国外的大型科技公司,诸如亚马逊、....
的头像 倩倩 发表于 08-22 14:43 268次 阅读
场景越铺越广,人脸识别解决了什么痛点?

人脸识别技术系统在“天网工程”的应用解决方案

人脸大库检索功能是指将城镇常住人口数据库、疑犯在逃库或人脸抓拍数据库等人脸信息数据库导入人脸识别服务....
的头像 倩倩 发表于 08-22 14:30 138次 阅读
人脸识别技术系统在“天网工程”的应用解决方案

这是什么神奇算法,“看”一眼就能知道对方是不是犯罪嫌疑人?

Rekognition是亚马逊研发的一款图像分析软件。亚马逊已经将这项技术销售给了美国的几个执法机构....
的头像 倩倩 发表于 08-22 14:27 201次 阅读
这是什么神奇算法,“看”一眼就能知道对方是不是犯罪嫌疑人?

第七届互联网安全大会(ISC 2019)在北京正式拉开帷幕

对于当前的中国安全市场,许多业内人士认为仍然是“一片蓝海”,未来潜力巨大。在这种情况下,“巨头垄断”....
的头像 倩倩 发表于 08-22 14:19 264次 阅读
第七届互联网安全大会(ISC 2019)在北京正式拉开帷幕

生物识别技术的应用与监管亟待加强跨领域、跨部门的顶层设计

市场热情推动了技术革新,尤其在我国——当前,中国的人脸识别技术已处于全球领先地位。美国国家标准与技术....
的头像 倩倩 发表于 08-22 14:16 111次 阅读
生物识别技术的应用与监管亟待加强跨领域、跨部门的顶层设计

科技部印发了《国家新一代人工智能开放创新平台建设工作指引》

随着垃圾分类的推行,北京一小区引入了人脸识别系统,在小区的16个点位安置了26组设备,在智能设备投入....
的头像 倩倩 发表于 08-22 11:12 217次 阅读
科技部印发了《国家新一代人工智能开放创新平台建设工作指引》

越南胡志明国际安防展在西贡展览中心盛大开展

光网视重点向客户展示三层万兆管理光纤交换机、三层工业环网管理交换机、60W超大功率网络设备、管理Po....
的头像 倩倩 发表于 08-22 11:08 283次 阅读
越南胡志明国际安防展在西贡展览中心盛大开展

苹果iPhone新机已经确定时间将定在美国的9月10日正式发布

近段时间,有关iPhone新机的爆料越来越多,而且目前已经确定新机的发布时间将定在美国的9月10日正....
的头像 辽宁锐翔通航 发表于 08-22 10:04 722次 阅读
苹果iPhone新机已经确定时间将定在美国的9月10日正式发布

嵌入式前端人脸识别技术将正式上线

AID.Face是以Tengine/HCL为平台的嵌入式前端人脸识别SDK,可在现有SoC上流畅的使....
发表于 08-21 11:42 50次 阅读
嵌入式前端人脸识别技术将正式上线

智慧警务市场规模,应用分布、案例简述及发展趋势

随着社会经济发展与城市化进程的加快,中国社会维稳压力日益增加,然而警力资源的增长速度远不及潜在危险因....
的头像 GaN世界 发表于 08-20 15:34 173次 阅读
智慧警务市场规模,应用分布、案例简述及发展趋势

中科凯泽:创新创造价值,人工智能技术赋能实业

目前,公司主打人脸识别技术平台产品,包括人脸闸机、识别门禁、识别锁、客流量统计分析仪、智慧工地和背包....
的头像 倩倩 发表于 08-20 15:09 114次 阅读
中科凯泽:创新创造价值,人工智能技术赋能实业

渗透进生活的人工智能

人工智能悄然渗透 生活中的“黑科技”越来越多
的头像 陈翠 发表于 08-20 11:28 326次 阅读
渗透进生活的人工智能

福田区香竹学校配置的智慧校园人脸识别门禁出入解决方案

其实该方案深圳远景达最早携手腾讯等企业巨头在全国大部分学校都进行了尝试,将业内最顶尖的人脸识别技术引....
的头像 倩倩 发表于 08-20 11:05 149次 阅读
福田区香竹学校配置的智慧校园人脸识别门禁出入解决方案

高科技的智能化法院究竟长啥模样?

然而,从2018年12月24日成立截至今年8月13日,这家新法院在短短的近八个月间里,共受理各类案件....
的头像 倩倩 发表于 08-20 11:02 472次 阅读
高科技的智能化法院究竟长啥模样?

美宜居MEYIJU推出了一款可“人脸识别”的智能系统门禁

作为本是阻挡无关人员进入的管理系统,无疑破坏了人们生活状态的平衡。而美宜居MEYIJU这款人脸识别智....
的头像 倩倩 发表于 08-20 10:59 86次 阅读
美宜居MEYIJU推出了一款可“人脸识别”的智能系统门禁

房屋网签系统应采用人脸识别核验交易当事人

房地产开发企业、房地产经纪机构、住房租赁企业、银行业金融机构、交易当事人等办理房屋网签备案的,应当进....
的头像 倩倩 发表于 08-20 10:53 152次 阅读
房屋网签系统应采用人脸识别核验交易当事人

“人脸识别”技术首次亮相于迎新现场,4600余名本科新生"刷脸签到"

据了解,“人脸识别”技术首次亮相于2018年迎新现场,其背后的支持系统将预先采集到的各项信息与现场拍....
的头像 倩倩 发表于 08-20 10:49 350次 阅读
“人脸识别”技术首次亮相于迎新现场,4600余名本科新生"刷脸签到"

长安欧尚X7搭载长安腾讯TINNOVE OS、人脸识别系统以及疲劳检测系统

长安欧尚X7整体造型较为圆润,前脸大尺寸六边形格栅内部波纹横条左右向下延伸,且上下镀铬饰条与两侧LE....
的头像 倩倩 发表于 08-20 10:45 239次 阅读
长安欧尚X7搭载长安腾讯TINNOVE OS、人脸识别系统以及疲劳检测系统

嵌入式视觉技术会让生活变得更加便利

我国首台L4级自动驾驶公交车已经安装嵌入式视觉,高度自动驾驶不需要司机,不需要方向盘并且连油门和刹车....
发表于 08-19 17:12 41次 阅读
嵌入式视觉技术会让生活变得更加便利

人脸识别和人工智能的结合带来非凡体验

深度学习只是机器学习中的一个标准范式,更精确地说,是其中一个算法。深度学习在最大限度上依靠于人脑的概....
发表于 08-19 10:24 17次 阅读
人脸识别和人工智能的结合带来非凡体验

用腾讯优图AI视觉模组做一个驾驶疲劳监测仪

道路千万条,安全第一条,相信每个人都是牢记于心的,“喝酒不开车,开车不喝酒”其实不难,难的是防范始料未及的事件,疲倦就是...
发表于 08-16 12:08 249次 阅读
用腾讯优图AI视觉模组做一个驾驶疲劳监测仪

《长安十二时辰》中竟还内涵了工业互联网的内在逻辑!

厉害了!《长安十二时辰》中竟还内涵了工业互联网的内在逻辑,后续还会有些什么精彩剧情或暗含的古代黑科技....
的头像 工业IoT 发表于 08-12 09:29 352次 阅读
《长安十二时辰》中竟还内涵了工业互联网的内在逻辑!

Improved SRN——最强人脸检测算法!

今天我们不说计算机视觉基础知识,接下来说说AAAI2019一篇比较新颖的Paper,其是中科院自动化....
的头像 传感器技术 发表于 08-09 16:06 265次 阅读
Improved SRN——最强人脸检测算法!

虹软科技与产业链深度合作具体情况

根据上交所官网信息披露,虹软科技股份有限公司(以下简称“虹软科技”)首次公开发行股票并在科创板上市申....
的头像 摄像头观察 发表于 08-08 16:29 1045次 阅读
虹软科技与产业链深度合作具体情况

华为成功收购了俄罗斯的人脸识别系统开发公司VOCORD

据俄罗斯《新闻报》引述接近交易消息人士的话报道称,中国华为公司近期收购了俄罗斯的人脸识别系统开发公司....
的头像 芯智讯 发表于 08-08 10:58 498次 阅读
华为成功收购了俄罗斯的人脸识别系统开发公司VOCORD

实体产业升级换代 离不开服务机器人的参与

服务机器人的应用,加速了实体产业的升级换代,实体产业的智能化发展离不开服务机器人的参与,二者相辅相成....
发表于 08-08 09:47 36次 阅读
实体产业升级换代 离不开服务机器人的参与

人脸识别、指纹识别都太弱了,美国五角大楼研发远距离心跳识别

目前在安全领域,像人脸识别、指纹识别都已经被广泛的应用,而对于安全级别要求更高的领域,虹膜识别则应用....
的头像 芯智讯 发表于 08-07 11:28 443次 阅读
人脸识别、指纹识别都太弱了,美国五角大楼研发远距离心跳识别

人脸识别技术现在已经完善好了吗

如今的人工智能的面部识别算法并不完美。
发表于 08-07 11:00 462次 阅读
人脸识别技术现在已经完善好了吗

了解人脸识别兴起领域的应用方案,探寻面部识别技术的未来

大数据时代的崛起,推动了人脸识别的热潮。
的头像 ZLG致远电子 发表于 08-06 17:38 415次 阅读
了解人脸识别兴起领域的应用方案,探寻面部识别技术的未来

AI可以开始预测犯罪吗

利用基于AI的人脸识别技术进行预测分析,然后就可以帮助警察提前预测罪犯。
发表于 08-06 15:02 46次 阅读
AI可以开始预测犯罪吗

人脸识别的三大模式

人脸识别技术已成人工智能最火热的应用之一,如刷脸登机、刷脸取厕纸、刷脸支付、刷脸考勤、刷脸识别闯红灯的行人、刷脸人脸识别...
发表于 08-06 14:15 233次 阅读
人脸识别的三大模式

生物识别应用在支付方面存在什么风险

生物识别支付目前在技术准备、市场接纳度、商业模式、数据保护,以及相关法律及标准完善等诸方面条件均尚不....
发表于 08-06 09:38 670次 阅读
生物识别应用在支付方面存在什么风险

我们应该还是不应该使用人脸识别

随着技术变得更加主流,面部识别可能会伤害少数人种。
发表于 08-06 09:17 476次 阅读
我们应该还是不应该使用人脸识别

怎样利用人脸识别来保护社区居民

为提升小区安保等级,保障民众生命安全,国内不少生活社区启用了门禁系统。
发表于 08-06 09:12 476次 阅读
怎样利用人脸识别来保护社区居民

怎样确保人脸识别的准确性

近年来机器学习研究蒸蒸日上,人脸识别技术也得到了极大的改善。
发表于 08-06 09:07 479次 阅读
怎样确保人脸识别的准确性

人脸识别的应用包含了哪些领域

人脸识别技术经历了可见光图像人脸识别、三维图像人脸识别/热成像人脸识别、基于主动近红外图像的多光源人....
发表于 08-06 09:04 474次 阅读
人脸识别的应用包含了哪些领域

我国是怎样布局识别产业的

随着人类社会步入信息时代,人们所获取和处理的信息量不断加大。
发表于 08-06 09:00 471次 阅读
我国是怎样布局识别产业的

怎样利用人脸识别技术来取快递

在“刷脸取件”的技术设计中,应用了多种安全机制,以确保用户安全取件。
发表于 08-06 08:56 504次 阅读
怎样利用人脸识别技术来取快递

人脸识别还存在哪些问题

人工智能识别人脸技术还是一项新技术,显然它并不完美,应该谨慎处理。
发表于 08-06 08:53 554次 阅读
人脸识别还存在哪些问题

人脸无感通行是怎么一回事

安防作为人工智能最早落地领域之一,从图像识别到车牌识别,人工智能技术的发展快速推动了人脸识别技术的进....
发表于 08-06 08:49 514次 阅读
人脸无感通行是怎么一回事

你对于人脸识别了解有多少

人脸识别系统,可以广泛应用于公安、金融、机场、地铁、边防口岸等多个对人员身份进行自然比对识别的重要领....
发表于 08-06 08:39 476次 阅读
你对于人脸识别了解有多少

拆解在印度畅销的realme 2,竟有不少中国元器件

为了配合公司海外业务的发展,OPPO在2018年5月在印度正式推出旗下全新的子品牌realme 。作....
的头像 MCA手机联盟 发表于 08-05 10:53 1009次 阅读
拆解在印度畅销的realme 2,竟有不少中国元器件

云从科技入驻,带动上海AI生态高速发展

齐聚张江人工智能岛
的头像 你好张江 发表于 08-05 10:45 774次 阅读
云从科技入驻,带动上海AI生态高速发展

Nokia 2.2安卓智能手机正式在美国市场开售

这款手机搭载了Android 9 Pie操作系统,不过HMD表示,已经为这款机型已经准备好了Andr....
的头像 扩展触控快讯 发表于 08-02 16:49 501次 阅读
Nokia 2.2安卓智能手机正式在美国市场开售

人脸识别会改变什么

导语:人脸识别已经在我们生活中随处可见,但人脸识别将会给我们生活带来便利的同时,也会重新改写我们社交的本质,以及引发隐私...
发表于 07-16 06:26 144次 阅读
人脸识别会改变什么

人脸识别技术在安防领域有哪些应用?

随着人脸识别技术的不断发展与成熟,以及图像采集设备成本日渐降低,数码相机、摄像机、拍照手机的不断普及极大地拓展了人脸识别...
发表于 06-28 11:42 135次 阅读
人脸识别技术在安防领域有哪些应用?

人脸识别跟踪代码核心思想怎么理解

[tr]您好,管理员。       我这在学习 人脸识别跟踪  的代码,里面很多的初始化的代码 (我也是...
发表于 06-28 10:46 502次 阅读
人脸识别跟踪代码核心思想怎么理解

LabVIEW人脸识别“3天挑战赛”,邀你来战!

LabVIEW人脸识别挑战赛一直非常的火热,挑战成功即可退款!给大家看看前期的“3天挑战赛”活动的学习气氛。 任何挑战赛活...
发表于 05-13 15:06 941次 阅读
LabVIEW人脸识别“3天挑战赛”,邀你来战!

奥尼A25高清人像采集摄像头HD1080P自动对焦

奥尼 A25高清人像采集摄像头:HD1080P高清AF自动对焦摄像头,提升工作效率;带LED补光夜视灯,夜晚视频更安心,画质清晰...
发表于 05-08 18:34 181次 阅读
奥尼A25高清人像采集摄像头HD1080P自动对焦

关于LabVIEW做人脸识别所使用的算法问题

有大神能简单说一下这个人脸识别程序用的什么算法吗?谢谢了。 ...
发表于 04-30 11:29 321次 阅读
关于LabVIEW做人脸识别所使用的算法问题

LabVIEW人脸识别设计

五一来临之际,炎炎夏日到处车水马龙,是不是在家好好学习的最佳时机呢? 所以第二期,LabVIEW人脸识别设计“3天挑战赛”...
发表于 04-28 10:00 784次 阅读
LabVIEW人脸识别设计