张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

谷歌公布亚毫秒级的人脸检测算法BlazeFace

新智元 2019-07-18 09:41 次阅读

谷歌近日公布亚毫秒级的人脸检测算法BlazeFace,这是一款专为移动GPU推理量身定制的轻量级人脸检测器,能够以200~1000+ FPS的速度运行,且性能非常卓越!

近年来,深度神经网络的各种架构改进使得实时目标检测成为可能。实验室可以不计一切地开发各种算法追求逼近极限的精度,而实际应用中,响应速度、能耗和精度都重要。这就要求算法的复杂度要低、适合硬件加速。

在移动应用中,实时目标检测往往只是视频处理流程的第一步,接下来是各种特定的任务,如分割、跟踪或几何推理。

因此,运行对象检测模型推理的算法要尽可能快,最好还具有比标准实时基准更高的性能。

谷歌刚刚上传到arXiv的一篇论文BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs,推出了BlazeFace算法,这是一款专为移动GPU推理量身定制的轻量级人脸检测器,且性能非常卓越!

有多卓越呢?谷歌在其旗舰设备测试,结果发现BlazeFace能够以200~1000+ FPS的速度运行。

这种超实时性能使其能够应用于任何需要准确的面部区域,作为特定模型输入的增强现实应用中,例如2D/3D面部关键点或几何估计、面部特征或表情分类、以及面部区域分割等。 

谷歌已经把该算法应用在工业中。

两大算法创新,一切为了又快又好

BlazeFace包括一个轻量级的特征提取网络,其灵感来自于MobileNetV1/V2,但又有所不同。还采取了一种修改过的SSD目标检测算法,使其对GPU更加友好。然后用改进的联合分辨率(tie resolution)策略来替代非极大抑制(Non-maximum suppression)。

BlazeFace可用于检测智能手机前置摄像头捕捉到的图像中的一个或多个人脸。返回的是一个边界框和每个人脸的6个关键点(从观察者的角度看左眼、右眼、鼻尖、嘴、左眼角下方和右眼角下方)。

算法创新包括:

1、与推理速度相关的创新:

提出一种在结构上与MobileNetV1/V2相关的非常紧凑的特征提取器卷积神经网络,专为轻量级对象检测而设计。

提出了一种基于SSD的GPU-friendly anchor机制,旨在提高GPU的利用率。Anchors是预定义的静态边界框,作为网络预测调整的基础,并确定预测粒度。

2、与预测性能相关的创新:

提出一种替代非极大抑制的联合分辨率策略,在重叠预测之间实现更稳定、更平滑的tie resolution。

BlazeBlock (左) 和 double BlazeBlock

BlazeFace的模型架构如上图所示,在设计方面考虑了以下4个因素:

扩大感受野(receptive field)的大小:

虽然大多数现代卷积神经网络架构(包括MobileNet)都倾向于在模型图中使用3×3的卷积核,但我们注意到深度可分离卷积计算主要由它们的点态部分控制。

本研究发现,增加深度部分的内核大小成本并不会增加很多。因此,我们在模型架构中使用了5×5的卷积核,用kernel size的增加来交换达到特定receptive field大小所需的bottlenecks总数的减少。

深度卷积的低开销还允许我们在这两个点卷积之间引入另一个这样的层,从而进一步加速达到所需receptive field。这形成了一个double BlazeBlock,如上图右边所示。

特征提取器(Feature extractor):

在实验中,我们将重点放在前置相机模型的特征提取器上。它必须考虑更小的对象范围,因此具有更低的计算需求。提取器采用128×128像素的RGB输入,包含一个2D卷积,以及5个BlazeBlock和6个 double BlazeBlock,如下表所示:

改进的Anchor 机制:

类似于SSD的对象检测模型依赖于预定义的固定大小的基本边界框,称为priors,或者Faster-R-CNN中提出的术语“Anchor”。

我们将 8×8,4×4 和 2×2 分辨率中的每个像素的 2 个 anchor 替换为 8×8 的 6 个 anchor。由于人脸长宽比的变化有限,因此将 anchor 固定为 1:1 纵横比足以进行精确的面部检测。

pipeline示例。红色:BlazeFace的输出。绿色:特定于任务的模型输出。

后处理机制(Post-processing):

由于我们的feature extractor并没有将分辨率降低到8×8以下,所以与给定对象重叠的anchor的数量会随着对象的大小而显著增加。在典型的非极大抑制场景中,只有一个anchor“胜出”,并被用作最终的算法结果。当这样的模型应用于随后的视频帧时,预测往往会在不同的anchor点之间波动,并表现出明显的人脸框抖动。

为了最小化这个问题,我们用一种混合策略代替了抑制算法,该策略将一个边界框的回归参数估计为重叠预测之间的加权平均值。它实际上不会给原始的NMS算法带来额外的成本。对于我们的人脸检测任务,这个调整使准确率提高了10%。

专为GPU设计,准确度超越MobileNetV2

超实时性能。解需要面部区域作为输入的“任务特定”模型的实时AR pipeline:

准确的3D面部几何

通过Blendshapes进行Puppeteering

面部分割

AR化妆试穿/美化

头发/嘴唇/虹膜重新着色

磨皮

专为移动GPU设计

专为移动GPU和CPU设计

轻量级特征提取网络

更适合GPU的anchor方案

改进了tie resolution策略

GPU上的快速推理

精度

眼间距离的平均绝对误差为10%左右就足够精确了

后续模型的面对齐

生成6个面部关键点坐标

在低端设备上仅使用此模型,实现耳朵等简单特效

原文标题:亚毫秒级手机人脸识别!谷歌BlazeFace算法重大突破, 面向移动GPU

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

龙哥教你1天学会LabVIEW人脸识别

首发labview人脸识别编程,识别率达到97%。在“刷脸”技术不断趋于成熟的今天,提前掌握最新技术,意味先于别人获得职
发表于 04-17 00:00 0次 阅读
龙哥教你1天学会LabVIEW人脸识别

人工智能的升级会导致部分人类失业吗

最近几个月很多人都看到了现在有很多方法解决人工智能“大数据问题”从而带给人工智能巨大推动力,并且已经....
发表于 08-17 10:12 25次 阅读
人工智能的升级会导致部分人类失业吗

Microchip推可显著降低功耗的模拟存储器技术——SuperFlash memBrain

随着人工智能(AI)处理从云端转移至网络边缘,电池供电的深度嵌入式设备在执行AI任务(如计算机视觉和....
发表于 08-16 17:31 55次 阅读
Microchip推可显著降低功耗的模拟存储器技术——SuperFlash memBrain

谷歌超700名员工集体请愿,呼吁放弃政府合同竞标

据消息报道,超过700名谷歌员工集体请愿,要求谷歌公司不要参与美国海关和边境保护局(CBP)云计算合....
的头像 电子发烧友网工程师 发表于 08-16 12:34 270次 阅读
谷歌超700名员工集体请愿,呼吁放弃政府合同竞标

用腾讯优图AI视觉模组做一个驾驶疲劳监测仪

道路千万条,安全第一条,相信每个人都是牢记于心的,“喝酒不开车,开车不喝酒”其实不难,难的是防范始料未及的事件,疲倦就是...
发表于 08-16 12:08 147次 阅读
用腾讯优图AI视觉模组做一个驾驶疲劳监测仪

谷歌Pixel4的隔空操控技术将带来手机界工业革命

谷歌新机Pixel 4被曝光。其可以说是谷歌潜心研发数年的手势操控技术 Soli的应用实机了,将带来....
发表于 08-16 10:32 67次 阅读
谷歌Pixel4的隔空操控技术将带来手机界工业革命

几家科技巨头公司就税收出席美国政府听证会

今日消息,谷歌、亚马逊、Facebook在美国当地时间周一就法国政府的数字服务税出席了美国政府的听证....
的头像 电子发烧友网工程师 发表于 08-16 10:32 125次 阅读
几家科技巨头公司就税收出席美国政府听证会

从谷歌地图来看看智能视频技术

谷歌地图向所有用户开放了AR导航功能。其实早在去年的I/O大会,谷歌便宣布将会在Google地图中集....
发表于 08-16 10:15 17次 阅读
从谷歌地图来看看智能视频技术

美国FTC为遏制市场垄断将计划分拆大型科技公司

美国FTC认为,通过撤销以往的并购交易的方式分拆大型科技公司是遏制市场垄断的办法之一。为遏制垄断,美....
的头像 电子发烧友网工程师 发表于 08-16 09:56 78次 阅读
美国FTC为遏制市场垄断将计划分拆大型科技公司

谷歌发布Android Q的第六个测试版中中新增了哪些功能?

谷歌刚刚发布了Android Q的第六个测试版,同时也是最后一个,再发布就是Android Q正式版....
的头像 高工机器人 发表于 08-15 18:31 214次 阅读
谷歌发布Android Q的第六个测试版中中新增了哪些功能?

谷歌公司正在采取措施来减少其平台上的加密货币广告

尽管谷歌对加密货币和ICO的政策没有任何官方改变,但有几家与ICO合作的公司报告称,谷歌平台上的广告....
发表于 08-15 14:50 14次 阅读
谷歌公司正在采取措施来减少其平台上的加密货币广告

微软公司的员工或承包商可以秘密听取录音

据俄罗斯塔斯社8月15日报道,北美媒体Vice新闻网站周三发消息称,微软公司的员工或承包商可以秘密听....
的头像 联发科技 发表于 08-15 14:47 385次 阅读
微软公司的员工或承包商可以秘密听取录音

2019年Q2智能音箱的全球销量持续飙升,达到3030万台

亚马逊以21.9%的市场份额保持领先,但其份额比2018年Q2的29.1%有所下降。谷歌保持第二,其....
的头像 SiliconLabs 发表于 08-15 14:41 165次 阅读
2019年Q2智能音箱的全球销量持续飙升,达到3030万台

深度理解神经网络黑盒子:可验证性和可解释性

虽然神经网络在近年来 AI 领域取得的成就中发挥了关键作用,但它们依旧只是有限可解释性的黑盒函数近似....
的头像 人工智能学家 发表于 08-15 09:17 67次 阅读
深度理解神经网络黑盒子:可验证性和可解释性

SocionextSoC车载图形显示解决方案

SocionextSoC 设计与应用技术领导厂商Socionext Inc.(以下“公司”)将于20....
的头像 通信圈 发表于 08-13 15:20 92次 阅读
SocionextSoC车载图形显示解决方案

微芯模拟嵌入式SuperFlash技术,提升边缘AI推理能力

随着人工智能(AI)处理从云端转移至网络边缘,电池供电的深度嵌入式设备在执行AI任务(如计算机视觉和....
的头像 电子工程技术 发表于 08-13 09:48 732次 阅读
微芯模拟嵌入式SuperFlash技术,提升边缘AI推理能力

鸿蒙为谁而生?谷歌与华为难免一战

任正非称,鸿蒙系统并不是像大家想象那样用在手机中,做这个系统的时候并不是想替代谷歌的。如果谷歌高端系....
的头像 倩倩 发表于 08-13 09:11 859次 阅读
鸿蒙为谁而生?谷歌与华为难免一战

如何利用BP神经网络方法模拟电路故障诊断系统?

随着现代电子技术的飞速发展,大规模、超大规模集成电路越来越普及,常规的故障诊断方法如故障字典法、参数识别法、故障验证法等...
发表于 08-13 07:39 28次 阅读
如何利用BP神经网络方法模拟电路故障诊断系统?

应用于人们生活中的AR技术

近日,华为发布《全球产业展望GIV@2025》白皮书表示,2025年,全球14%的家庭将拥有家用智能....
发表于 08-12 15:41 76次 阅读
应用于人们生活中的AR技术

谷歌表示到2022年该公司生产的智能终端产品均采用可回收的环保材料

近日,谷歌对外放出豪言表示,至2022年,该公司将实现变个性的创新,即保证公司推出的所有硬件产品均采....
发表于 08-12 11:47 41次 阅读
谷歌表示到2022年该公司生产的智能终端产品均采用可回收的环保材料

谷歌Pixel4谍照曝光 90Hz屏幕刷新率+骁龙855处理器

对于谷歌来说,他们在硬件制造上投入的精力是越来越大,特别是智能手机业务上,当然他们也应该这样做,毕竟....
的头像 39度创意研究所 发表于 08-12 11:06 406次 阅读
谷歌Pixel4谍照曝光 90Hz屏幕刷新率+骁龙855处理器

《长安十二时辰》中竟还内涵了工业互联网的内在逻辑!

厉害了!《长安十二时辰》中竟还内涵了工业互联网的内在逻辑,后续还会有些什么精彩剧情或暗含的古代黑科技....
的头像 工业IoT 发表于 08-12 09:29 277次 阅读
《长安十二时辰》中竟还内涵了工业互联网的内在逻辑!

AI女神与谷歌分手,CMU大牛安德鲁.摩尔继任

恭喜摩尔接任李飞飞的任务,继续为AI领域的发展和研究做出努力。
的头像 Linux爱好者 发表于 08-11 11:10 149次 阅读
AI女神与谷歌分手,CMU大牛安德鲁.摩尔继任

华为邀请热门应用开发者入驻 AppGallery

华为正在向 Google Play 热门应用的开发者发出邀请,请他们到华为 AppGallery 应....
的头像 Linux爱好者 发表于 08-11 09:51 306次 阅读
华为邀请热门应用开发者入驻 AppGallery

美国的哪些州的互联网最好和最差呢?

互联网速度通常由下载速度和上传速度表示,这两种速度都是以兆位/秒(或Mbps)为单位测量的。我们最近....
的头像 IEEE电气电子工程师学会 发表于 08-10 10:42 402次 阅读
美国的哪些州的互联网最好和最差呢?

Fuchsia OS 悄然上线,支持多平台运行

谷歌自研的操作系统 Fuchsia OS 又有新动作了。
的头像 Linux爱好者 发表于 08-09 17:28 749次 阅读
Fuchsia OS 悄然上线,支持多平台运行

Improved SRN——最强人脸检测算法!

今天我们不说计算机视觉基础知识,接下来说说AAAI2019一篇比较新颖的Paper,其是中科院自动化....
的头像 传感器技术 发表于 08-09 16:06 180次 阅读
Improved SRN——最强人脸检测算法!

媲美人类水平的人工智能有望五年后问世

据英国《金融时报》网站8月3日报道,人工智能(AI)非营利组织开放人工智能研究中心(OpenAI)董....
发表于 08-09 10:03 51次 阅读
媲美人类水平的人工智能有望五年后问世

谷歌发布AndroidQBeta6测试版 打磨终于接近尾声

Android Q终于接近打磨完成了。
的头像 39度创意研究所 发表于 08-08 17:25 201次 阅读
谷歌发布AndroidQBeta6测试版 打磨终于接近尾声

虹软科技与产业链深度合作具体情况

根据上交所官网信息披露,虹软科技股份有限公司(以下简称“虹软科技”)首次公开发行股票并在科创板上市申....
的头像 摄像头观察 发表于 08-08 16:29 912次 阅读
虹软科技与产业链深度合作具体情况

Android Q测试版代码中泄露谷歌Pixel 4细节

据外媒XDA晒出的代码显示,新一代谷歌旗舰Pixel 4系列的相机模组将包含一枚长焦镜头。
的头像 摄像头观察 发表于 08-08 14:35 265次 阅读
Android Q测试版代码中泄露谷歌Pixel 4细节

深入介绍智能相机市场、终端设备嵌入神经网络加速器日益增长的需求

像Google Clip这样的AI摄像头得到了褒贬不一的评价,但是对于这项技术下结论还为时尚早。
的头像 Imagination Tech 发表于 08-08 11:13 336次 阅读
深入介绍智能相机市场、终端设备嵌入神经网络加速器日益增长的需求

Imagination 的神经网络加速器在边缘计算领域的应用

神经网络加速赋能端侧智能
的头像 Imagination Tech 发表于 08-08 10:59 389次 阅读
Imagination 的神经网络加速器在边缘计算领域的应用

华为成功收购了俄罗斯的人脸识别系统开发公司VOCORD

据俄罗斯《新闻报》引述接近交易消息人士的话报道称,中国华为公司近期收购了俄罗斯的人脸识别系统开发公司....
的头像 芯智讯 发表于 08-08 10:58 414次 阅读
华为成功收购了俄罗斯的人脸识别系统开发公司VOCORD

谷歌Pixel4或搭载90Hz屏幕 内置FaceID全部套件

近日,据外媒报道,谷歌新一代原生安卓旗舰Pixel 4可能将搭载90Hz屏幕!
的头像 39度创意研究所 发表于 08-08 10:08 194次 阅读
谷歌Pixel4或搭载90Hz屏幕 内置FaceID全部套件

实体产业升级换代 离不开服务机器人的参与

服务机器人的应用,加速了实体产业的升级换代,实体产业的智能化发展离不开服务机器人的参与,二者相辅相成....
发表于 08-08 09:47 30次 阅读
实体产业升级换代 离不开服务机器人的参与

深层复杂网络论文的资料免费下载

目前,大多数用于深度学习的构建块、技术和体系结构都是基于实值操作和表示的。然而,最近对递归神经网络和....
发表于 08-08 08:00 34次 阅读
深层复杂网络论文的资料免费下载

人脸识别、指纹识别都太弱了,美国五角大楼研发远距离心跳识别

目前在安全领域,像人脸识别、指纹识别都已经被广泛的应用,而对于安全级别要求更高的领域,虹膜识别则应用....
的头像 芯智讯 发表于 08-07 11:28 367次 阅读
人脸识别、指纹识别都太弱了,美国五角大楼研发远距离心跳识别

人脸识别技术现在已经完善好了吗

如今的人工智能的面部识别算法并不完美。
发表于 08-07 11:00 279次 阅读
人脸识别技术现在已经完善好了吗

VR设备市场正在从低端转向中高端

随着对谷歌的Cardboard和Daydream产品以及三星的Gear VR的需求锐减,虚拟现实硬件....
发表于 08-07 09:37 50次 阅读
VR设备市场正在从低端转向中高端

了解人脸识别兴起领域的应用方案,探寻面部识别技术的未来

大数据时代的崛起,推动了人脸识别的热潮。
的头像 ZLG致远电子 发表于 08-06 17:38 338次 阅读
了解人脸识别兴起领域的应用方案,探寻面部识别技术的未来

得谷歌的GMS认证与授权,郭明錤:认为华为手机出货量冲2.6亿可期

7月15日,著名苹果分析师郭明錤指出,华为新手机有望于本(7)月重新取得谷歌的GMS认证与授权。取得....
的头像 MCA手机联盟 发表于 08-06 17:10 353次 阅读
得谷歌的GMS认证与授权,郭明錤:认为华为手机出货量冲2.6亿可期

AI可以开始预测犯罪吗

利用基于AI的人脸识别技术进行预测分析,然后就可以帮助警察提前预测罪犯。
发表于 08-06 15:02 42次 阅读
AI可以开始预测犯罪吗

构建适合我国国情的自动驾驶交通框架!

谷歌自动驾驶是个大坑
的头像 嵌入式资讯精选 发表于 08-06 15:00 191次 阅读
构建适合我国国情的自动驾驶交通框架!

行业 | 谷歌浏览器现新BUG,CPU 利用率飙至100%

遇到此 Bug 只需关闭选项卡和浏览器即可。
的头像 嵌入式资讯精选 发表于 08-06 14:48 265次 阅读
行业 | 谷歌浏览器现新BUG,CPU 利用率飙至100%

机器学习全靠调参?谷歌大脑新研究:神经网络构建超强网络

只靠神经网络架构搜索出的网络,不训练,不调参,就能直接执行任务。
的头像 嵌入式资讯精选 发表于 08-06 14:18 399次 阅读
机器学习全靠调参?谷歌大脑新研究:神经网络构建超强网络

人脸识别的三大模式

人脸识别技术已成人工智能最火热的应用之一,如刷脸登机、刷脸取厕纸、刷脸支付、刷脸考勤、刷脸识别闯红灯的行人、刷脸人脸识别...
发表于 08-06 14:15 183次 阅读
人脸识别的三大模式

谷歌的Pixel4系列即将推出,还公布了预热视频

虽然目前看来,要等到今年10月份谷歌的Pixel4系列才会正式推出,但是谷歌似乎并不想像其他厂商一样....
的头像 科技美学 发表于 08-06 11:46 419次 阅读
谷歌的Pixel4系列即将推出,还公布了预热视频

生物识别应用在支付方面存在什么风险

生物识别支付目前在技术准备、市场接纳度、商业模式、数据保护,以及相关法律及标准完善等诸方面条件均尚不....
发表于 08-06 09:38 485次 阅读
生物识别应用在支付方面存在什么风险

我们应该还是不应该使用人脸识别

随着技术变得更加主流,面部识别可能会伤害少数人种。
发表于 08-06 09:17 295次 阅读
我们应该还是不应该使用人脸识别

怎样利用人脸识别来保护社区居民

为提升小区安保等级,保障民众生命安全,国内不少生活社区启用了门禁系统。
发表于 08-06 09:12 300次 阅读
怎样利用人脸识别来保护社区居民

怎样确保人脸识别的准确性

近年来机器学习研究蒸蒸日上,人脸识别技术也得到了极大的改善。
发表于 08-06 09:07 301次 阅读
怎样确保人脸识别的准确性

人脸识别的应用包含了哪些领域

人脸识别技术经历了可见光图像人脸识别、三维图像人脸识别/热成像人脸识别、基于主动近红外图像的多光源人....
发表于 08-06 09:04 293次 阅读
人脸识别的应用包含了哪些领域

神经网络的灵感和驱动

人脑中的神经系统精密而复杂 成人的大脑拥有超过1000亿个神经元[MOU1] 每天要进行数万次的计算 计算机系统发展到今天 仍...
发表于 07-29 08:36 39次 阅读
神经网络的灵感和驱动

CMSIS-NN神经网络内核助力微控制器效率提升

目前,在许多需要在本地进行数据分析的“永远在线”的物联网边缘设备中,神经网络正在变得越来越普及,主要是因为可以有效地同时...
发表于 07-23 08:08 50次 阅读
CMSIS-NN神经网络内核助力微控制器效率提升

【案例分享】ART神经网络与SOM神经网络

今天学习了两个神经网络,分别是自适应谐振(ART)神经网络与自组织映射(SOM)神经网络。整体感觉不是很难,只不过一些最...
发表于 07-21 04:30 158次 阅读
【案例分享】ART神经网络与SOM神经网络

【案例分享】基于BP算法的前馈神经网络

BP神经网络 首先给出只包含一个隐层的BP神经网络模型(两层神经网络): BP神经网络其实由两部分组成: 前馈神经网络:...
发表于 07-21 04:00 209次 阅读
【案例分享】基于BP算法的前馈神经网络

卷积神经网络如何使用

卷积神经网络(CNN)究竟是什么,鉴于神经网络在工程上经历了曲折的历史,您为什么还会在意它呢? 对于这些非常中肯的问题,我们...
发表于 07-17 07:21 69次 阅读
卷积神经网络如何使用

嵌入式视觉系统揭秘

今年嵌入式视觉峰会的论文为以光为输入的嵌入式系统建议了多种方法,以及使这些输入发挥作用所需要的各种算法和硬件实现。应用包...
发表于 07-17 07:13 70次 阅读
嵌入式视觉系统揭秘

OpenCL平台和英特尔Stratix 10 FPGA的结合使用

在这个高度依赖图像的时代,英特尔® FPGA 可利用 OpenCL™ 平台满足巨大的图像处 理和分类需求 简介 从 2015 年到 202...
发表于 07-17 06:34 116次 阅读
OpenCL平台和英特尔Stratix 10 FPGA的结合使用