【四旋翼飞行器】76小时吃透四轴算法!史上最强软硬结合实战项目,👉戳此立抢👈

AlphaPose是一个实时多人姿态估计系统

新智元 2018-09-08 09:11 次阅读

上海交通大学卢策吾团队MVIG实验室最新上线了他们此前开源的实时人体姿态估计系统AlphaPose的升级版。新系统采用 PyTorch 框架,在姿态估计标准测试集COCO上达到当前最高精度71mAP,同时平均速度20FPS,比Mask-RCNN速度快3倍。

AlphaPose是一个实时多人姿态估计系统。

今年2月,上海交通大学卢策吾团队MVIG实验室AlphaPose 系统上线,是首个在 COCO 数据集上可达到 70+ mAP 的开源姿态估计系统。本次更新,在精度不下降情况下,实时性是一大提升亮点。

新系统采用 PyTorch 框架,在姿态估计(Pose Estimation)标准测试集COCO validation set上,达到 71mAP的精度(比 OpenPose 相对提升17%,Mask-RCNN相对提升8%),同时,速度达到了20FPS(比 OpenPose 相对提高66%,Mask-RCNN相对提高300%)。

再次感受一下升级后AlphaPose的速度

检测精度不变,平均速度比Mask-RCNN快3倍

人体关键点检测对于描述人体姿态,预测人体行为至关重要。因此,人体关键点检测是诸多计算机视觉任务的基础。其在动作分类,异常行为检测,以及人机交互等领域有着很广阔的应用前景,是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。

AlphaPose系统,是基于上海交大MVIG组提出的 RMPE 二步法框架(ICCV 2017论文)构建的,相比其他开源系统在准确率有很大提高,比OpenPose相对提高17%,Mask-RCNN相对提高8.2%。 

升级后,各个开源框架在COCO-Validation上性能,时间在单卡1080ti GPU测出指标如下:


基于PyTorch框架,在人体姿态估计模型中引入Attention模块

新版 AlphaPose 系统,架设在 PyTorch 框架上,得益于Python的灵活性,新系统对用户更加友好,安装使用过程更加简易,同时支持Linux与Windows系统使用,方便进行二次开发。此外,系统支持图片、视频、摄像头输入,实时在线计算出多人的姿态结果。

为了在兼顾速度的同时保持精度,新版AlphaPose提出了一个新的姿态估计模型。模型的骨架网络使用 ResNet101,同时在其下采样部分添加 SE-block 作为 attention 模块——已经有很多实验证明,在 Pose Estimation 模型中引入 attention 模块能提升模型的性能,而仅在下采样部分添加 SE-block 能使 attention 以更少的计算量发挥更好的效果。

除此之外,使用 PixelShuffle + Conv 进行3次上采样,输出关键点的热度图。传统的上采样方法会使用反卷积或双线性插值。而使用 PixelShuffle 的好处在于,在提高分辨率的同时,保持特征信息不丢失。对比双线性插值,运算量低;对比反卷积,则不会出现网格效应。

在系统架构方面,新版 AlphaPose 采用多级流水的工作方式,使用多线程协作,将速度发挥到极致。

AlphaPose 系统目前在COCO的 Validation 集上的运行速度是 20FPS(平均每张图片4.6人),精度达到71mAP。 在拥挤场景下(平均每张图片15人),AlphaPose系统速度仍能保持 10FPS 以上。

原文标题:最高比Mask-RCNN快3倍!上交大实时姿态估计AlphaPose升级

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

推荐一本中文PyTorch书籍——PyTorch中文手册

12 月 8 日 PyTorch 已经发布 1.0 的稳定版。 API 的改动不是很大,本教程已经通....
的头像 新智元 发表于 02-16 10:58 538次 阅读
推荐一本中文PyTorch书籍——PyTorch中文手册

欧司朗红外LED助力眼动追踪技术 推进人机交互新发展

近日,欧司朗光电半导体发布了 Synios 系列最新红外LED(IRED)—— SFH 4770 和....
的头像 CNLED网 发表于 02-14 10:35 600次 阅读
欧司朗红外LED助力眼动追踪技术 推进人机交互新发展

深度分析眼动追踪技术

著名科学家霍金教授生前因患有肌肉萎缩疾病,几乎完全瘫痪,既不能通过双手,也不能通过语言与外界沟通。因....
的头像 传感器技术 发表于 02-13 11:10 296次 阅读
深度分析眼动追踪技术

人机接口参考设计MYD-Y6ULX-HMI开发手册

人机接口参考设计MYD-Y6ULX-HMI 说明: 人机接口参考设计MYD-Y6ULX-HMI 是米尔电子推出的基于 NXP 公司...
发表于 02-12 09:58 229次 阅读
人机接口参考设计MYD-Y6ULX-HMI开发手册

教你用PyTorch快速准确地建立神经网络

动态计算图:PyTorch被称为“由运行定义的”框架,这意味着计算图结构(神经网络体系结构)是在运行....
的头像 电子发烧友网工程师 发表于 02-11 14:33 632次 阅读
教你用PyTorch快速准确地建立神经网络

深度学习框架不能“包治百病”什么样的深度学习框架才是适合自己的呢?

PaddlePaddle:百度出品,跟 TF 类似,PaddlePaddle 也是在百度内部实际应用....
的头像 新智元 发表于 02-11 09:41 372次 阅读
深度学习框架不能“包治百病”什么样的深度学习框架才是适合自己的呢?

车载人机交互系统的明天,触控、语音、手势识别或将共存?

手势识别的兴起,背后还是来自于市场需求,一方面是座舱显示的快速普及,一个是用户体验成为大家关注的重点....
的头像 独爱72H 发表于 02-05 17:15 438次 阅读
车载人机交互系统的明天,触控、语音、手势识别或将共存?

通用工业机器人的内部构造解析

中国制造业发展的步伐越来越快,中国工厂使用的工业机器人数量越来越多,要想成为工业机器人技术型人才,工....
的头像 工业机器人 发表于 02-05 09:10 596次 阅读
通用工业机器人的内部构造解析

自动驾驶前端软件DreamView的使用介绍

为保证自动驾驶车辆能为电脑提供及时、准确、可靠的决策控制依据,实现或辅助实现车辆的驾驶操作,需由传感....
的头像 Apollo开发者社区 发表于 02-03 11:13 385次 阅读
自动驾驶前端软件DreamView的使用介绍

Science Robotics揭示未来机器人领域的走向

如果评选机器人领域最高端的学术杂志,那应该非《Science Robotics》莫属了。作为顶级期刊....
的头像 人工智能学家 发表于 01-30 16:51 1602次 阅读
Science Robotics揭示未来机器人领域的走向

fast.ai更新了新版本的针对开发者的深度学习实践课程

框架:fast.ai使用Pytorch作用教学工具。但是这种东西属于一通百通,基本上你一旦掌握了套路....
的头像 新智元 发表于 01-28 08:59 550次 阅读
fast.ai更新了新版本的针对开发者的深度学习实践课程

多模态人机交互的融合才是未来的发展趋势

今年一个明显趋势是各大汽车OEM厂商都在推动手势识别HMI的商用落地,包括实现对天窗、车窗、智能座椅....
的头像 高工智能汽车 发表于 01-23 10:53 749次 阅读
多模态人机交互的融合才是未来的发展趋势

2019年第一季度,歌尔股份的业绩预计有所好转

根据歌尔股份上半年的公告内容显示,2018年上半年歌尔股份电声器件业务和电子配件业务受行业和客户因素....
的头像 摄像头观察 发表于 01-22 13:44 678次 阅读
2019年第一季度,歌尔股份的业绩预计有所好转

Face++ Detection Team在2018年做COCO skeleton的工作

目前多阶段网络里的单元网络离最优比较远,使用已经验证的网络(如 Resnet)要比主流的多阶段方法(....
的头像 电子发烧友网工程师 发表于 01-20 09:15 502次 阅读
Face++ Detection Team在2018年做COCO skeleton的工作

这个教程使你能够轻松学习深度学习

本项目一共分为4大部分,分别为:基础、深度学习、RNNS、进阶教程。蓝色的字体都是已经完成的教学文档....
的头像 算法与数据结构 发表于 01-17 14:32 302次 阅读
这个教程使你能够轻松学习深度学习

探析语音识别技术的发展历史及应用

在人际交往中,言语是最自然并且最直接的方式之一。随着技术的进步,越来越多的人们也期望计算机能够具备与....
的头像 传感器技术 发表于 01-15 16:45 393次 阅读
探析语音识别技术的发展历史及应用

Facebook 2018年的工作总结:在AI一领域里的行动也从未停止

自2017年PyTorch发布以来,深度学习框架已被AI社区广泛采用,它目前是GitHub上增长速度....
的头像 人工智能 发表于 01-14 15:28 439次 阅读
Facebook 2018年的工作总结:在AI一领域里的行动也从未停止

PyTorch官网教程PyTorch深度学习:60分钟快速入门中文翻译版

“PyTorch 深度学习:60分钟快速入门”为 PyTorch 官网教程,网上已经有部分翻译作品,....
的头像 人工智能头条 发表于 01-13 11:53 836次 阅读
PyTorch官网教程PyTorch深度学习:60分钟快速入门中文翻译版

把Transformer模型掰开揉碎,深度理解它的工作原理

我们已经了解了模型的主要部分,接下来我们看一下各种向量或张量(译注:张量概念是矢量概念的推广,可以简....
的头像 电子发烧友网工程师 发表于 01-10 15:15 569次 阅读
把Transformer模型掰开揉碎,深度理解它的工作原理

拜腾公布了计划于今年实现量产的BYTON M-Byte车型的一些细节

直观来看,整体内饰风格依旧秉承着“崭新交互,智慧边界”的设计理念,虽然看上去更加科幻,但也更加贴近生....
的头像 DIGITIMES 发表于 01-09 11:33 1021次 阅读
拜腾公布了计划于今年实现量产的BYTON M-Byte车型的一些细节

智能驾驶舱的交互时代已经到来

抬头显示(HUD)技术推广曾一度受阻,如今又成为热点。IHS Market对该市场颇为乐观,其在20....
的头像 Thundersoft中科创达 发表于 01-04 15:22 388次 阅读
智能驾驶舱的交互时代已经到来

英伟达团队使用深度学习,能将任意视频变为“高清慢速播放”模式

值得一提,这篇论文的第一作者,是本硕毕业于西安交通大学、现在马萨诸塞大学阿默斯特分校读博四的 Hua....
的头像 新智元 发表于 12-29 09:25 845次 阅读
英伟达团队使用深度学习,能将任意视频变为“高清慢速播放”模式

锤子科技正在向人机交互智能设备方向推进发展未来翻身有望

在今天朱海舟发布的微博中,透露了TNT的研发历程,以及对人机交互的思考。朱海舟的硅谷之行去了一趟计算....
发表于 12-28 15:58 699次 阅读
锤子科技正在向人机交互智能设备方向推进发展未来翻身有望

未来摄像头将改变人机交互方式

1936 年,美国气象学家爱德华·罗伦兹提出著名的蝴蝶理论:亚马逊的蝴蝶扇动翅膀,可能会造成美国德克....
的头像 39度创意研究所 发表于 12-27 14:04 862次 阅读
未来摄像头将改变人机交互方式

浅谈2019互联网几大趋势

2019年网络世界将会出现几种趋势,分别是:1、技术趋势 2、交互界面趋势 3、内容趋势 4、视觉趋....
的头像 独爱72H 发表于 12-27 09:02 2625次 阅读
浅谈2019互联网几大趋势

人机交互设计的原则

本视频主要详细介绍了人机交互设计的原则,分别是应用存储于外部世界和头脑中的知识、简化任务结构、注重可....
的头像 发烧友学院 发表于 12-24 17:08 425次 阅读
人机交互设计的原则

人机交互的三个阶段

人机交互是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和....
的头像 发烧友学院 发表于 12-24 17:06 595次 阅读
人机交互的三个阶段

中国智能语音行业发展状况如何详细数据分析

智能语音作为人机交互的新型方式,有望大规模推广,中国市场是更适合语音交互的市场。2017年中国人工智....
的头像 机器人大讲堂 发表于 12-23 11:51 1791次 阅读
中国智能语音行业发展状况如何详细数据分析

智能穿戴设备技术与首饰结合有什么样的发展前景

随着可穿戴设备消费市场的日渐成熟,开发者的不断涌入,可穿戴设备的市场也越来越开放,下一个数十亿级别的....
的头像 OFweek可穿戴设备网 发表于 12-23 10:55 815次 阅读
智能穿戴设备技术与首饰结合有什么样的发展前景

人机交互中LED有什么样的作用和应用说明

近几年,随着智能手机和平板电脑的普及,人机交互成为高频词汇。那么,在人机交互这场技术变革中,LED扮....
的头像 高工LED 发表于 12-23 10:04 1116次 阅读
人机交互中LED有什么样的作用和应用说明

未来工业化和智能化发展

2018年12月15日,原子智库主办的“改革的规则与创新——2018光华·腾讯经济年会暨风云演讲”在....
的头像 人工智能学家 发表于 12-23 09:09 726次 阅读
未来工业化和智能化发展

2019年即将引领汽车座舱电子发展的三大主流趋势

抬头显示(HUD)技术推广曾一度受阻,如今又成为热点。IHS Market对该市场颇为乐观,其在20....
的头像 PCB商情 发表于 12-21 15:44 2330次 阅读
2019年即将引领汽车座舱电子发展的三大主流趋势

Pytorch模型训练实用PDF教程【中文】

本教程以实际应用、工程开发为目的,着重介绍模型训练过程中遇到的实际问题和方法。在机器学习模型开发中,主要涉及三大部分,分...
发表于 12-21 09:18 314次 阅读
Pytorch模型训练实用PDF教程【中文】

使用RGBW LED驱动提升LED人机界面设计

现在的产品变得非常智能且彼此相互连接。扬声器、电视、冰箱、机顶盒和烟雾探测器等器件不再只是处在某一位....
发表于 12-18 18:48 1207次 阅读
使用RGBW LED驱动提升LED人机界面设计

中国大规模推广智能语音行市场

智能语音作为人机交互的新型方式,有望大规模推广,中国市场是更适合语音交互的市场。
的头像 人工智能学家 发表于 12-17 11:30 1191次 阅读
中国大规模推广智能语音行市场

触控IC-人机交互的三种新玩法(4)

在开始正文之前,要明确的是,金属触控方案原理不同,互通的是:单通道的金属触控,从实现难度和成本可控角度,相对较优。多通道...
发表于 12-14 17:23 131次 阅读
触控IC-人机交互的三种新玩法(4)

人机交互的内涵外延及如何在交互中应用知识

从内涵的角度,人机交互是认知智能展现的窗口;人工智能技术改变世界的途径,其中包括通过交互控制这种改变....
的头像 中国人工智能学会 发表于 12-14 14:04 483次 阅读
人机交互的内涵外延及如何在交互中应用知识

首款支持固话功能的智能音箱S1和mini S1在此次大会上正式亮相发布

从前端声学处理完成语音输入,到语音转文本,再到文本信息的自然语音处理,生成对话,由语音合成实现文本信....
的头像 安创空间ARMaccelerator 发表于 12-11 14:23 1373次 阅读
首款支持固话功能的智能音箱S1和mini S1在此次大会上正式亮相发布

柔性AMOLED显示屏优势和问题并存

汽车的显示屏需要在高温和高震动的场景下长期使用,并且操作温度规格必须要在摄氏-40℃至85℃之间,所....
的头像 高工智能汽车 发表于 12-11 11:15 1329次 阅读
柔性AMOLED显示屏优势和问题并存

PyTorch 1.0 稳定版终于正式发布了!

PyTorch 1.0 提供了两种方法使现有代码与 JIT 兼容的方法,torch.jit.trac....
的头像 新智元 发表于 12-10 09:44 678次 阅读
PyTorch 1.0 稳定版终于正式发布了!

未来的人机交互方式有哪些?

在人类发明史上,诞生了无数的英雄。他们的发明往往从一项前沿技术到家喻户晓、无处不在,但他们自己却又鲜....
的头像 悟空智能科技 发表于 12-02 09:58 479次 阅读
未来的人机交互方式有哪些?

如何与道路上无人驾驶的车辆进行互动

自动驾驶的人机交互,不仅仅在于车内的DMS系统,还在于一些在自动驾驶领域的研究人员称之为“握手”的机....
的头像 高工智能汽车 发表于 11-29 11:36 848次 阅读
如何与道路上无人驾驶的车辆进行互动

奔驰搭载首款人机交互系统MBUX

在电子消费展上见到车载信息娱乐系统的展示并不新鲜,事实上,在车载信息娱乐系统,或者舱内智能化越来越先....
的头像 高工智能汽车 发表于 11-29 11:09 1140次 阅读
奔驰搭载首款人机交互系统MBUX

未来的人机交互方式有哪些

在人类发明史上,诞生了无数的英雄。他们的发明往往从一项前沿技术到家喻户晓、无处不在,但他们自己却又鲜....
的头像 人工智能学家 发表于 11-27 15:43 3300次 阅读
未来的人机交互方式有哪些

深入了解数据智能的现在与发展

大数据时代,数据已经渗透到每一个行业和领域中。为了让数据发挥它最大的价值,数据智能应运而生,帮助我们....
的头像 嵌入式资讯精选 发表于 11-26 14:27 834次 阅读
深入了解数据智能的现在与发展

剖析人脸识别技术及其应用领域和发展趋势

本期我们推荐来自清华大学副教授唐杰领导的学者大数据挖掘项目Aminer的研究报告,讲解人脸识别技术及....
的头像 人工智能学家 发表于 11-23 14:35 2754次 阅读
剖析人脸识别技术及其应用领域和发展趋势

Boston Dynamics又为何即将走上开售产品的商业化之路?

2017年谷歌宣布将Boston Dynamics和Schaft出售给SoftBank。但再Tech....
的头像 机器人创新生态 发表于 11-21 15:02 981次 阅读
Boston Dynamics又为何即将走上开售产品的商业化之路?

导入和使用Horovod收到错误

嗨, 如果有一个使用Horovod和Keras或PyTorch等流行框架的指南会很有用。 我尝试导入“import horovod.keras as hvd”,我...
发表于 11-21 14:21 320次 阅读
导入和使用Horovod收到错误

人机交互引发隐私争议 DMS未来如何发展

越来越多的车载传感器用于检测用户行为与数据,随之而来的是用户隐私问题。
的头像 高工智能汽车 发表于 11-21 09:43 920次 阅读
人机交互引发隐私争议 DMS未来如何发展

基于PyTorch重写的机器学习工具包HyperLearn

让我们先大致看一下“奇异值分解”(SVD)这一章,这是最重要的算法之一。SVD将PCA、线性回归、岭....
的头像 新智元 发表于 11-20 09:23 590次 阅读
基于PyTorch重写的机器学习工具包HyperLearn

维音金融业呼叫中心外包解决方案的组成与特点介绍

维音是中国领先的一站式呼叫中心解决方案提供商,主要为世界500强及各大中型企业提供专业的呼叫中心整体....
的头像 CTI论坛 发表于 11-19 15:20 643次 阅读
维音金融业呼叫中心外包解决方案的组成与特点介绍

机器学习框架Tensorflow 2.0的这些新设计你了解多少

几天前,Tensorflow刚度过自己的3岁生日,作为当前最受欢迎的机器学习框架,Tensorflo....
的头像 论智 发表于 11-17 11:33 1158次 阅读
机器学习框架Tensorflow 2.0的这些新设计你了解多少

批量大小为3的内存不足

我正在使用IntelAI节点来训练pytorch中的深层网络。 但是,当我运行程序时,出现内存不足错误。 我的训练数据大小为1GB,...
发表于 11-14 11:42 166次 阅读
批量大小为3的内存不足

BERT模型的PyTorch实现

BertModel是一个基本的BERT Transformer模型,包含一个summed token....
的头像 新智元 发表于 11-13 09:12 940次 阅读
BERT模型的PyTorch实现

让AI+机器人做“数字化助手”标配

以往的工业机器人强调自动化,就是在已知环境里,完成精确控制、事先编程和重复性一系列动作,而现在逐渐走....
的头像 天津机器人 发表于 11-09 10:11 899次 阅读
让AI+机器人做“数字化助手”标配

我们花了147个小时,整理出人机交互8个热门知识点

一周前,班主任问了拾月助教一个十分深刻的问题。 什么样的人机交互才是趋于完美的自然交互? 拾月想了一会说:“比如我...
发表于 09-17 09:32 506次 阅读
我们花了147个小时,整理出人机交互8个热门知识点

用迪文屏模拟了个加密键盘,几行OS搞定!

今天用迪文屏模拟了个加密键盘,可以实现每次录入密码时,键盘上数字或者字母的顺序都会重新排列,大大提升了产品应用的安全系...
发表于 08-07 09:23 1056次 阅读
用迪文屏模拟了个加密键盘,几行OS搞定!

STM32评估板与迪文屏交互,没几行代码就实现一些简单功能,也没那么难!

用STM32评估板与迪文屏做交互,也没那么难! 没几行C代码就可以实现一些简单的功能。跟大家分享下,详细视频和说明请下载附件...
发表于 08-06 17:42 907次 阅读
STM32评估板与迪文屏交互,没几行代码就实现一些简单功能,也没那么难!

5分钟,教你打造1小时刷爆朋友圈的完美交互产品!

「AIUI」名词释义 AIUI是科大讯飞最新的人机交互解决方案,融合了远场识别、全双工交互、语音合成、语义理解、私...
发表于 07-20 09:46 453次 阅读
5分钟,教你打造1小时刷爆朋友圈的完美交互产品!

FCU1401嵌入式控制单元

FCU1401嵌入式控制单元FCU1401嵌入式控制单元是一款适用于自助设备、新零售设备、 自助售卖机、广告机、人机交互界面等产...
发表于 05-30 11:34 1014次 阅读
FCU1401嵌入式控制单元