张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

AlphaPose是一个实时多人姿态估计系统

新智元 2018-09-08 09:11 次阅读

上海交通大学卢策吾团队MVIG实验室最新上线了他们此前开源的实时人体姿态估计系统AlphaPose的升级版。新系统采用 PyTorch 框架,在姿态估计标准测试集COCO上达到当前最高精度71mAP,同时平均速度20FPS,比Mask-RCNN速度快3倍。

AlphaPose是一个实时多人姿态估计系统。

今年2月,上海交通大学卢策吾团队MVIG实验室AlphaPose 系统上线,是首个在 COCO 数据集上可达到 70+ mAP 的开源姿态估计系统。本次更新,在精度不下降情况下,实时性是一大提升亮点。

新系统采用 PyTorch 框架,在姿态估计(Pose Estimation)标准测试集COCO validation set上,达到 71mAP的精度(比 OpenPose 相对提升17%,Mask-RCNN相对提升8%),同时,速度达到了20FPS(比 OpenPose 相对提高66%,Mask-RCNN相对提高300%)。

再次感受一下升级后AlphaPose的速度

检测精度不变,平均速度比Mask-RCNN快3倍

人体关键点检测对于描述人体姿态,预测人体行为至关重要。因此,人体关键点检测是诸多计算机视觉任务的基础。其在动作分类,异常行为检测,以及人机交互等领域有着很广阔的应用前景,是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。

AlphaPose系统,是基于上海交大MVIG组提出的 RMPE 二步法框架(ICCV 2017论文)构建的,相比其他开源系统在准确率有很大提高,比OpenPose相对提高17%,Mask-RCNN相对提高8.2%。 

升级后,各个开源框架在COCO-Validation上性能,时间在单卡1080ti GPU测出指标如下:


基于PyTorch框架,在人体姿态估计模型中引入Attention模块

新版 AlphaPose 系统,架设在 PyTorch 框架上,得益于Python的灵活性,新系统对用户更加友好,安装使用过程更加简易,同时支持Linux与Windows系统使用,方便进行二次开发。此外,系统支持图片、视频、摄像头输入,实时在线计算出多人的姿态结果。

为了在兼顾速度的同时保持精度,新版AlphaPose提出了一个新的姿态估计模型。模型的骨架网络使用 ResNet101,同时在其下采样部分添加 SE-block 作为 attention 模块——已经有很多实验证明,在 Pose Estimation 模型中引入 attention 模块能提升模型的性能,而仅在下采样部分添加 SE-block 能使 attention 以更少的计算量发挥更好的效果。

除此之外,使用 PixelShuffle + Conv 进行3次上采样,输出关键点的热度图。传统的上采样方法会使用反卷积或双线性插值。而使用 PixelShuffle 的好处在于,在提高分辨率的同时,保持特征信息不丢失。对比双线性插值,运算量低;对比反卷积,则不会出现网格效应。

在系统架构方面,新版 AlphaPose 采用多级流水的工作方式,使用多线程协作,将速度发挥到极致。

AlphaPose 系统目前在COCO的 Validation 集上的运行速度是 20FPS(平均每张图片4.6人),精度达到71mAP。 在拥挤场景下(平均每张图片15人),AlphaPose系统速度仍能保持 10FPS 以上。

原文标题:最高比Mask-RCNN快3倍!上交大实时姿态估计AlphaPose升级

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

LoRa无线通信开发实战

LoRa技术原理及相对应的物联网行业解决方案、LoRa软硬件设计、LoRa人机交互开发、LoRa无线通讯开发、LoRa-
发表于 04-27 00:00 25500次 阅读
LoRa无线通信开发实战

LoRa无线通信开发实战

LoRa技术原理及相对应的物联网行业解决方案、LoRa软硬件设计、LoRa人机交互开发、LoRa无线通讯开发、LoRa-
发表于 04-27 00:00 25500次 阅读
LoRa无线通信开发实战

Facebook新推出了一个深度学习工具包:PyTorch Hub

TensorFlow Hub是一个共享可重用的机器学习平台,主要面向开发者,谷歌希望TensorFl....
的头像 新智元 发表于 06-15 09:58 189次 阅读
Facebook新推出了一个深度学习工具包:PyTorch Hub

PyTorch Hub发布获Yann LeCun强推 一行代码调用经典模型

全新API PyTorch Hub提供模型的基本构建模块,用于提高机器学习研究的模型复现性。
的头像 AI科技大本营 发表于 06-12 14:41 187次 阅读
PyTorch Hub发布获Yann LeCun强推 一行代码调用经典模型

官宣后的5G如何与AI融合?谁会成为首批受益者?

AI生态圈早已纷纷卡位,期待搭乘5G快车,感受由此而来的裂变式发展。一个万物感知、万物互联、万物智能....
的头像 墨记 发表于 06-09 00:26 3038次 阅读
官宣后的5G如何与AI融合?谁会成为首批受益者?

用PyTorch实现了基本的RL算法

近日,有开发人员用PyTorch实现了基本的RL算法,比如REINFORCE, vanilla ac....
的头像 新智元 发表于 06-07 15:36 182次 阅读
用PyTorch实现了基本的RL算法

研华DAQNavi Property Assistance控件如何实现在前面板设置参数?

本人在做一个模拟量采集VI,使用的是研华的采集卡等设备。但在使用DAQNavi Property Assistance控件时,发现其只能在程序...
发表于 06-06 15:52 185次 阅读
研华DAQNavi Property Assistance控件如何实现在前面板设置参数?

《AI寒冬将至》作者点评2019“AI小丑秀”

OpenAI——一个非营利性组织,其使命是解决通用人工智能(AGI)问题并确保所有发现对公众开放,而....
的头像 AI科技大本营 发表于 06-02 09:52 635次 阅读
《AI寒冬将至》作者点评2019“AI小丑秀”

示波器捕获信号的基本原则及基本操作步骤的详细资料说明

很多初学示波器的工程师最关心的是“怎么让波形出来”,这时候我们一般都被教会了要用“AutoSet”键....
发表于 05-31 16:14 84次 阅读
示波器捕获信号的基本原则及基本操作步骤的详细资料说明

Facebook全新开源深度学习框架Pythia,即插即用快速构建AI模型

Pythia加入了最近的人工智能竞赛(2018年VQA挑战赛和2018年Vizwiz挑战赛)中获奖作....
的头像 新智元 发表于 05-25 09:45 360次 阅读
Facebook全新开源深度学习框架Pythia,即插即用快速构建AI模型

人工智能为产业赋能 智能化办公迎来新机遇

2019年5月21日14点,科大讯飞“你的世界,因A.I而能”2019新品新闻发布会在上海世博中心举....
发表于 05-23 09:48 234次 阅读
人工智能为产业赋能 智能化办公迎来新机遇

首届高校未来汽车人机交互设计大赛启动 促进学科创新和人才培养

汽车电子产业联盟主办,中国计算机报社和赛普拉斯半导体公司承办,促进学科创新和人才培养。
发表于 05-22 14:00 546次 阅读
首届高校未来汽车人机交互设计大赛启动 促进学科创新和人才培养

基于ARM的具有图形化接口人机交互功能

引言 非线性、非对称、非平稳电力设备的大量使用,给保证供电质量带来了严峻的挑战。电能质量问题已经越来越引起用户和供电部...
发表于 05-22 05:01 298次 阅读
基于ARM的具有图形化接口人机交互功能

PyTorch核心华人开发者透彻解读PyTorch内部机制

张量的物理存储器实际存储在何处,例如在CPU上,NVIDIA GPU(cuda)上,或者可能在AMD....
的头像 新智元 发表于 05-19 09:21 643次 阅读
PyTorch核心华人开发者透彻解读PyTorch内部机制

Facebook开源了两款基于PyTorch的实验框架Ax和BoTorch

从概念上讲,Ax是一个优化实验平台,比如A / B测试,模拟或机器学习模型实验等。Ax提供了一个易用....
的头像 新智元 发表于 05-16 08:36 447次 阅读
Facebook开源了两款基于PyTorch的实验框架Ax和BoTorch

服务机器人市场现状:需求巨大,仍待成熟

机器人发展路向何方
的头像 电子发烧友网工程师 发表于 05-13 14:36 336次 阅读
服务机器人市场现状:需求巨大,仍待成熟

LED驱动设计及人机交互体验

TI MCU 及触控方案设计
的头像 TI视频 发表于 05-10 06:09 223次 观看
LED驱动设计及人机交互体验

折叠屏、柔性屏手机的面世意味着人机交互的一种新可能性

自全面屏手机后,手机在形态和功能上似乎就已经达到了天花板,人们认为智能手机已经陷入了创新困境和市场饱....
的头像 扩展触控快讯 发表于 05-08 10:12 703次 阅读
折叠屏、柔性屏手机的面世意味着人机交互的一种新可能性

人机交互与TI Sitara处理器的产品性能介绍

1.4 人机交互与 TI Sitara 处理器的应用 - 4.Sitara 处理器
的头像 TI视频 发表于 05-07 06:25 312次 观看
人机交互与TI Sitara处理器的产品性能介绍

关于人机交互与TI Sitara处理器的安全性能介绍

1.2 人机交互与 TI Sitara 处理器的应用 - 2.安全性能
的头像 TI视频 发表于 05-07 06:23 285次 观看
关于人机交互与TI Sitara处理器的安全性能介绍

科大讯飞与香港亚视在香港签订战略合作协议

科大讯飞作为入选首批国家新一代人工智能开放创新平台的企业,在语音合成、语音识别、机器翻译、常识推理、....
的头像 电子发烧友网工程师 发表于 05-06 11:35 710次 阅读
科大讯飞与香港亚视在香港签订战略合作协议

Pytorch 1.1.0,来了!

许多用户已经转向使用标准PyTorch运算符编写自定义实现,但是这样的代码遭受高开销:大多数PyTo....
的头像 新智元 发表于 05-05 10:02 621次 阅读
Pytorch 1.1.0,来了!

2019年Q1中国智能投影市场总结报告

2019年上半年中国智能投影市场销量将达到170.5万台,同比增长52.6%。
发表于 05-02 08:28 616次 阅读
2019年Q1中国智能投影市场总结报告

一个出色UI设计师必须知道那10个原则

UI(即用户界面设计)行业刚刚在全球软件业兴起,属于高新技术设计产业,国内外众多大型IT企业(例如:....
发表于 04-28 16:52 52次 阅读
一个出色UI设计师必须知道那10个原则

Imagination出席第二届国际人机交互大会,展示汽车人机交互前沿技术

“第二届国际人机交互大会” 在上海举行。本次大会是“2019新兴产业大会”
的头像 Imagination Tech 发表于 04-25 19:15 769次 阅读
Imagination出席第二届国际人机交互大会,展示汽车人机交互前沿技术

为HMI集成改进显示面板制造并不常见,未来的一些显示技术或能实现更简单的集成

另一个限制因素是对于耗资数十亿美元的晶圆厂来说,生产显示器面板需要几十个步骤,工艺流程中的一项改变可....
的头像 MEMS 发表于 04-25 11:53 1027次 阅读
为HMI集成改进显示面板制造并不常见,未来的一些显示技术或能实现更简单的集成

清华大学三维混合现实研究中心成立仪式近日在清华大学举行

混合现实技术,是融合了虚拟现实技术和增强现实技术的新兴技术组合,通过数字化现实和虚拟数字画面相结合,....
的头像 电子发烧友网工程师 发表于 04-24 13:41 619次 阅读
清华大学三维混合现实研究中心成立仪式近日在清华大学举行

从多个角度对TensorFlow和PyTorch进行了对比,哪个会成为最有话语权的深度学习框架

从上图可以看出,TensorFlow在star、fork、watch和贡献者4个方面活跃度均是最高,....
的头像 新智元 发表于 04-19 14:41 739次 阅读
从多个角度对TensorFlow和PyTorch进行了对比,哪个会成为最有话语权的深度学习框架

全新一代RGB LED驱动器性能特点介绍

TI RGB LED驱动器介绍
的头像 TI视频 发表于 04-18 06:13 235次 观看
全新一代RGB LED驱动器性能特点介绍

人机交互人工智能区别

人工智能的分类方法从产品上分为三种:识别、生成和决策。识别包括了语音识别、图像识别,比如在安防中识别....
的头像 发烧友学院 发表于 04-04 16:31 1465次 阅读
人机交互人工智能区别

伴随自动驾驶与车联网技术的发展,座舱电子将有进一步的想象空间

在IHS Markit的报告里可以看出类似趋势,由于触摸屏的广泛应用,机械按钮与旋钮越来越少,但虚拟....
的头像 Thundersoft中科创达 发表于 04-03 10:48 935次 阅读
伴随自动驾驶与车联网技术的发展,座舱电子将有进一步的想象空间

一两年内,“云上的阿里巴巴”即将诞生

未来,社会经济将与互联网更加融合,企业机构的业务也将全面转变为互联网业务。阿里构建了应对海量高并发的....
的头像 新智元 发表于 03-29 11:50 696次 阅读
一两年内,“云上的阿里巴巴”即将诞生

Kaggle的座头鲸识别挑战比赛在最近落下帷幕

此外,我们采用智能翻转增强策略,极大地帮助创建了更多的训练数据。 具体地,对于属于相同的鲸鱼X,Y的....
的头像 电子发烧友网工程师 发表于 03-28 14:21 651次 阅读
Kaggle的座头鲸识别挑战比赛在最近落下帷幕

一份非常详尽的PyTorch教程,从如何安装PyTorch开始

TensorDataset允许我们使用数组索引表示法(上面代码中的[0:3])访问训练数据的一小部分....
的头像 新智元 发表于 03-12 09:15 3975次 阅读
一份非常详尽的PyTorch教程,从如何安装PyTorch开始

[教程]arduino交互设计作品2019——害羞的郁金香

永远盛开的郁金香 机械郁金香雕塑,只需轻轻触摸即可绽放,可以发出五彩斑斓的光亮。 硬件材料 1 * Arduino Nano R3 1...
发表于 03-09 18:09 547次 阅读
[教程]arduino交互设计作品2019——害羞的郁金香

如何使用MSP430单片机进行微功耗中文人机界面的设计

在现代便携式智能仪器或手持设备中,中文人机界面成为一种事实上的行业标准。能显示汉字的图形点阵液晶和可....
发表于 03-06 17:04 113次 阅读
如何使用MSP430单片机进行微功耗中文人机界面的设计

如何从零开始用PyTorch实现Chatbot?

本教程会介绍使用seq2seq模型实现一个chatbot,训练数据来自Cornell电影对话语料库。....
的头像 电子发烧友网工程师 发表于 03-02 11:17 695次 阅读
如何从零开始用PyTorch实现Chatbot?

一文解构PyTorch:深入了解PyTorch内部机制

PyTorch是一个较新的深度学习框架,主打动态网络模型。相比其他同类框架,PyTorch提供一种较....
的头像 新智元 发表于 03-01 08:47 1079次 阅读
一文解构PyTorch:深入了解PyTorch内部机制

AR增强现实装配研究的全面资料说明

在过去的二十年中增强现实(AR)已经受到了越来越多的制造技术社区研究人员的关注,因为基于“增大化现实....
发表于 02-28 08:00 180次 阅读
AR增强现实装配研究的全面资料说明

探析人机自然交互研究的最新进展

近日,《中国科学报》采访了CCF优秀博士学位论文奖获奖者、清华大学博士易鑫及其导师史元春教授,深入报....
的头像 人工智能学家 发表于 02-25 14:15 833次 阅读
探析人机自然交互研究的最新进展

推荐一本中文PyTorch书籍——PyTorch中文手册

12 月 8 日 PyTorch 已经发布 1.0 的稳定版。 API 的改动不是很大,本教程已经通....
的头像 新智元 发表于 02-16 10:58 5644次 阅读
推荐一本中文PyTorch书籍——PyTorch中文手册

欧司朗红外LED助力眼动追踪技术 推进人机交互新发展

近日,欧司朗光电半导体发布了 Synios 系列最新红外LED(IRED)—— SFH 4770 和....
的头像 CNLED网 发表于 02-14 10:35 1200次 阅读
欧司朗红外LED助力眼动追踪技术 推进人机交互新发展

深度分析眼动追踪技术

著名科学家霍金教授生前因患有肌肉萎缩疾病,几乎完全瘫痪,既不能通过双手,也不能通过语言与外界沟通。因....
的头像 传感器技术 发表于 02-13 11:10 2756次 阅读
深度分析眼动追踪技术

人机接口参考设计MYD-Y6ULX-HMI开发手册

人机接口参考设计MYD-Y6ULX-HMI 说明: 人机接口参考设计MYD-Y6ULX-HMI 是米尔电子推出的基于 NXP 公司...
发表于 02-12 09:58 429次 阅读
人机接口参考设计MYD-Y6ULX-HMI开发手册

教你用PyTorch快速准确地建立神经网络

动态计算图:PyTorch被称为“由运行定义的”框架,这意味着计算图结构(神经网络体系结构)是在运行....
的头像 电子发烧友网工程师 发表于 02-11 14:33 1308次 阅读
教你用PyTorch快速准确地建立神经网络

深度学习框架不能“包治百病”什么样的深度学习框架才是适合自己的呢?

PaddlePaddle:百度出品,跟 TF 类似,PaddlePaddle 也是在百度内部实际应用....
的头像 新智元 发表于 02-11 09:41 794次 阅读
深度学习框架不能“包治百病”什么样的深度学习框架才是适合自己的呢?

车载人机交互系统的明天,触控、语音、手势识别或将共存?

手势识别的兴起,背后还是来自于市场需求,一方面是座舱显示的快速普及,一个是用户体验成为大家关注的重点....
的头像 独爱72H 发表于 02-05 17:15 933次 阅读
车载人机交互系统的明天,触控、语音、手势识别或将共存?

通用工业机器人的内部构造解析

中国制造业发展的步伐越来越快,中国工厂使用的工业机器人数量越来越多,要想成为工业机器人技术型人才,工....
的头像 工业机器人 发表于 02-05 09:10 1299次 阅读
通用工业机器人的内部构造解析

自动驾驶前端软件DreamView的使用介绍

为保证自动驾驶车辆能为电脑提供及时、准确、可靠的决策控制依据,实现或辅助实现车辆的驾驶操作,需由传感....
的头像 Apollo开发者社区 发表于 02-03 11:13 1588次 阅读
自动驾驶前端软件DreamView的使用介绍

Science Robotics揭示未来机器人领域的走向

如果评选机器人领域最高端的学术杂志,那应该非《Science Robotics》莫属了。作为顶级期刊....
的头像 人工智能学家 发表于 01-30 16:51 2087次 阅读
Science Robotics揭示未来机器人领域的走向

fast.ai更新了新版本的针对开发者的深度学习实践课程

框架:fast.ai使用Pytorch作用教学工具。但是这种东西属于一通百通,基本上你一旦掌握了套路....
的头像 新智元 发表于 01-28 08:59 849次 阅读
fast.ai更新了新版本的针对开发者的深度学习实践课程

多模态人机交互的融合才是未来的发展趋势

今年一个明显趋势是各大汽车OEM厂商都在推动手势识别HMI的商用落地,包括实现对天窗、车窗、智能座椅....
的头像 高工智能汽车 发表于 01-23 10:53 1774次 阅读
多模态人机交互的融合才是未来的发展趋势

2019年第一季度,歌尔股份的业绩预计有所好转

根据歌尔股份上半年的公告内容显示,2018年上半年歌尔股份电声器件业务和电子配件业务受行业和客户因素....
的头像 摄像头观察 发表于 01-22 13:44 1843次 阅读
2019年第一季度,歌尔股份的业绩预计有所好转

Face++ Detection Team在2018年做COCO skeleton的工作

目前多阶段网络里的单元网络离最优比较远,使用已经验证的网络(如 Resnet)要比主流的多阶段方法(....
的头像 电子发烧友网工程师 发表于 01-20 09:15 1032次 阅读
Face++ Detection Team在2018年做COCO skeleton的工作

这个教程使你能够轻松学习深度学习

本项目一共分为4大部分,分别为:基础、深度学习、RNNS、进阶教程。蓝色的字体都是已经完成的教学文档....
的头像 算法与数据结构 发表于 01-17 14:32 587次 阅读
这个教程使你能够轻松学习深度学习

探析语音识别技术的发展历史及应用

在人际交往中,言语是最自然并且最直接的方式之一。随着技术的进步,越来越多的人们也期望计算机能够具备与....
的头像 传感器技术 发表于 01-15 16:45 989次 阅读
探析语音识别技术的发展历史及应用

Pytorch模型训练实用PDF教程【中文】

本教程以实际应用、工程开发为目的,着重介绍模型训练过程中遇到的实际问题和方法。在机器学习模型开发中,主要涉及三大部分,分...
发表于 12-21 09:18 775次 阅读
Pytorch模型训练实用PDF教程【中文】

触控IC-人机交互的三种新玩法(4)

在开始正文之前,要明确的是,金属触控方案原理不同,互通的是:单通道的金属触控,从实现难度和成本可控角度,相对较优。多通道...
发表于 12-14 17:23 271次 阅读
触控IC-人机交互的三种新玩法(4)

导入和使用Horovod收到错误

嗨, 如果有一个使用Horovod和Keras或PyTorch等流行框架的指南会很有用。 我尝试导入“import horovod.keras as hvd”,我...
发表于 11-21 14:21 881次 阅读
导入和使用Horovod收到错误

批量大小为3的内存不足

我正在使用IntelAI节点来训练pytorch中的深层网络。 但是,当我运行程序时,出现内存不足错误。 我的训练数据大小为1GB,...
发表于 11-14 11:42 373次 阅读
批量大小为3的内存不足

我们花了147个小时,整理出人机交互8个热门知识点

一周前,班主任问了拾月助教一个十分深刻的问题。 什么样的人机交互才是趋于完美的自然交互? 拾月想了一会说:“比如我...
发表于 09-17 09:32 706次 阅读
我们花了147个小时,整理出人机交互8个热门知识点

用迪文屏模拟了个加密键盘,几行OS搞定!

今天用迪文屏模拟了个加密键盘,可以实现每次录入密码时,键盘上数字或者字母的顺序都会重新排列,大大提升了产品应用的安全系...
发表于 08-07 09:23 1400次 阅读
用迪文屏模拟了个加密键盘,几行OS搞定!