张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

一种基于单个单眼相机的“无标记性能捕获技术”MonoPerfCap

AR酱 2018-05-23 18:02 次阅读

由于智能手机上没有深度摄像头,在手机上的动作捕捉就必须依靠单目动捕,基于单目的的动作捕捉方案就成了一个必须跨过的门槛。而由于实际中存在的像遮挡、深度、难以估计骨架姿势等问题,单目动作捕捉的解决方案就变得比较复杂。

最近,瑞士洛桑联邦理工学院(EPFL)和德国普朗克计算机研究所的研究人员发表论文,展示了一种基于单个单眼相机的“无标记性能捕获技术”MonoPerfCap,可以实现基于单目的动作捕捉,并且可以实现服装的3D重建。

简单来说,MonoPerfCap的原理分两步完成,首先是将摄像头绕目标人物一圈,在这个过程中,可以实现对目标人物轮廓的识别和信息的采集,并且基于轮廓生成一个目标人物的骨架模型,这样有利于动作的捕捉,而其它信息的采集可以应用到外部模型的渲染。

论文表示,MonoPerfCap基于轮廓的姿态细化改善了姿态估计和轮廓分割。 姿势估计中的错误导致在左臂附近不准确的背景减法。而MonoPerfCap的姿态细化将手臂骨架向左移动到正确的位置。 剪影在第二轮廓提取之后分割被显着地细化基于精确的姿势(e)。

第二步是基于第一步识别的骨架模型计算出连接点,再基于卷积神经网络的学习估计出做动作时骨架姿势的变化,随后在骨架模型上渲染出整个人身体的轮廓。

通过使用这种提出的方法,我们不仅可以重建人体姿势,而且还可以重建衣服的穿着动作,并且使我们能够从自由的角度进行渲染。但是,高速运动时和出现强遮挡时的识别变得略不稳定。

MonoPerfCap的研究人员将自己的动作捕捉分别和2015、2016、2017的方法比较,用MonoPerfCap方法得到的结果优于其它方法的结果,甚至已经非常接近8台摄像机多视角动作捕捉的结果。

首先,这种捕捉方法必须依靠大约半分钟的对目标人物的圆形扫描,虽然之后的处理是不需要人干预的,但仍然略显麻烦。

另外,有的场景下的识别仍然有可能捕捉失败,由于一般视角下对脚的捕捉很难实现,所以像有大量遮挡的情况或者当运动非常迅速的时候,就可能失败。如果目标人物穿着像风衣或者夹克这样的衣服时,很可能对摄像头的识别造成干扰,从而无法捕捉。在论文的示例中,捕捉目标都穿着比较贴近身体的衣服。

这是论文对各个人物目标的识别示例,可以看到识别效果比较好,另外衣服和身体的细节渲染也不错。

前两天我们还刚提到过一个单目动捕方案Vnect,它们在原理上的差别其实不大,同样是基于骨架模型,同样利用卷积神经网络进行学习,区别在于Vnect只能估算出骨架的姿势模型,MonoPerfCap还添加了估计外部身体姿势和和衣服细节的能力,相对来说更加成熟。

其实,MonoPerfCap的方案不止可以应用到动作捕捉上,就论文中实现的方案来看,这个方案同样可以用来识别合适的视频中人物的动作。

总而言之,MonoPerfCap可以适用于各种不同的场景,复杂的背景也不会对识别结果产生影响,在性能方面也已经超越了之前的方案,细节渲染尤其可圈可点,可以说是一个比较出彩的单眼动作捕捉方案了。对此有兴趣的同学也可以点击阅读原文下载论文。

原文标题:MonoPerfCap:又一个单目动作捕捉方案

文章出处:【微信号:ARchan_TT,微信公众号:AR酱】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

深度学习和神经网络

David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络
发表于 11-08 00:00 7724次 阅读
深度学习和神经网络

车机“混沌”,鸿蒙“开天辟地”?

不过在目前的汽车市场上,车机系统尚处于混沌状态,主要存在着两种模式:一种是主机厂通过自建、合作的方式....
的头像 倩倩 发表于 08-18 07:48 37次 阅读
车机“混沌”,鸿蒙“开天辟地”?

鸿蒙在手机中已经适配完成,达到了商用的程度

而在手机上,华为第一选择还是谷歌的安卓操作系统,如果安卓用不了的话,再使用自家操作系统。华为消费者业....
的头像 倩倩 发表于 08-18 07:11 24次 阅读
鸿蒙在手机中已经适配完成,达到了商用的程度

鸿蒙一定会是划时代意义的操作系统,将大有可为

而下一代操作系统就应该是多设备通用的。应用开发出来,可以用在电脑、智能手机、智能电视、智能汽车、智能....
的头像 倩倩 发表于 08-18 07:06 26次 阅读
鸿蒙一定会是划时代意义的操作系统,将大有可为

人工智能的升级会导致部分人类失业吗

最近几个月很多人都看到了现在有很多方法解决人工智能“大数据问题”从而带给人工智能巨大推动力,并且已经....
发表于 08-17 10:12 27次 阅读
人工智能的升级会导致部分人类失业吗

Galaxy A10s作为第二款ODM智能手机推出,助于实现ODM手机的目标销量

业内观察人士预测三星将在2019年底前销售3000万到4000万部ODM(原始设计制造商)智能手机,....
发表于 08-17 09:48 47次 阅读
Galaxy A10s作为第二款ODM智能手机推出,助于实现ODM手机的目标销量

如何用智能手机Wi-Fi控制机器人

焊铁和焊丝直流电机已经将电线焊接到其端子上。..。..但它最终会断裂,您可能需要重新焊接它。所以考虑....
的头像 39度创意研究所 发表于 08-17 09:14 239次 阅读
如何用智能手机Wi-Fi控制机器人

小冰入驻vivo和OPPO手机平台,第三方设备接入数量已达4亿台以上

昨日消息,微软在北京举行小冰7代发布会,微软副总裁沈向洋在会上宣布,小冰正式入驻vivo和OPPO手....
的头像 牵手一起梦 发表于 08-16 17:38 437次 阅读
小冰入驻vivo和OPPO手机平台,第三方设备接入数量已达4亿台以上

爱牵挂S7PRO老人智能电话手表使用体验

相信大多数家庭因为工作的需要,很多时候不得不将孩子和老人独自留在家中,可以看到随着智能穿戴的发展,也....
的头像 智谷趋势 发表于 08-16 17:08 267次 阅读
爱牵挂S7PRO老人智能电话手表使用体验

iPhone销量惨败,今年开始为销量想消费者的需求妥协

由于去年iPhone销量的惨败,今年新款iPhone的定位和价格显得格外重要。根据目前的爆料情况,亓....
的头像 智谷趋势 发表于 08-16 17:02 366次 阅读
iPhone销量惨败,今年开始为销量想消费者的需求妥协

Micro usb和type-C接口谁才是市场王者

智能化时代的出现,使手机开始成为人们的抢手货,可以说,以前的山寨时代一去不复返,随着国内手机品牌的崛....
发表于 08-16 17:00 42次 阅读
Micro usb和type-C接口谁才是市场王者

如今智能手机的存储空间是越大越好吗

随着现代科技生活日新月异的发展,在我们的生活中,智能手机也是越来越离不开了!大家在选购智能手机的时候....
发表于 08-16 16:29 29次 阅读
如今智能手机的存储空间是越大越好吗

雷军发狠要小米要做最好的拍照手机,比华为更好!

当智能手机出现时,它是拍照的最佳手机。虽然这只是一张照片,但它以其出色的拍照效果得到了世界各地用户的....
的头像 电子发烧友网 发表于 08-16 16:13 383次 阅读
雷军发狠要小米要做最好的拍照手机,比华为更好!

2019Q2印度智能手机份额:小米依然领跑,三星位列第二

继此前Strategy Analytics公布了2019年二季度印度智能手机市场出货排名之后,今天市....
的头像 机器人频道 发表于 08-16 11:51 280次 阅读
2019Q2印度智能手机份额:小米依然领跑,三星位列第二

折叠屏手机可能是智能手机的未来2024年出货量将有望达到5000万

其实,目前阻碍折叠屏手机发展的因素是高昂的成本、多次折叠后屏幕的耐用性和低良品率。不过,这些问题只是....
发表于 08-16 10:41 42次 阅读
折叠屏手机可能是智能手机的未来2024年出货量将有望达到5000万

OPPO是“品牌国际化、运营本地化”不存在海外和中国市场之分

OPPO公司此后将朝内外拉通的方向走,策略上是Glocal(Global+Local)。按照OPPO....
的头像 中车永济电机 发表于 08-16 10:41 235次 阅读
OPPO是“品牌国际化、运营本地化”不存在海外和中国市场之分

鸿蒙系统为时代所需

鸿蒙系统,是需求正确问题,而非技术先进问题。
的头像 陈翠 发表于 08-16 09:09 191次 阅读
鸿蒙系统为时代所需

荣耀智慧屏一款搭载鸿蒙OS系统的智能电视

当华为选择在今年公布鸿蒙OS系统后,很多人都在期待它的庐山真面目。无论是以后非常时期不再受制于人,或....
的头像 电子发烧友网工程师 发表于 08-16 03:22 91次 阅读
荣耀智慧屏一款搭载鸿蒙OS系统的智能电视

2020年高端手机将标配ToF镜头

预测2020年配备前后VCSEL (前置结构光 & 后置ToF)的 iPhone 11s出货量约为4....
的头像 新材料在线 发表于 08-15 18:26 302次 阅读
2020年高端手机将标配ToF镜头

鸿蒙系统比安卓还要快,为啥还没有开始适配在手机里?

现在的手机市场已经形成了安卓系统和苹果iOS系统的主要格局了,正是因为迎合了消费者对于智能手机使用习....
的头像 联动原素 发表于 08-15 17:30 335次 阅读
鸿蒙系统比安卓还要快,为啥还没有开始适配在手机里?

28nm已成过去式,12nm制程或成行业新宠

今年第2季度,中国大陆智能手机应用处理器(AP)出货量提前拉货,较前期预估(季增34.6%)幅度加大....
的头像 电网智囊团 发表于 08-15 17:08 147次 阅读
28nm已成过去式,12nm制程或成行业新宠

智能手机的“多彩”趋势恐怕不会就此停止 新iPhone的新配色

在前几年,女性消费者在购买智能手机时最多也就能选个白色。但是现在,厂商们像手里的调色盘打翻了一样在手....
的头像 工业机器人 发表于 08-15 16:49 210次 阅读
智能手机的“多彩”趋势恐怕不会就此停止 新iPhone的新配色

7月手机销量排行榜出炉,华为位居榜首

现在,人们的生活越来越离不开手机,手机厂商推出新设备的周期也越来越短。
的头像 Midifan 发表于 08-15 15:25 306次 阅读
7月手机销量排行榜出炉,华为位居榜首

无线充电的手机哪个品牌做的好

无线充电,是近一两年来在旗舰手机上出现的一个功能,当然,目前来看,搭载无线充电功能的手机还不太多。
发表于 08-15 11:19 67次 阅读
无线充电的手机哪个品牌做的好

鸿蒙来了!谷歌是否担心,华为能让客户抛弃Android吗?

作为一个“B计划”,华为自研的鸿蒙系统有其独特的优势。9日的大会上华为透露了这款系统的更多细节。但是....
的头像 渔翁先生 发表于 08-15 11:04 1945次 阅读
鸿蒙来了!谷歌是否担心,华为能让客户抛弃Android吗?

5G在这些行业中,网络速度、移动性和可靠性至关重要

5G为智能手机和游戏提供了比更快的数据传输速度和更低的延迟。它还有望成为机器人技术中一个重要的连接选....
的头像 北极星智能电网在线 发表于 08-15 10:41 142次 阅读
5G在这些行业中,网络速度、移动性和可靠性至关重要

智能手机触控屏它的触控原理是什么

目前绝大部分智能手机屏幕都是电容屏,早期有电阻屏,原理不同。本来二者几乎同时起步,但此后电容屏的技术....
发表于 08-15 10:34 135次 阅读
智能手机触控屏它的触控原理是什么

2019 年Q2欧洲智能手机出货量为4510万台,三星市场份额大幅跃升

科技行业研究机构Canalys最新分析报告指出,第二季度三星在欧洲出货1830万台智能手机,市场份额....
的头像 Blue5 发表于 08-15 10:08 2074次 阅读
2019 年Q2欧洲智能手机出货量为4510万台,三星市场份额大幅跃升

深度理解神经网络黑盒子:可验证性和可解释性

虽然神经网络在近年来 AI 领域取得的成就中发挥了关键作用,但它们依旧只是有限可解释性的黑盒函数近似....
的头像 人工智能学家 发表于 08-15 09:17 69次 阅读
深度理解神经网络黑盒子:可验证性和可解释性

5G登场了,华为、小米、oppo、vivo怎么走了?

中国市场原本由华为、OPPO、vivo、小米、苹果形成的第一阵营平衡被打破,但这只是变化的开始。5G....
的头像 流媒体网 发表于 08-14 17:51 623次 阅读
5G登场了,华为、小米、oppo、vivo怎么走了?

5G时代到来,智能手机大电池和好手感,你会选择哪个?

近日小米高管在网上表示,随着5G的到来,智能手机的电池容量越来越大,手机也是变得更加厚重;今年不少的....
的头像 每日LED 发表于 08-14 17:42 388次 阅读
5G时代到来,智能手机大电池和好手感,你会选择哪个?

5G试点落地,三星推出调制解调器和应用处理器的5G芯片

5G时代事实上已经到来,虽然还没有全面铺开,但随着5G试点落地,其实我们已经正在跑步迈进5G时代了。
的头像 CNLED网 发表于 08-14 17:18 430次 阅读
5G试点落地,三星推出调制解调器和应用处理器的5G芯片

IHS Markit:AMOLED及柔性显示技术发展趋势浅析

019年上半年智能手机出货量相对2018年上半年有所下降,但其中AMOLED屏幕出货量不降反增,在今....
发表于 08-14 16:54 103次 阅读
IHS Markit:AMOLED及柔性显示技术发展趋势浅析

Osmo Mobile灵眸手机云台3正式发布该产品支持目标识别和跟随

Osmo Mobile灵眸手机云台3采用全新的外观设计,重量仅为405克,与一听可乐相当。同时采用折....
发表于 08-14 16:47 68次 阅读
Osmo Mobile灵眸手机云台3正式发布该产品支持目标识别和跟随

三星第二季度手机全球市场上以22.7%的市场份额占据榜首

IDC2019年第二季度全球智能手机市场的数据显示,三星手机在全球市场上以22.7%的市场份额占据榜....
的头像 无线充电研究院 发表于 08-14 16:37 450次 阅读
三星第二季度手机全球市场上以22.7%的市场份额占据榜首

华为鸿蒙操作系统可能会成为安卓终结者,这甚至有可能改变硅谷

8月14日据消息报道 法媒称,凭借其新移动操作系统鸿蒙操作系统,中国电信巨头华为开启了一条与美国技术....
的头像 北京科技政策法规宣讲团 发表于 08-14 16:15 595次 阅读
华为鸿蒙操作系统可能会成为安卓终结者,这甚至有可能改变硅谷

小米手机的诞生,让中国的山寨机彻底消灭

雷军回忆称,2011年8月16日发布首款小米手机的时候,准备的演讲稿有96页,而由于现场人太多,自己....
的头像 北京科技政策法规宣讲团 发表于 08-14 16:01 150次 阅读
小米手机的诞生,让中国的山寨机彻底消灭

美国化学学会ACS报告指出无线充电会减少智能手机电池的使用寿命

ACS报告中包含的图表表明,为了获得最长的电池寿命,智能手机应该在15到40摄氏度之间的环境下运行。....
发表于 08-14 15:42 46次 阅读
美国化学学会ACS报告指出无线充电会减少智能手机电池的使用寿命

7月华为手机销量:P30拿下第一名的成绩,P30 Pro第二

近日,根据多家科技媒体的消息,国金证券研究创新数据中心公布了2019年7月的国内智能手机市场销量数据....
的头像 华为EMUI 发表于 08-14 14:31 464次 阅读
7月华为手机销量:P30拿下第一名的成绩,P30 Pro第二

华为制定3到5年的“无敌铁军”保护公司免遭美国持续制裁影响

8月14日外媒称,华为公司创始人已经制定了一项3到5年的计划,以打造一支能保护公司免遭美国持续制裁影....
的头像 华为EMUI 发表于 08-14 11:42 1084次 阅读
华为制定3到5年的“无敌铁军”保护公司免遭美国持续制裁影响

榜单用数据说话,即将发布的华为mate30pro能否力挽狂澜?

近日,著名的手机相机测评网站DxOMark发布了最新的智能手机排行榜,三星note10+5G以1分险....
的头像 华为网络 发表于 08-14 11:22 546次 阅读
榜单用数据说话,即将发布的华为mate30pro能否力挽狂澜?

华为王成禄证实华为Mate 30系列设备或将于9月发布

据俄罗斯科技网站hi-tech.mail.ru消息,华为消费者业务软件总裁王成禄近日向该网站证实华为....
的头像 华为EMUI 发表于 08-14 11:08 382次 阅读
华为王成禄证实华为Mate 30系列设备或将于9月发布

华为nova5系列超快充技术超乎你的想象!

是不是常常准备要出门,却发现手机忘充电了?或是出门之后,费力找到充电的地方,却发现充满电耗时太久?的....
的头像 华为网络 发表于 08-14 10:42 370次 阅读
华为nova5系列超快充技术超乎你的想象!

未来展望,这些手机新技术有望在下半年快速普及

随着5G时代的到来,5G手机也很快将会和我们见面,相信到时候会有更多一批黑科技将会涌现,折叠屏手机、....
的头像 EDA365 发表于 08-14 10:33 229次 阅读
未来展望,这些手机新技术有望在下半年快速普及

2019上半年十大手机“黑科技”盘点

今天我们就来盘点一下上半年所出现的那些手机技术,看看有哪些真正能打动人心。
的头像 EDA365 发表于 08-14 10:32 773次 阅读
2019上半年十大手机“黑科技”盘点

中美代表热线聚焦3000亿美元产品关税 美国将推迟对中国部分产品征收关税

8月13日 美国贸易代表办公室表示,特朗普政府将推迟原定于下月开始对包括笔记本电脑和手机在内的某些中....
发表于 08-14 09:09 525次 阅读
中美代表热线聚焦3000亿美元产品关税 美国将推迟对中国部分产品征收关税

2019年第二季度:苹果依然落后于三星、小米及华为等

据外媒报道,市场研究机构Canalys发布最新数据显示,2019年第二季度苹果iPhone在欧洲智能....
的头像 三星GALAXY盖乐世 发表于 08-13 19:56 494次 阅读
2019年第二季度:苹果依然落后于三星、小米及华为等

欧洲手机市场格局变大 份额占比大是三星增长快是小米

2019 年 8 月 12 日,市场调研机构 Canalys 发布了最新研究报告,报告显示了智能手机....
的头像 华为开发者社区 发表于 08-13 19:15 460次 阅读
欧洲手机市场格局变大 份额占比大是三星增长快是小米

智能手机正迅速渗透至印度消费者

探访印度终端消费市场 中国品牌比比皆是
的头像 大健康产业情报 发表于 08-13 18:18 384次 阅读
智能手机正迅速渗透至印度消费者

Q2全球智能手机出货量同比下降2.3%

市场研究公司IDC公布最新报告称,第二季度全球智能手机出货量同比下降2.3%,但仍旧创下了这个行业一....
的头像 吴晓波频道 发表于 08-13 17:54 180次 阅读
Q2全球智能手机出货量同比下降2.3%

三星计划未来将在智能手机中配备石墨烯电池

据外媒CNET的最新报道,近日有知情人士Evan Blass透露,三星希望在2020年或2021年至....
发表于 08-13 16:35 70次 阅读
三星计划未来将在智能手机中配备石墨烯电池

怎么设计金属后盖和金属边框手机天线?

讲开又讲。前次帅气的台湾天线厂家太盟科技(Cirocomm Technology Corp.)技术总监Ryan Chou谈了4G智能手机的分段调频方案...
发表于 08-13 08:05 66次 阅读
怎么设计金属后盖和金属边框手机天线?

如何利用BP神经网络方法模拟电路故障诊断系统?

随着现代电子技术的飞速发展,大规模、超大规模集成电路越来越普及,常规的故障诊断方法如故障字典法、参数识别法、故障验证法等...
发表于 08-13 07:39 28次 阅读
如何利用BP神经网络方法模拟电路故障诊断系统?

有哪些办法能使用芯片和贴片天线解决分集和多频带射频问题?

智能手机和可穿戴电子设备等手持和便携式无线产品依赖可置入设备的微型芯片、贴片和印制线天线。尽管这些小型器件解决了在小尺寸...
发表于 08-13 06:51 71次 阅读
有哪些办法能使用芯片和贴片天线解决分集和多频带射频问题?

汽车用的天线和智能手机用的有哪些区别?

厂商们需要的天线数量出现了几何级的增长。汽车制造商疯狂做加法,但对于一些较为传统的功能,它们却又不舍得砍掉。 到底需要多...
发表于 08-13 06:48 85次 阅读
汽车用的天线和智能手机用的有哪些区别?

你真的了解自己的智能手机吗?

当你每天在用智能手机打电话、发短信、玩儿网络游戏、转微博等等一系列的沟通行为的时候,有没有想到过,这一切的一切都是通过手...
发表于 08-13 06:03 117次 阅读
你真的了解自己的智能手机吗?

AI在智能手机有什么玩法?

下一波新体验将源自支持智能手机中 AI 新使用情形的应用,其中包括语言处理、人类活动预测和增强型数据加密等。...
发表于 08-12 06:35 138次 阅读
AI在智能手机有什么玩法?

百度智能手环方开源项目设计方案

百度云智能手环的开源方案是基于Apache2.0开源协议,开源内容包括硬件设计文档,原理图、ROM、通讯协议在内的全套方案,同时...
发表于 08-07 08:32 85次 阅读
百度智能手环方开源项目设计方案

android智能手机开发问题记录

   touchkey用的是gt106驱动IC,上面有四个键,一个GPIO练到soc的GPIO上用作IRQ的媒介。我的同事花了一下...
发表于 08-06 06:38 49次 阅读
android智能手机开发问题记录

传感器数据融合给我们生活带来什么影响?

无论是智能手机、可穿戴设备、虚拟现实耳机,还是机器人吸尘器,当今用户都期望并要求这些设备始终按照指令运行,并平稳、准确地...
发表于 08-01 08:34 54次 阅读
传感器数据融合给我们生活带来什么影响?

智能功率音频放大器对智能手机的重要性

Cirrus Logic 产品经理Eric Eklund 人们在智能手机、平板电脑或其他便携式设备上消费的内容似乎没有尽头。随着智能手机屏幕...
发表于 07-29 07:58 99次 阅读
智能功率音频放大器对智能手机的重要性