张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

一种基于单个单眼相机的“无标记性能捕获技术”MonoPerfCap

AR酱 2018-05-23 18:02 次阅读

由于智能手机上没有深度摄像头,在手机上的动作捕捉就必须依靠单目动捕,基于单目的的动作捕捉方案就成了一个必须跨过的门槛。而由于实际中存在的像遮挡、深度、难以估计骨架姿势等问题,单目动作捕捉的解决方案就变得比较复杂。

最近,瑞士洛桑联邦理工学院(EPFL)和德国普朗克计算机研究所的研究人员发表论文,展示了一种基于单个单眼相机的“无标记性能捕获技术”MonoPerfCap,可以实现基于单目的动作捕捉,并且可以实现服装的3D重建。

简单来说,MonoPerfCap的原理分两步完成,首先是将摄像头绕目标人物一圈,在这个过程中,可以实现对目标人物轮廓的识别和信息的采集,并且基于轮廓生成一个目标人物的骨架模型,这样有利于动作的捕捉,而其它信息的采集可以应用到外部模型的渲染。

论文表示,MonoPerfCap基于轮廓的姿态细化改善了姿态估计和轮廓分割。 姿势估计中的错误导致在左臂附近不准确的背景减法。而MonoPerfCap的姿态细化将手臂骨架向左移动到正确的位置。 剪影在第二轮廓提取之后分割被显着地细化基于精确的姿势(e)。

第二步是基于第一步识别的骨架模型计算出连接点,再基于卷积神经网络的学习估计出做动作时骨架姿势的变化,随后在骨架模型上渲染出整个人身体的轮廓。

通过使用这种提出的方法,我们不仅可以重建人体姿势,而且还可以重建衣服的穿着动作,并且使我们能够从自由的角度进行渲染。但是,高速运动时和出现强遮挡时的识别变得略不稳定。

MonoPerfCap的研究人员将自己的动作捕捉分别和2015、2016、2017的方法比较,用MonoPerfCap方法得到的结果优于其它方法的结果,甚至已经非常接近8台摄像机多视角动作捕捉的结果。

首先,这种捕捉方法必须依靠大约半分钟的对目标人物的圆形扫描,虽然之后的处理是不需要人干预的,但仍然略显麻烦。

另外,有的场景下的识别仍然有可能捕捉失败,由于一般视角下对脚的捕捉很难实现,所以像有大量遮挡的情况或者当运动非常迅速的时候,就可能失败。如果目标人物穿着像风衣或者夹克这样的衣服时,很可能对摄像头的识别造成干扰,从而无法捕捉。在论文的示例中,捕捉目标都穿着比较贴近身体的衣服。

这是论文对各个人物目标的识别示例,可以看到识别效果比较好,另外衣服和身体的细节渲染也不错。

前两天我们还刚提到过一个单目动捕方案Vnect,它们在原理上的差别其实不大,同样是基于骨架模型,同样利用卷积神经网络进行学习,区别在于Vnect只能估算出骨架的姿势模型,MonoPerfCap还添加了估计外部身体姿势和和衣服细节的能力,相对来说更加成熟。

其实,MonoPerfCap的方案不止可以应用到动作捕捉上,就论文中实现的方案来看,这个方案同样可以用来识别合适的视频中人物的动作。

总而言之,MonoPerfCap可以适用于各种不同的场景,复杂的背景也不会对识别结果产生影响,在性能方面也已经超越了之前的方案,细节渲染尤其可圈可点,可以说是一个比较出彩的单眼动作捕捉方案了。对此有兴趣的同学也可以点击阅读原文下载论文。

原文标题:MonoPerfCap:又一个单目动作捕捉方案

文章出处:【微信号:ARchan_TT,微信公众号:AR酱】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

深度学习和神经网络

David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络
发表于 11-08 00:00 7724次 阅读
深度学习和神经网络

手机信号放大器是什么

手机信号放大器又叫微型直放站,也叫手机伴侣。信号增强器从其名称我们就知道其功能是放大信号。
发表于 06-25 17:39 18次 阅读
手机信号放大器是什么

“弹出式”前摄iPhone11图曝光!

刚刚,外网曝光了一组配“弹出式”前置摄像头的iPhone 11 Pro渲染图。
的头像 iPhone频道 发表于 06-25 16:41 76次 阅读
“弹出式”前摄iPhone11图曝光!

HandyCase智能手机壳 手机背后触控技术

智能手机的迭代更新带动了手游市场的飞速发展,但是在你玩游戏时,是否会觉得两个拇指无法及时操控所有按键....
发表于 06-25 16:11 16次 阅读
HandyCase智能手机壳 手机背后触控技术

苹果要求供应商评估 将15%-30%产能转移至东南亚

为应对贸易战,苹果拟对自家供应链进行根本性调整
的头像 PCB开门网 发表于 06-25 16:01 47次 阅读
苹果要求供应商评估 将15%-30%产能转移至东南亚

马太效应越发凸显,国产头部品牌寒冬中逆势上扬

国产Android品牌在微博上占有率持续扩大,头部品牌格局保持稳定。
的头像 满天芯 发表于 06-25 15:39 36次 阅读
马太效应越发凸显,国产头部品牌寒冬中逆势上扬

激光雷达以及强大的神经网络能否代替高精度地图?

即使 L3 及以上自动驾驶汽车必须有高精地图辅助已经成了业界共识,特立独行的马斯克认为高精度地图是浪....
的头像 智车科技 发表于 06-25 14:32 69次 阅读
激光雷达以及强大的神经网络能否代替高精度地图?

逆势增长!华为高端智能手机份额超过苹果

昔日备受高端用户追捧的iPhone风光不再
的头像 PCB行业工程师技术交流 发表于 06-25 14:13 114次 阅读
逆势增长!华为高端智能手机份额超过苹果

触控加速技术将提升游戏的体验感

一段关于触控加速技术的对比视频被公布出来,这是继上周五官方发布电竞体验预热海报后,iQOO ﻪNeo....
发表于 06-25 10:50 35次 阅读
触控加速技术将提升游戏的体验感

谁是第一个发明的触控屏幕

我们每天都在使用触屏手机,而且目前全球的手机厂商无不使用触摸屏,市面上已经很少有非触屏手机了。
发表于 06-25 10:46 31次 阅读
谁是第一个发明的触控屏幕

OPPO公司下一代Find系列新旗舰机曝光将采用屏下前置摄像头设计

据91mobiles报道,在今年早些时候,OPPO就注册了“Find Z”商标;但91mobiles....
发表于 06-25 10:45 22次 阅读
OPPO公司下一代Find系列新旗舰机曝光将采用屏下前置摄像头设计

iQOO Neo将采用全新触控优化技术

苹果在产品策略上,和安卓阵营的机型有一个非常大的不同点,苹果一直都是采用一年一代产品的更新方式,新款....
发表于 06-25 10:43 42次 阅读
iQOO Neo将采用全新触控优化技术

视频情景分析技术在视频购物领域的探索

晓推自研的视频情景分析技术可以识别出视频中每一帧画面的内容,并且打上特定的标签,如图1所示,该技术可....
发表于 06-25 10:34 21次 阅读
视频情景分析技术在视频购物领域的探索

2019年的互联网趋势互联网女皇报告中文版免费下载

我们使用数据来讲述我们所关注的与业务相关的趋势故事。我们希望别人接受我们的想法,并因此而变得更好。当....
发表于 06-25 08:00 5次 阅读
2019年的互联网趋势互联网女皇报告中文版免费下载

中国首款嵌入式神经网络处理器诞生

6月20日,张韵东所在的中星微 “数字多媒体芯片技术”国家重点实验室举行新闻发布会称,其发明的中国首....
发表于 06-24 17:09 47次 阅读
中国首款嵌入式神经网络处理器诞生

视觉AI第一股 虹软科技科创板IPO过会

近日,科创板上市委2019年第8次审议会议结果出炉,中国通号、虹软科技通过科创板上市委审议,即将进入....
的头像 半导体投资联盟 发表于 06-24 16:59 325次 阅读
视觉AI第一股 虹软科技科创板IPO过会

realme手机的6400万超清四摄再次刷新了手机影像的性能参数

realme的6400万超清像素传感器,来自拥有先进影响技术的三星电子,是目前手机领域像素最高的传感....
发表于 06-24 16:37 49次 阅读
realme手机的6400万超清四摄再次刷新了手机影像的性能参数

iQOO新机将搭载触控加速技术

上周,iQOO手机官方刚在在微博正式公布了一款全新机型——iQOO Neo,据悉该机将在7月2日正式....
发表于 06-24 16:02 45次 阅读
iQOO新机将搭载触控加速技术

vivo展示120W充电技术 13分钟便充满电

自 OPPO 之后大多数手机厂商均意识到快速充电的重要性,并为自家产品配备了各式各样的快充功能。如果....
的头像 ZEALER订阅号 发表于 06-24 14:26 542次 阅读
vivo展示120W充电技术 13分钟便充满电

华为手机今年全球发货量已超过1亿台

近日消息,华为在武汉发布了全新nova5系列,在发布会上,华为何刚宣布华为手机全球发货量已经突破1亿....
的头像 PCB资讯 发表于 06-24 14:19 403次 阅读
华为手机今年全球发货量已超过1亿台

黄石打好服务“组合拳” PCB产业生态圈逐渐成形

以往,PCB产业主要分布在珠三角、长三角等电子行业集中度高、对基础元件需求量大并具备良好水电和运输条....
的头像 PCB资讯 发表于 06-24 14:06 227次 阅读
黄石打好服务“组合拳” PCB产业生态圈逐渐成形

嵌入式视觉处理器让神经网络性能翻倍

DesignWareEV6xVisionProcessor集成了多达4个512位向量DSP和1个CN....
发表于 06-24 11:34 40次 阅读
嵌入式视觉处理器让神经网络性能翻倍

LG申请新专利 要做打孔屏手机

虽然国内用户对LG并不感冒,但是作为大企业,大家多多少少还是听过不少LG手机的消息的。而随着各大厂商....
的头像 科技美学 发表于 06-24 11:19 292次 阅读
LG申请新专利 要做打孔屏手机

HTC U12旗舰机将采用最新边框触控技术

在过去的几年中,HTC经历了相当艰难的一段时间。过去的HTC曾经是一个粉丝大众喜欢的手机,比如HTC....
发表于 06-24 10:41 72次 阅读
HTC U12旗舰机将采用最新边框触控技术

iPhone Xs Max堪称完美?

很多人说iPhone贵不是苹果的缺点,而是你的缺点,但苹果近年来节节攀升的价格小编还是耿耿于怀的,i....
的头像 iPhone频道 发表于 06-24 10:23 490次 阅读
iPhone Xs Max堪称完美?

中国5G发展带动经济总产出10.6万亿元 PCB迎来全新发展风口

随着5G牌照的下发,5G商用大幕开启,PCB迎来了一个全新的发展风口。据券商测算,5G对PCB需求空....
的头像 PCB行业融合新媒体 发表于 06-24 09:59 480次 阅读
中国5G发展带动经济总产出10.6万亿元 PCB迎来全新发展风口

LG电子新手机专利曝光采用了打孔式前置摄像头设计

专利包含的手机原理图显示该机采用了屏幕左上角打孔,与三星的右上角位置不同。手机背面非常类似于LG V....
发表于 06-24 09:52 27次 阅读
LG电子新手机专利曝光采用了打孔式前置摄像头设计

特朗普关税可能导致iPhone涨价 苹果高端产品成本增加数百美元

苹果公司称,拟议中的对华新关税将“使竞争环境发生倾斜”,有利于其竞争对手,并削弱苹果对美国经济的贡献....
的头像 1号机器人网 发表于 06-24 09:47 329次 阅读
特朗普关税可能导致iPhone涨价 苹果高端产品成本增加数百美元

2019年第一季度全球智能手机市场的出货量呈现出下跌态势

IDC数据:全球2019年第一季度智能手机总出货量为3.1亿部,较去年下降了6.6%,依然维持下滑的....
发表于 06-24 09:46 79次 阅读
2019年第一季度全球智能手机市场的出货量呈现出下跌态势

再下黑手 FedEx拒送华为手机

据报道,美国航运公司FedEx现在拒绝运送华为手机。一名在伦敦工作的测评作家,试图将华为P30 Pr....
的头像 中国半导体论坛 发表于 06-24 09:14 434次 阅读
再下黑手 FedEx拒送华为手机

高通如何把持手机行业近20年?

在过去20年的大部分时间里,高通在无线芯片技术领域一直处于领先地位。然而,其利用这种优势与手机制造商....
的头像 旺材芯片 发表于 06-24 08:55 1000次 阅读
高通如何把持手机行业近20年?

孙正义首次回应Arm和华为关系 Arm没有和华为停止合作关系

近日,在“G2 and Beyond:全球产业秩序的解构与创新”论坛上,鸿海创始人郭台铭和软银创始人....
的头像 半导体前沿 发表于 06-24 08:42 701次 阅读
孙正义首次回应Arm和华为关系 Arm没有和华为停止合作关系

非视距技术助力汽车和智能手机摄像头“看清”四周角落

近日Algolux宣布,由来自Algolux公司、蒙特利尔大学和普林斯顿大学的研究人员最新研发了一种....
的头像 MEMS 发表于 06-23 11:30 870次 阅读
非视距技术助力汽车和智能手机摄像头“看清”四周角落

诺基亚宣布开发新电池技术 电子设备续航有救

随着智能手机、无人机、电动汽车和机器人等联网设备对电力的需求日益增长,这就要求电池性能更好,以适应新....
的头像 科技美学 发表于 06-23 11:19 710次 阅读
诺基亚宣布开发新电池技术 电子设备续航有救

关于移动联通电信手机信号的放大器

手机信号放大器,顾名思义就是放大手机信号,手机信号运营商就目前来说,分为电信、联通、移动三大运营商,....
发表于 06-23 11:18 106次 阅读
关于移动联通电信手机信号的放大器

小米CC真机首度曝光 小屏or大屏你更喜欢哪一种?

近日,小米官宣了小米手机的全新系列——小米CC。随后,雷军也解释了小米CC的定位就是全球年轻人的潮流....
的头像 科技美学 发表于 06-23 11:13 794次 阅读
小米CC真机首度曝光 小屏or大屏你更喜欢哪一种?

中兴5G 奥地利商用

近日消息,奥地利电信运营商Hutchison Drei已经部署了奥地利第一个投入运营的5G网络。早期....
的头像 5G 发表于 06-23 10:56 661次 阅读
中兴5G 奥地利商用

智能手机的无线充电技术是否真的实用

也不知道从什么时候开始,无线充电技术似乎是成为了高端旗舰手机的标配,而且在加入了无线充电技术之后,手....
发表于 06-23 10:37 99次 阅读
智能手机的无线充电技术是否真的实用

华为屏幕指关节操作方法及技术原理

近期,抖音等短视频APP兴起,多种手机简便操作方法也随着这种短视频APP流传出去。
发表于 06-23 10:26 156次 阅读
华为屏幕指关节操作方法及技术原理

ColorOS 6带来完美的触控体验

熟悉智能手机市场的人知道,明天对于ColorOS用户粉丝来说是极其重要的一天,因为在明天下午的时候,....
发表于 06-23 10:22 92次 阅读
ColorOS 6带来完美的触控体验

英伟达GauGAN开放测试,人人当画家!

从GaoGAN的测试界面来看,与之前英伟达放出的Demo和视频介绍中几乎完全一样。只需要首先点击屏幕....
的头像 新智元 发表于 06-23 08:35 173次 阅读
英伟达GauGAN开放测试,人人当画家!

中国高端手机市场变局,华为首胜苹果

6月19日,第一手机界研究院从全国线下手机零售渠道获得数据统计显示,在2019年5月中国线下手机市场....
发表于 06-22 09:55 363次 阅读
中国高端手机市场变局,华为首胜苹果

人脸识别的发展与市场和技术与流程及行业应用等详细资料说明

人脸识别(Face Recognition)是一种依据人的面部特征(如统计或几何特征等),自动进行身....
的头像 Python机器视觉 发表于 06-22 09:41 1663次 阅读
人脸识别的发展与市场和技术与流程及行业应用等详细资料说明

想报考人工智能专业你必须知道这些事情

人工智能专业是“虚火过旺”还是“星火燎原”?报考同学需要拥有什么“底层”能力?学校和城市的选择有哪些....
的头像 奥比中光 发表于 06-22 09:36 839次 阅读
想报考人工智能专业你必须知道这些事情

三星GalaxyNote10曲面钢化膜曝光 后置3个摄像头

日前,知名数码博主曝光了三星Galaxy Note 10的钢化膜,从图片上看,该曲面弧度较大。综合现....
的头像 扩展触控快讯 发表于 06-21 17:13 540次 阅读
三星GalaxyNote10曲面钢化膜曝光 后置3个摄像头

掘金柔性显示 把握材料变化

柔性OLED 引领显示潮流,市场规模快速扩大。OLED 凭借柔性可折叠的特性,有望成为未来主流显示技....
的头像 扩展触控快讯 发表于 06-21 17:09 398次 阅读
掘金柔性显示 把握材料变化

华为在国外推出“全额退款”计划 稳定海外终端市场

据外媒“Huawei Central”报道,在菲律宾,华为推出面向智能手机和平板电脑产品的“全额退款....
的头像 5G 发表于 06-21 16:41 601次 阅读
华为在国外推出“全额退款”计划 稳定海外终端市场

华为5G手机 进入欧洲市场

近日,芬兰第一大移动通信网络运营商Elisa已开始接受其用户对于华为5G手机“Mate 20 X”预....
的头像 5G 发表于 06-21 16:39 470次 阅读
华为5G手机 进入欧洲市场

美国禁华为 日企损失或将过亿

日前,华为突然被美国商务部纳入禁运措施对象名单。在日本企业中,向华为手机提供零部件的各电子零部件企业....
的头像 PCB开门网 发表于 06-21 16:06 371次 阅读
美国禁华为 日企损失或将过亿

韩国和越南无法取代中国成为主要供货商

最近,美国消费技术协会(CTA)发布的最新研究指出,若是美国总统特朗普再对中国价值3000亿美元的进....
的头像 半导体投资联盟 发表于 06-21 15:17 283次 阅读
韩国和越南无法取代中国成为主要供货商

OV和ODM厂商抢滩印度实况 水电设施如20年多前的深圳周边

过去10余年,得益于中国大陆廉价的人力成本,以及中国政府以市场换技术,用关税的手段,让很多国际手机零....
的头像 半导体投资联盟 发表于 06-21 14:46 308次 阅读
OV和ODM厂商抢滩印度实况 水电设施如20年多前的深圳周边

2019年5月“人工智能”主题精选资料合集

电子发烧友总结了以“人工智能”为主题的5月精选干货,今后每月一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载...
发表于 06-21 10:34 323次 阅读
2019年5月“人工智能”主题精选资料合集

智能手机复杂接口设计

支持网络的多媒体智能电话改变了消费者使用手机的方式。在这些电话中,特别受欢迎的是液晶触摸屏接口,用户通过它来使用各种应用...
发表于 06-21 05:00 45次 阅读
智能手机复杂接口设计

32 W Type-C接口QC-3.0适配器解决方案设计说明

DN05099 / D,Design Note描述了一个36瓦的Type-C接口QC-3.0,通用交流输入,用于智能手机的恒压电...
发表于 06-19 08:10 80次 阅读
32 W Type-C接口QC-3.0适配器解决方案设计说明

基于NFC技术的智能手机设计

智能手机已成为终端厂商最关注的IT产品之一,如何以最有效率的方式推出各种不同新机型,满足客户营销及市场需求,已成为最重要...
发表于 06-19 06:30 39次 阅读
基于NFC技术的智能手机设计

可重构波束天线技术在增加网络容量应用

  随着数据服务用户数量的不断增加和单位用户流量的增加,全球市场上的无线数据流量正以指数级的趋势不断增加。由于其增大的容...
发表于 06-11 07:31 80次 阅读
可重构波束天线技术在增加网络容量应用

智能手机射频前端控制协议如何调试和测试

近年来智能手机的发展,使射频前端设备的需求量大幅增加,而要兼容所有这些设备非常困难。目前MIPI联盟制定了一套RFFE标...
发表于 06-10 08:09 69次 阅读
智能手机射频前端控制协议如何调试和测试

多模LTE智能手机评估的问题

下一代LTE 移动通讯产品有望成为新的全球标准。但是,因为在初始阶段LTE 的服务范围有限,所以LTE 智能手机还必须支持其...
发表于 06-05 07:16 92次 阅读
多模LTE智能手机评估的问题

CMMB移动电视系统结构设计

0 引言 中国移动多媒体广播电视(CMMB)标准作为中国自行研发、完全掌握自主知识产权的移动多媒体标准,以其高速率、低功...
发表于 05-31 05:00 82次 阅读
CMMB移动电视系统结构设计

基于i.MX 8的物体识别神经网络

i.MX 8开发工具从相机获取数据并使用一个GPU并应用图像分割算法。然后将该信息馈送到专用于识别交通标志的神经网络推理引擎...
发表于 05-29 10:50 155次 阅读
基于i.MX 8的物体识别神经网络

请问有智能手机设计方案吗?

想找找看有没有关于智能手机的资料
发表于 05-23 01:09 105次 阅读
请问有智能手机设计方案吗?