还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

NVIDIA通过Vid2Vid Cameo演示表演捕捉技术

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-08-14 10:49 次阅读

Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid Cameo 和 3D 人体姿态估计工具来实时驱动表演。

NVIDIA AI 工具可为各个级别的创作者(视觉特效和动画工作室、创意专业人士,甚至是摄像头发烧友)实现由深度学习驱动的表演捕捉技术。

借助 NVIDIA Vid2Vid Cameo,创作者可以利用 AI 从专业摄像头或智能手机拍摄的标准 2D 视频中捕捉面部动作和表情。这种表演可实时用于为虚拟形象、人物或绘画制作动画。

通过 3D 人体姿态估计软件,创作者可以捕捉散步、跳舞和武术表演之类的全身动作,从而利用 AI 让虚拟角色栩栩如生。

对于没有 3D 经验的个人,这些工具可以助力他们使用智能手机视频片段轻松制作创意项目动画。专业人士可以更进一步,结合使用姿态估计和 Vid2Vid Cameo 软件,将自己的动作传输到虚拟角色,用于直播或动画项目。

创意工作室可以利用 AI 驱动的表演捕捉技术进行概念设计或预视觉化,从而快速传达特定动作在数字角色上的样子。

NVIDIA 通过 Vid2Vid Cameo 演示表演捕捉技术

NVIDIA Vid2Vid Cameo 通过 NVIDIA AI Playground 上的演示提供,只需两个元素即可生成头部特写视频:可制作动画的虚拟形象或绘画的静止图像,以及原始表演者说话、唱歌或移动头部的视频片段。

该模型基于生成式对抗网络 (GAN) 绘制面部动作,以捕捉实时运动,进而将该运动传输至虚拟角色。经过 18 万个视频的训练,该网络学会了如何识别 20 个关键点以对面部运动进行建模,即编码眼睛、嘴、鼻子、眉毛等部位的位置。

这些点从表演者的视频流中提取,然后应用于虚拟形象或数字角色。在下面的演示中了解其工作原理,该演示将埃德加·爱伦·坡的《十四行诗 – 致科学》的表演转换为艺术家 Gary Kelley 创作的一幅作家肖像。

视觉平台集成 NVIDIA 的 Vid2Vid Cameo 和姿态估计

虽然 Vid2Vid Cameo 可以捕捉详细的面部表情,但姿态估计 AI 可追踪全身的运动,这是创作者处理负责执行复杂动作或在数字场景中移动的虚拟角色时所需的关键功能。

Pose Tracker 是一个卷积神经网络模型,可作为 NVIDIA Omniverse 3D 设计协作和世界模拟平台的扩展程序。它允许用户上传视频片段或将直播视频作为运动源进行串流,以实时制作角色动画。创作者可以免费下载 NVIDIA Omniverse,并借助分步教程开始使用。

已将 NVIDIA AI 表演捕捉技术集成到自身产品的公司包括:

Derivative 是基于节点的实时视觉开发平台 TouchDesigner 的制造商,已采用 Vid2Vid Cameo,以提供易于使用的面部追踪。

Notch 是一家为 3D、视觉效果和直播活动视觉效果提供实时图形工具的公司,该公司使用 NVIDIA 的人体姿态估计 AI 来帮助艺术家简化舞台设置。Notch 用户无需依赖自定义硬件追踪系统,而是可以使用标准摄像头设备实时控制 3D 角色动画。

Pixotope 是一家先进的虚拟制作公司,使用 NVIDIA AI 助力的实时人才追踪来驱动实时制作的交互式元素。在近期的 NVIDIA GTC 大会上,这家总部位于挪威的公司分享了其工作成果,在屏幕上实现真实元素和虚拟元素之间的交互。

审核编辑:汤梓红
  • 3D
    3D
    +关注

    关注

    4

    文章

    2153

    浏览量

    101085
  • NVIDIA
    +关注

    关注

    14

    文章

    2797

    浏览量

    95487
  • AI
    AI
    +关注

    关注

    85

    文章

    20672

    浏览量

    237486
收藏 人收藏

    评论

    相关推荐

    AI走向何方?我们在GTC 2022看到了这些趋势

    能被称作科技“春晚”的大会不多,GTC算是其中公认一个。不仅大量游戏爱好者为之吸引,更有更多观众奔着....
    的头像 脑极体 发表于 09-23 19:23 231次 阅读

    海康智能安检产品助力持续提升智慧安检水平

    在AI的加持下,海康智能安检产品快速检测、精准识别,助力大幅提升安检效能。
    的头像 海康威视 发表于 09-23 14:38 214次 阅读

    ADAYO华阳实现更丰富的增强现实交互

    9月21日,惠州市华阳多媒体电子有限公司(以下简称华阳多媒体)HUD系统专家刘鹏受邀参加由ATC汽车....
    的头像 ADAYO华阳集团 发表于 09-23 14:08 71次 阅读

    下一代人工智能基础设施的产品和服务是什么样的

    下一代人工智能基础设施的产品和服务是什么样的?
    发表于 09-23 14:05 60次 阅读

    特控工控机在锂电行业AI视觉检测中的应用

    特控IPC-H610高性能4U上架式工控机通过AI深度学习软件+硬件解决方案为核心完成对锂电池封边缺....
    发表于 09-23 13:40 9次 阅读
    特控工控机在锂电行业AI视觉检测中的应用

    ​壹沓数字机器人,助力5A级综合物流企业「飞力达」打造智慧供应链

    近日,壹沓科技宣布与5A级综合物流服务企业「飞力达」签约,基于RPA、AI、大数据等技术优势,通过为....
    发表于 09-23 12:01 94次 阅读

    宝兰德携手华为助力工地安全生产管理领域数智化升级

    近日,基于昇腾AI,北京宝兰德软件股份有限公司(简称:宝兰德)的智能学习平台及智慧工地系列解决方案完....
    的头像 华为计算 发表于 09-23 11:58 103次 阅读

    华为联合伙伴共同孵化超过90个昇腾AI解决方案

    以“数智未来,因你而来”为主题的武汉人工智能·昇腾AI创新大赛湖北赛区总决赛在武汉光谷皇冠假日酒店成....
    发表于 09-23 11:47 71次 阅读

    NVIDIA Isaac Sim机器人仿真平台上云

    新 Omniverse Cloud 平台上的 Isaac Sim 使虚拟机器人的测试和训练更容易实现....
    发表于 09-23 11:37 59次 阅读

    NVIDIA宣布推出第二代NVIDIA OVX,支持端口200G网络速率

    全新 NVIDIA OVX 系统旨在助力运用领先的 3D 软件来构建 3D 虚拟世界,并且支持在 N....
    发表于 09-23 11:36 70次 阅读

    NVIDIA助力DSD构建铁路网的数字孪生

    德国的国家基础设施管理者正在设计采用 AI 技术的数字孪生,以开发未来的铁路系统。
    的头像 NVIDIA英伟达企业解决方案 发表于 09-23 11:35 172次 阅读

    IPU正成为未来数据中心里起舞的精灵 面向微服务创新

    日耳曼神话中,有一种名叫戈兰林(Gremlin)的小精灵。传说这种精灵熟悉各种工具和机械,可以帮助能....
    的头像 脑极体 发表于 09-22 18:58 253次 阅读

    高需求和低渗透之间,服务机器人为何规模化落地难?

    产品硬伤难解
    的头像 双目立体视觉 发表于 09-22 17:41 125次 阅读
    高需求和低渗透之间,服务机器人为何规模化落地难?

    英伟达发布全新汽车芯片Thor 于2025年量产装车

      据消息,9月20日在英伟达2022年秋季GTC大会上,公司创始人黄仁勋发布中央计算芯片DRIVE....
    的头像 科技快讯 发表于 09-22 16:02 101次 阅读

    IBM使用AI来帮助监测与跟踪供应链的表现

    近半数(47%)受访首席供应链官表示在过去两年当中引入了新的自动化技术。
    的头像 IBM中国 发表于 09-22 15:02 79次 阅读

    凌华科技推出专为智能交通设计的边缘运算解决方案

    交通运输是社会运作的大动脉,不过在人流、车流数量庞大的特定时、地,这条动脉难免会堵塞,AI智能控制灯....
    的头像 lhl545545 发表于 09-22 14:39 80次 阅读

    昇腾AI方案加速智慧能源新基建的步伐

    昇腾AI方案也已在山东、江苏、浙江、四川、湖南、广东等25+省市部署应用,涵盖输电、变电、配电、用电....
    的头像 华为计算 发表于 09-22 11:18 131次 阅读

    英伟达NVIDIA为何可以在高性能计算GPU中处于不败地位?

    英伟达 | GTC2022 | 高性能计算 NVIDIA | RTX4090 | 液冷服务器 在东数....
    的头像 GPU视觉识别 发表于 09-22 10:59 117次 阅读
    英伟达NVIDIA为何可以在高性能计算GPU中处于不败地位?

    NVIDIA Ada Lovelace架构的NVIDIA RTX 6000工作站GPU

    RTX 6000 专为神经图形和先进的虚拟世界模拟而设计,其具有 Ada 架构赋能的 AI 技术和可....
    的头像 丽台科技 发表于 09-22 10:48 235次 阅读

    NVIDIA第二代 NVIDIA OVX为全球用户带来更强大的性能

    技嘉科技、新华三、浪潮、联想、广达和超微将提供 OVX 系统;宝马集团和捷豹路虎将成为 OVX 系统....
    的头像 NVIDIA英伟达 发表于 09-22 10:46 86次 阅读

    NVIDIA即将推出首批基于开创性 NVIDIA Hopper 架构的产品和服务

    NVIDIA 于今日宣布 NVIDIA H100 Tensor Core GPU 全面投产,NVID....
    的头像 NVIDIA英伟达 发表于 09-22 10:45 144次 阅读

    NVIDIA推出首款软件加基础设施即服务产品

    NVIDIA 首个软件即服务(SaaS)产品包括 Omniverse Cloud Nucleus、D....
    的头像 NVIDIA英伟达 发表于 09-22 10:43 64次 阅读

    NVIDIA NeMo最新语言模型服务帮助开发者定制大规模语言模型

    NVIDIA NeMo 大型语言模型(LLM)服务帮助开发者定制大规模语言模型;NVIDIA Bio....
    发表于 09-22 10:42 55次 阅读

    NVIDIA为Terra云平台提供快速分析海量医疗数据所需的AI和加速工具

    NVIDIA 于今日宣布与麻省理工学院和哈佛大学旗下的博德研究所(The Broad Institu....
    的头像 NVIDIA英伟达 发表于 09-22 10:40 184次 阅读

    NVIDIA发布新一代GeForce RTX GPU

    GTC揭开序幕,黄仁勋发布了自然语言理解、元宇宙、游戏和AI技术的最新进展,并介绍了这些成果如何影响....
    的头像 NVIDIA英伟达 发表于 09-22 10:38 144次 阅读

    NVIDIA发布 GeForce RTX 40 系列 GPU

    NVIDIA 发布 GeForce RTX 40 系列 GPU,旨在为游戏玩家和创作者提供革命性性能....
    的头像 NVIDIA英伟达 发表于 09-22 10:38 82次 阅读

    NVIDIA 发布AI 驱动的性能倍增器NVIDIA DLSS 3

    NVIDIA 发布 NVIDIA DLSS 3--一款由 AI 驱动的性能倍增器,开启 NVIDIA....
    的头像 NVIDIA英伟达 发表于 09-22 10:36 93次 阅读

    NVIDIA RTX 6000工作站GPU将为企业工作流带来性能提升

    RTX 6000 GPU 将为企业工作流带来 2-4 倍的性能提升;全球厂商将于第四季度开始发货。
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:06 113次 阅读

    NVIDIA携手合作伙伴提供AI赋能的、GPU加速的网络安全平台

    两家公司通过所提供的服务和 NVIDIA AI 加速网络安全平台,助力企业分析海量数据,更快查明威胁....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:03 96次 阅读

    奥比中光3D摄像头+深度融合算法助推元宇宙应用

    近日,以智能影像技术发展趋势及产学研用探讨为主题的2022年未来·影像行业峰会在北京召开。奥比中光高....
    发表于 09-22 10:02 188次 阅读

    全新混合云NVIDIA应用服务于各种行业用例

    两家公司扩大合作范围,将帮助全球企业轻松构建和运行先进的 AI 与元宇宙服务,包括物联网边缘 AI、....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:02 101次 阅读

    Nvidia发布最新的高级自动驾驶中央计算引擎Drive Thor

    Nvidia的Danny Shapiro(车载业务VP)表示,Thor将通过一个简化的集中式计算架构....
    的头像 倩倩 发表于 09-22 09:59 100次 阅读

    NVIDIA助力轻舟智航发布新一代车规级前装量产自动驾驶解决方案

    近日,世界前沿的无人驾驶通用解决方案公司轻舟智航(QCraft)宣布推出搭载 NVIDIA DRIV....
    发表于 09-22 09:58 59次 阅读

    NVIDIA助力小鹏汽车最新旗舰车型上市

    今日,小鹏汽车最新旗舰车型——超快充全智能 SUV G9 在中国正式上市并将于第四季度向用户交付。作....
    发表于 09-22 09:56 61次 阅读

    NVIDIA推出全新Jetson Orin Nano系统级模组

    NVIDIA 推出全新Jetson Orin Nano 系统级模组,扩充了NVIDIA Jetson....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 09:54 101次 阅读

    NVIDIA IGX平台将推进制造、物流和医疗行业的人机协同

    NVIDIA 推出用于高精度边缘 AI 的NVIDIA IGX 平台,为制造、物流和医疗等行业带来了....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 09:52 85次 阅读

    研华IoT案例 AI赋能iDAQ旋转机械预测维护方案

    现今大部分企业依旧沿用传统设备巡检方式进行设备管理,不仅耗费人力,还极易出现设备非计划停机,诱发安全....
    的头像 city_prolove 发表于 09-21 19:57 195次 阅读

    华秋第八届硬创大赛携手NVIDIA初创加速计划,赋能企业发展

    中国硬件创新创客大赛始于2015年,由深圳华秋电子有限公司主办,至今已经成功举办七届,赛事范围覆盖华南、华东、华北三大地...
    发表于 07-11 11:28 4404次 阅读

    Arm Neoverse NVIDIA Grace CPU 超级芯片:为人工智能的未来设定步伐

    人工智能 (AI) 将改变世界。但要实现其潜力,我们将不得不改变设计计算系统的方式。 诸如在云中训练神经网络或在边缘实时执...
    发表于 03-29 14:40 3163次 阅读

    JetsonNano的环境配置参考刷机教程

    首先要保证安装好NVIDIA驱动工具和CUDA以及Cudnn软件包(主机的环境配置在第七章中可以找到,JetsonNano的环境配置...
    发表于 12-21 08:22 768次 阅读

    NVIDIA Jetson介绍

    首发极术社区如对Arm相关技术感兴趣,欢迎私信 aijishu20加入技术微信群。分享内容NVIDIA Jetson是嵌入式计算平台,具有...
    发表于 12-14 08:05 1663次 阅读

    基于JetsoN Nano开发套件的开源智能车项目

    JetBot 项目是NVIDIA(英伟达)基于JetsoN Nano开发套件而设计的一款开源智能车项目, 为初步上手Jetson Nano,并渴...
    发表于 11-04 07:40 3139次 阅读

    JetsonNano™2GBDeveloperKit开箱测试

    2020年10月5号,英伟达(Nvidia)发布了Jetson Nano™ 2GB Developer Kit,Jeson平台再添一员,目前Jetson系列分层更加明确...
    发表于 11-04 07:05 1831次 阅读

    Nvidia/ARM交易,能怎样为下一个计算机时代创造主导的生态系统

    在过去的几周中,有许多关于Nvidia收购Arm的提议的报道。有关该消息的消息大多困扰着阿姆的现有所有者软银以310亿美元的价格收...
    发表于 09-07 09:49 1959次 阅读

    G-SYNC有什么作用

      什么是G-SYNC技术?   G-SYNC是NVIDIA的技术,可将显示器的刷新率与显卡的帧速率同步,以提高游戏性能。...
    发表于 06-22 10:58 6277次 阅读

    NVIDIA 在首个AI推理基准测试中大放异彩

    Turing GPU、Xavier芯片系统在MLPerf基准测试中展现了巨大优势 加利福尼亚州圣克拉拉市 —— 2019年11月6日 —— &...
    发表于 11-08 19:44 3323次 阅读
    NVIDIA 在首个AI推理基准测试中大放异彩

    半导体厂商和互联网巨头选择什么AI计算平台?

    不同厂商有不同的应用场景,而适合构架和解决方案也各不相同,如云侧和端侧处理构架的设计导向差别较大。对于半导体领域,只要市...
    发表于 08-09 07:40 2636次 阅读