NVIDIA开源Audio2Face模型及SDK

NVIDIA 现已开源 Audio2Face 模型与 SDK，让所有游戏和 3D 应用开发者都可以构建并部署带有先进动画的高精度角色。NVIDIA 开源 Audio2Face 的训练框架，任何人都可以针对特定用例对现有模型进行微调与定制。

NVIDIA Audio2Face 通过生成式 AI 驱动的实时面部动画与嘴形同步，加速写实数字角色的创作流程。Audio2Face 利用 AI 根据音频输入生成逼真的面部动画。这项技术通过分析音素、语调等声学特征，创建动画数据流，并映射至角色的面部表情。这些动画数据既可用于离线渲染预设的资产，也可实时传输到动态的、由 AI 驱动的角色，实现准确的嘴形同步与情感表达。

Audio2Face 模型已广泛应用于游戏、媒体娱乐以及客户服务等行业。众多独立软件厂商 ISV 与游戏开发商都在其应用中采用了 Audio2Face。游戏开发者包括 Codemasters、GSC Game World、网易和完美世界。ISV 包括 Convai、Inworld AI、Reallusion、Streamlabs 和 UneeQ。

以下是开源工具的完整列表。