0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

开源项目:根据语音自动生成动画人物口型

如意 来源:量子位 作者:量子位 2020-12-23 15:26 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

只需要输入一段语音,代码会自动生成与之相对的动画唇形。

还是毫无违和感的那种。

这是一个在GitHub上拥有501星的开源项目,叫做Rhubarb Lip Sync。

它既可以是Windows和OS X命令行工具,也可以作为软件的插件使用,能够根据语音记录自动创建2D嘴型动画。

它可以用于计算机游戏、动画卡通中的角色,或者用于其他需要基于现有录音、对嘴部进行动画处理的的影视项目。

那么,它是怎么实现如此效果的呢?

运作原理

首先,了解一下动画人物说话的六种嘴型。

上述六种嘴型是由汉娜·巴贝拉(Hanna-Barbera)发明,已经成为2D动画嘴型的制作标准,被迪士尼和华纳兄弟等影视公司在多部影视作品采用。

大多数的发音,都可以用这六种嘴型表示出来。

因此,Rhubarb Lip Sync工作的步骤如下:

输入一段语音

Lip Sync识别这段语音

使用六个基本嘴形和最多三个扩展嘴形与语音匹配

输出一个固定格式的文件

假如我说个奇怪的方言,它也能输出相应的嘴型动画吗?

当然不是。

目前,Rhubarb Lip Sync只提供了两个语音识别系统:

PocketSphinx:只能识别英语,准确率更高。

Phonetic :能识别所有语言,因为它是依据个人的声音和音节判别的,但准确率不如前者。

那么,这个小工具可以跟哪些视频软件融合使用呢?

可适用于多款软件

Adobe After Effects

可以在下载Rhubarb Lip Sync,并且安装到AE上,可以直接在AE上运行这个软件。

Moho and OpenToonz

Rhubarb Lip Sync能够生成.dat文件,这种文件可以被Moho and OpenToonz识别,并导入使用。

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一个图形工具,可让导入Spine项目,执行自动唇形同步,然后将结果重新导入Spine。

Vegas Pro by Magix

Rhubarb Lip Syn 还附带了两个用于Vegas Pro(以前称为Sony Vegas)的插件脚本,可直接在Vegas中使用。

赶快把这个小工具推荐给你喜欢做视频的朋友吧~

源代码地址:

https://github.com/DanielSWolf/rhubarb-lip-sync

最新版本的下载地址:

https://github.com/DanielSWolf/rhubarb-lip-sync/releases

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
责编AJX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 语音识别
    +关注

    关注

    39

    文章

    1804

    浏览量

    115576
  • 开源
    +关注

    关注

    3

    文章

    4038

    浏览量

    45578
  • 源代码
    +关注

    关注

    96

    文章

    2953

    浏览量

    69674
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    开源鸿蒙项目顺利孵化毕业

    2025年11月21日,2025开放原子开发者大会在北京隆重启幕。作为本次大会的重磅环节和核心焦点之一,在大会开幕式上,开放原子开源基金会(以下简称“基金会”)宣布开源鸿蒙项目达成开源
    的头像 发表于 11-27 14:36 312次阅读

    开源鸿蒙项目达成开源孵化目标顺利毕业

    11月21日,2025开放原子开发者大会在北京隆重启幕。作为本次大会的重磅环节和核心焦点之一,在大会开幕式上,开源鸿蒙项目达成开源孵化目标、顺利毕业,这是项目
    的头像 发表于 11-25 17:36 891次阅读

    开源鸿蒙和开源欧拉成为开放原子开源基金会首批毕业项目

    11月21日,在2025开放原子开发者大会开幕式上,开放原子开源基金会宣布旗下开源鸿蒙(OpenHarmony)与开源欧拉(openEuler)成为首批毕业项目
    的头像 发表于 11-25 17:22 575次阅读

    openDACS 2025 开源EDA与芯片赛项 赛题七:基于大模型的生成式原理图设计

    ,形成了一批具有应用价值的技术成果。本届大赛预计发布50个赛项,持续规划1500万元总奖金。 openDACS2025开源EDA与芯片赛项,聚焦集成电路产业的数字设计、处理器设计自动化、生成式芯片设计等
    发表于 11-13 11:49

    商汤如影图片数字人技术闪耀央视舞台

    依托商汤日日新大模型的多模态能力,只需上传一张人物照片,输入文字脚本或音频文件,AI 就能自动生成人物动态视频,并支持多种语言,实现了与真人几乎无差别的口型匹配、动作呼应和情绪表达。
    的头像 发表于 09-22 16:18 588次阅读

    基于开源鸿蒙的语音识别及语音合成应用开发样例

    本期内容由AI Model SIG提供,介绍了在开源鸿蒙中,利用sherpa_onnx开源三方库进行ASR语音识别与TTS语音合成应用开发的流程。
    的头像 发表于 08-25 14:26 3603次阅读
    基于<b class='flag-5'>开源</b>鸿蒙的<b class='flag-5'>语音</b>识别及<b class='flag-5'>语音</b>合成应用开发样例

    【Sipeed MaixCAM Pro开发板试用体验】基于MaixCAM-Pro的AI生成图像鉴别系统

    1. 项目概述 本项目旨在开发并部署一个高精度的深度学习模型,用于自动鉴别一张图片是由AI生成(如Stable Diffusion, DALL-E, Midjourney等工具
    发表于 08-21 13:59

    RT-Thread荣获2025优秀开源项目 | 新闻速递

    6月底,RT-Thread睿赛德受邀参与由上海开源信息技术协会主办的2025上海开源创新精英荟。上海市商委副主任张杰出席会议并致辞。RT-Thread嵌入式操作系统项目凭借其卓越的技术创新与
    的头像 发表于 07-04 09:04 2439次阅读
    RT-Thread荣获2025优秀<b class='flag-5'>开源</b><b class='flag-5'>项目</b> | 新闻速递

    零知开源——ESP32语音交互系统(AI小智)开发教程

    一、功能介绍小智AI聊天机器人是一个基于嵌入式硬件与人工智能技术深度融合的智能交互系统。该项目以ESP32开发板为核心,结合语音唤醒、自然语言处理、音频解码播放及图形化交互界面四大核心模块,实现
    发表于 03-29 16:30

    Open Echo:一个开源的声纳项目

    “  这是一个还在迭代中的项目开源的回声测深仪/水深测量仪/声呐系统,适用于水文测绘及科研用途。基于Arduino平台开发并具备良好兼容性  ”   Open Echo 概览 作为持续迭代
    的头像 发表于 03-20 11:14 2036次阅读
    Open Echo:一个<b class='flag-5'>开源</b>的声纳<b class='flag-5'>项目</b>

    ​Diffusion生成式动作引擎技术解析

    Diffusion生成式动作引擎 Diffusion生成式动作引擎是一种基于扩散模型(Diffusion Models)的生成式人工智能技术,专注于生成连续、逼真的人类动作或
    的头像 发表于 03-17 15:14 2714次阅读

    阶跃星辰开源多模态模型,天数智芯迅速适配

    内的高度关注和热烈讨论。 据悉,这两款开源模型均具备强大的功能和应用潜力。Step-Video-T2V视频生成模型能够根据文本描述生成高质量的视频内容,为视频创作和编辑领域带来全新的可
    的头像 发表于 02-19 14:30 823次阅读

    字节跳动发布OmniHuman 多模态框架

    栩栩如生的人物视频。 与传统 AI 模型不同,OmniHuman-1 能够生成逼真的全身动画,并且可以精准地将手势和面部表情与语音或音乐同步,打破了以往只能
    的头像 发表于 02-07 17:50 1195次阅读

    用DeepSeek-R1实现自动生成Manim动画

    ​ 作者:算力魔方创始人/英特尔创新大使刘力 前面我们分享了在本地运行能与OpenAI-o1 能力相媲美的DeepSeek-R1 模型。本文将介绍如何使用DeepSeek-R1实现自动生成Manim
    的头像 发表于 02-07 12:31 4650次阅读
    用DeepSeek-R1实现<b class='flag-5'>自动</b><b class='flag-5'>生成</b>Manim<b class='flag-5'>动画</b>

    开源鸿蒙荣获开放原子“2024年度操作系统领域国内活跃开源项目

    近日,2024开放原子开发者大会暨首届开源技术学术大会在武汉圆满召开。在大会开幕式“2024年度国内活跃开源项目&开发者致谢仪式”上,开放原子开源鸿蒙(OpenAtom OpenHar
    的头像 发表于 12-28 15:39 1441次阅读