0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

开源项目:根据语音自动生成动画人物口型

如意 来源:量子位 作者:量子位 2020-12-23 15:26 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

只需要输入一段语音,代码会自动生成与之相对的动画唇形。

还是毫无违和感的那种。

这是一个在GitHub上拥有501星的开源项目,叫做Rhubarb Lip Sync。

它既可以是Windows和OS X命令行工具,也可以作为软件的插件使用,能够根据语音记录自动创建2D嘴型动画。

它可以用于计算机游戏、动画卡通中的角色,或者用于其他需要基于现有录音、对嘴部进行动画处理的的影视项目。

那么,它是怎么实现如此效果的呢?

运作原理

首先,了解一下动画人物说话的六种嘴型。

上述六种嘴型是由汉娜·巴贝拉(Hanna-Barbera)发明,已经成为2D动画嘴型的制作标准,被迪士尼和华纳兄弟等影视公司在多部影视作品采用。

大多数的发音,都可以用这六种嘴型表示出来。

因此,Rhubarb Lip Sync工作的步骤如下:

输入一段语音

Lip Sync识别这段语音

使用六个基本嘴形和最多三个扩展嘴形与语音匹配

输出一个固定格式的文件

假如我说个奇怪的方言,它也能输出相应的嘴型动画吗?

当然不是。

目前,Rhubarb Lip Sync只提供了两个语音识别系统:

PocketSphinx:只能识别英语,准确率更高。

Phonetic :能识别所有语言,因为它是依据个人的声音和音节判别的,但准确率不如前者。

那么,这个小工具可以跟哪些视频软件融合使用呢?

可适用于多款软件

Adobe After Effects

可以在下载Rhubarb Lip Sync,并且安装到AE上,可以直接在AE上运行这个软件。

Moho and OpenToonz

Rhubarb Lip Sync能够生成.dat文件,这种文件可以被Moho and OpenToonz识别,并导入使用。

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一个图形工具,可让导入Spine项目,执行自动唇形同步,然后将结果重新导入Spine。

Vegas Pro by Magix

Rhubarb Lip Syn 还附带了两个用于Vegas Pro(以前称为Sony Vegas)的插件脚本,可直接在Vegas中使用。

赶快把这个小工具推荐给你喜欢做视频的朋友吧~

源代码地址:

https://github.com/DanielSWolf/rhubarb-lip-sync

最新版本的下载地址:

https://github.com/DanielSWolf/rhubarb-lip-sync/releases

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
责编AJX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 语音识别
    +关注

    关注

    39

    文章

    1822

    浏览量

    116233
  • 开源
    +关注

    关注

    3

    文章

    4343

    浏览量

    46435
  • 源代码
    +关注

    关注

    96

    文章

    2953

    浏览量

    70637
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    微型遥控赛车开源项目介绍

    给各位电子 DIY 与遥控模型爱好者分享一款超有创意的开源项目:微型遥控赛车。我把经典游戏《马力欧赛车》的核心互动机制搬到现实,小车通过板载传感器识别赛道道具,自动实现加速、打转、减速等物理反馈,搭配多模式控制,可玩性拉满
    的头像 发表于 04-22 13:47 72次阅读
    微型遥控赛车<b class='flag-5'>开源</b><b class='flag-5'>项目</b>介绍

    大晓机器人开源实时生成世界模型Kairos 3.0-4B

    近日,大晓机器人重磅开源开悟世界模型3.0(Kairos 3.0)-4B 系列具身原生世界模型。作为业内首个实现 “多模态理解 — 生成 — 预测” 一体化的开源具身原生世界模型,该模型以 “物理
    的头像 发表于 03-14 16:54 1999次阅读
    大晓机器人<b class='flag-5'>开源</b>实时<b class='flag-5'>生成</b>世界模型Kairos 3.0-4B

    免费申请开发板!Edgi Talk AI双核语音套件开源发布

    “本项目基于英飞凌PSOCEdge系列微控制器,由RT-Thread与英飞凌深度协同打造的首款低功耗AI开发套件。项目已在华秋开源硬件社区发布,并提供免费申请试用机会,欢迎大家踊跃报名~”(扫码进群
    的头像 发表于 02-05 08:07 789次阅读
    免费申请开发板!Edgi Talk AI双核<b class='flag-5'>语音</b>套件<b class='flag-5'>开源</b>发布

    开源鸿蒙项目顺利孵化毕业

    2025年11月21日,2025开放原子开发者大会在北京隆重启幕。作为本次大会的重磅环节和核心焦点之一,在大会开幕式上,开放原子开源基金会(以下简称“基金会”)宣布开源鸿蒙项目达成开源
    的头像 发表于 11-27 14:36 699次阅读

    开源欧拉项目达成开源孵化目标顺利毕业

    11月21日,2025开放原子开发者大会在北京隆重启幕。作为本次大会的重磅环节和核心焦点之一,在大会开幕式上,开源欧拉项目达成开源孵化目标、顺利毕业。
    的头像 发表于 11-25 17:40 1231次阅读

    开源鸿蒙项目达成开源孵化目标顺利毕业

    11月21日,2025开放原子开发者大会在北京隆重启幕。作为本次大会的重磅环节和核心焦点之一,在大会开幕式上,开源鸿蒙项目达成开源孵化目标、顺利毕业,这是项目
    的头像 发表于 11-25 17:36 1257次阅读

    开源鸿蒙和开源欧拉成为开放原子开源基金会首批毕业项目

    11月21日,在2025开放原子开发者大会开幕式上,开放原子开源基金会宣布旗下开源鸿蒙(OpenHarmony)与开源欧拉(openEuler)成为首批毕业项目
    的头像 发表于 11-25 17:22 966次阅读

    openDACS 2025 开源EDA与芯片赛项 赛题七:基于大模型的生成式原理图设计

    ,形成了一批具有应用价值的技术成果。本届大赛预计发布50个赛项,持续规划1500万元总奖金。 openDACS2025开源EDA与芯片赛项,聚焦集成电路产业的数字设计、处理器设计自动化、生成式芯片设计等
    发表于 11-13 11:49

    deepin IDE入选Gitee最有价值开源项目

    近日,deepin IDE 成功入选 Gitee 最有价值开源项目(GVP)!
    的头像 发表于 10-14 18:10 1456次阅读

    商汤如影图片数字人技术闪耀央视舞台

    依托商汤日日新大模型的多模态能力,只需上传一张人物照片,输入文字脚本或音频文件,AI 就能自动生成人物动态视频,并支持多种语言,实现了与真人几乎无差别的口型匹配、动作呼应和情绪表达。
    的头像 发表于 09-22 16:18 1135次阅读

    基于开源鸿蒙的语音识别及语音合成应用开发样例

    本期内容由AI Model SIG提供,介绍了在开源鸿蒙中,利用sherpa_onnx开源三方库进行ASR语音识别与TTS语音合成应用开发的流程。
    的头像 发表于 08-25 14:26 4441次阅读
    基于<b class='flag-5'>开源</b>鸿蒙的<b class='flag-5'>语音</b>识别及<b class='flag-5'>语音</b>合成应用开发样例

    【Sipeed MaixCAM Pro开发板试用体验】基于MaixCAM-Pro的AI生成图像鉴别系统

    1. 项目概述 本项目旨在开发并部署一个高精度的深度学习模型,用于自动鉴别一张图片是由AI生成(如Stable Diffusion, DALL-E, Midjourney等工具
    发表于 08-21 13:59

    开放原子开源基金会与新一批开源项目完成捐赠签约

    近日,在2025开放原子开源生态大会开幕式上,开放原子开源基金会与新一批开源项目完成捐赠签约,涵盖人工智能、具身智能、基础软件、区块链等多个技术领域,为基金会拓展在关键技术领域上的布局
    的头像 发表于 07-28 17:04 1136次阅读

    普华基础软件荣膺优秀开源项目

    近日,2025上海开源创新菁英奖评选结果正式揭晓。普华基础软件开源安全车控操作系统小满EasyXMen凭借在开源技术创新与产业应用实践方面的突出表现,荣获“优秀开源
    的头像 发表于 07-28 16:48 1044次阅读

    RT-Thread荣获2025优秀开源项目 | 新闻速递

    6月底,RT-Thread睿赛德受邀参与由上海开源信息技术协会主办的2025上海开源创新精英荟。上海市商委副主任张杰出席会议并致辞。RT-Thread嵌入式操作系统项目凭借其卓越的技术创新与
    的头像 发表于 07-04 09:04 2813次阅读
    RT-Thread荣获2025优秀<b class='flag-5'>开源</b><b class='flag-5'>项目</b> | 新闻速递