商汤科技推出实时语音驱动数字人技术SekoTalk

在数字人技术蓬勃发展的今天，生成效率仍是行业面临的核心挑战。商汤科技凭借在生成式AI 与多模态交互领域的深厚积累，推出了实时语音驱动数字人技术——SekoTalk。

通过多方面的创新技术，SekoTalk显著提升了数字人视频的生成效率，在8卡服务器上可以达到25 fps的生成速度，首帧延迟低至3.5s，在业内率先实现了实时生成。同时，SekoTalk还能支持多人、多语言的口型精准匹配，和超长时的稳定生成。这一技术突破了数字人发展的性能瓶颈，为数字人的大规模、实时应用打开更多可能。

SekoTalk今年8月上线，应用在商汤Seko、如影数字人等产品中，已助力用户创作出数十万部作品，并诞生了全网播放量超2000万播放的爆款作品。

算法系统协同：

实现极致性价比突破

生成效率是数字人走向实用化的关键，而实时性又是生成效率的北极星。SekoTalk通过模型蒸馏，模型结构优化，以及模型与系统的协同设计，在保证生成质量的前提下，实现推理效率的跨越式提升。

与其它方案相比，SekoTalk展现出卓越的性价比优势：开源模型生成一段5s视频通常超过十分钟，商用闭源模型生成5s的视频通常也需1至10分钟不等。相比之下，SekoTalk在8卡服务器上可以达到25 fps的生成速度，即便将SekoTalk与多模态模型相结合，整体系统的首帧延迟也可低至3.5s。

Phased DMD分布匹配蒸馏技术，无限逼近base模型效果：

以往的扩散模型蒸馏经验发现，扩散模型低步数生成的质量受到等效模型容量的制约。而主流的SOTA视频生成模型已经证明混合专家(MoE)技术在扩散模型领域的巨大潜力：不增加推理开销的同时，增大等效模型容量，进而导致更强的性能表现。

然而，MoE技术在扩散模型蒸馏中的应用尚未得到探索。商汤科技团队发现，简单地将分布匹配蒸馏(DMD)应用到MoE模型中，会导致生成视频的运动效果和指令遵循能力下降。

为了解决这一问题，研究团队提出了Phased DMD技术，把去噪过程建模为多阶段的MoE模型。Phased DMD不仅原生支持MoE模型，而且对于非MoE的教师模型，该技术也可以将之蒸馏为MoE学生模型。

这一技术显著提升了蒸馏模型生成的动态效果和多样性，使SekoTalk推理开销在降低25倍的情况下，仍保持教师模型良好的肢体运动效果和情绪表现力。除了应用于SekoTalk，Phased DMD也对开源社区常用的基模型进行了蒸馏并贡献回开源社区，相关优势也得到开源社区的认可，进一步证明了Phased DMD的通用性和有效性。

LightX2V与模型协同设计，支持低资源部署：

LightX2V是商汤开源的行业首个能够达到实时视频生成的推理框架。在模型和系统设计之初，就让它们融入低比特量化感知训练、稀疏注意力等原生优化，配合自研“SPARSE+NVFP4+低比特通信”高效注意力算子，模型训练完成后可直接低资源部署。

从测试数据来看，在不同GPU硬件环境下，LightX2V均能实现SekoTalk 的高效推理，为不同场景的落地提供灵活支撑。

声形同步：

多语言+多人场景口型精准匹配

传统数字人技术在处理多语言、多人交互的复杂场景时，常出现口型与语音匹配不准的问题。SekoTalk通过一系列创新设计，实现了从单人口形到多人互动的高度精准的声形同步。

多语言高效同步：在2D数字人生成领域，一些工作沿用了早期的wav2vec2系列的预训练语音编码器来驱动角色。商汤团队根据在3D数字人语音驱动(UniTalker)中积累的算法经验，发现语音编码器的选择对于数字人驱动效果有极大影响。

为此，研究团队探究了包含wav2vec2,hubert,wavlm,whisper等多种语音编码器在2D数字人驱动中的性能表现，发现如果沿用wav2vec2系列的语音编码器，即使是多语言预训练的wav2vec2-large-xlsr-53，在英语口型驱动和多语言泛化性上的定量指标中也落后其他编码器。

通过细致的消融实验，SekoTalk使用了探究中表现最好的音频编码器，通过规模化的训练，SekoTalk在中英文、多种小语种、日常讲话、说唱等场景中上均取得了准确的驱动效果。

音视频帧率解耦，杜绝细节丢失：主流视频生成模型采用了“1+4N”时序压缩机制，为实现与与视频帧的严格同步，SekoTalk对音频处理分支进行了精细优化。它创新地将视频帧率(16-25fps）与语音特征帧率(50fps）解耦，避免了传统下采样放到带来的口型细节丢失，使得音频可以和任意帧率的视频在时序上对齐，保证音频与画面的高质量同步。

可支持中文/法语/日语/葡萄牙语/韩语等多语种语音驱动

多人场景高度可控：借助良好的模型泛化能力和创新的掩码注意力机制(Attention Mask)，SekoTalk可在多人对话场景中，独立、精准地控制每个角色的口型与动作，输出自然流畅的群组互动效果，拓展了技术的适用场景和应用潜力。

高效能、低成本的语音模块：类似文生视频中常常借助文本条件的Classifier-Free Guidance(CFG)来提升视频生成质量，在数字人生成领域中，以往工作也借助这一做法，使用语音条件的CFG来提升口型驱动的准确性，然而这相比于单独文本条件生成视频又多出了50%的计算开销。另一方面，类似于文本条件的CFG通常伴随着生成画面过饱和的问题，语音条件的CFG在提升口型驱动准确性的同时，通常也带来夸张不自然的人脸画面。商汤团队认为，通过更好的语音注入模块的设计，可以更本质地解决这一问题。结合DiT的设计经验，研究团队在语音模块中也引入了Adaptive Layer Normalization(AdaLN)，并且使用可学习参数的注入方式代替了Linear Projection，在保持表现力的前提下降低了计算开销。经过这些改进，SekoTalk模型无需借助语音条件的CFG，就可以达到准确的嘴形驱动。这一改进不仅降低了计算开销，同时也避免了语音条件的CFG带来的口型准确性和脸部画面自然性之间的取舍。

超长时稳定生成：

告别画面漂移与人物偏移

在生成长视频时，画面色彩漂移和人物ID不一致，一直是行业的重要挑战。SekoTalk提出混合参考图注入等方案，有效平衡动作多样性与画面稳定性。

混合参考图注入策略，兼顾“段内稳定”与“段外泛化”：通过在训练阶段随机选择片段内、外的参考图，并辅助标志位指示参考图来源，使模型同时掌握了“段内稳定”与“段外泛化”两种能力。在推理时灵活切换，有效兼顾了动作多样性与画面稳定性。

高低语义特征联合注入，加快模型收敛速度：采用“高语义特征+低语义特征”的双通道注入机制，利用不同层级的语义信息引导模型，这不仅加强了人物ID的一致性，还加速了模型的收敛。

分离式Patchify编码，高保真条件注入：将加噪视频、参考图、前序帧等不同类型的特征交给独立的Patchify分支处理，使模型注意力更容易区分并理解多源信息。这不仅增强了长视频生成中的人物一致性，还提升了续写的连续性与稳定性。

隐空间续写优化效率，保障流畅续写：在效率优化上，SekoTalk在时序维度上引入前序帧特征，通过直接取用上一生成片段末尾的隐空间特征，避免了传统方案中“解码-再编码”的冗余流程，并结合层级化KV缓存与因果注意力机制，在确保续写稳定性的同时，大幅提升了长视频生成的推理效率。

SekoTalk的技术价值已在实践中得到验证。其在线体验平台作为首个支持2人以上对口型、生成2分钟长视频的免费技术体验平台，已生成大量作品，SekoTalk模型也集成进入Seko、如影数字人等产品中使用。此外，SekoTalk实时版在情感陪伴、在线教育、专业咨询领域的实时交互案例，也展现了其推动数字人走向更自然、智能、实时的未来潜力。