传音多媒体团队揽获CVPR NTIRE 2025两项挑战赛冠亚军，推动视频画质升级

近日,在计算机视觉领域最具影响力的国际竞赛 CVPR NTIRE 2025中,传音多媒体团队与上海交通大学图像所MediaLab联合团队分别斩获高效超分辨率挑战赛(NTIRE 2025 Efficient Super-Resolution Challenge)第一名,短视频UGC图像超分辨率挑战赛(NTIRE 2025 Short-form UGC Image Super-Resolution Challenge)第二名,展现了传音在视频画质领域的深厚积累与领先实力。

CVPR NTIRE(New Trends in Image Restoration and Enhancement)是计算机视觉顶会CVPR(Conference on Computer Vision and Pattern Recognition)旗下极具影响力的国际学术竞赛,素有“影像算法奥林匹克”之称。该赛事聚焦视频复原、图像增强、生成技术及质量评估等底层视觉任务,旨在推动技术突破并解决实际应用难题。今年的赛事设置了多项挑战赛,吸引了全球顶尖科研与产业队伍参与。

传音深耕非洲、南亚等新兴市场多年,始终围绕用户需求进行本地化创新。近年来数字媒体飞速发展,传音洞察到用户对智能手机图像和视频素质提出了更高的要求。据Dataspark的数据显示,2024年非洲用户月均在社交、视频类App上花费约52小时,然而非洲用户观看视频在线播放网速平均不到10M/S,观看体验较差。面对非洲等目标市场存在的网速慢、流量贵等现实问题,传音持续投入资源,与上海交通大学图像所MediaLab深入合作,研发轻量化、低功耗、高性能的画质增强技术,让更多用户在有限条件下也能享受高清视觉体验。

技术成果一:高效图像超分辨率中的蒸馏监督下的卷积低秩适应

在高效超分辨率挑战赛中,传音多媒体团队和上海交通大学图像所MediaLab提交的论文“高效图像超分辨率中的蒸馏监督下的卷积低秩适应(Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution)”提出DSCLoRA技术,其借鉴大语言模型中的低秩适应并结合知识蒸馏策略,在不增加计算成本的前提下显著提升了高效超分辨率模型的性能。

多个基准数据集上的实验结果表明DSCLoRA在模型复杂度和性能表现之间实现了出色的均衡。在不增加模型体积和计算开销的前提下,DSCLoRA能够大幅提升图像超分辨率效果,提升弱网环境下视频通话与流媒体播放清晰度,同时具备推理速度快、功耗低等优点。通过将该算法集成至手机影像引擎,用户在在线视频播放、视频通话、图像放大、数码变焦拍摄等场景中,均可体验更高分辨率、更锐利自然的画面。

模型架构总览

技术成果二:用于短视频UGC图像超分辨率的增强语义提取与引导

在短视频UGC图像超分辨率挑战赛中,传音多媒体团队和上海交通大学图像所MediaLab提交的论文“用于UGC图像超分辨率的增强语义提取与引导(Enhanced Semantic Extraction and Guidance for UGC Image Super Resolution)”,提出一种基于 Diffusion 的新型模型以处理短视频平台 UGC 场景下低分辨率退化图片,有助于实现更稳健、感知可信和实际适用的图像修复。

该模型通过制作特定数据集,消除现实 UGC 场景下图片退化类型和合成退化之间存在的差异。其次,通过引入语义提取模块,利用 SAM2 预训练模型提取高层次的上下文信息,协助模型进行图像重建任务。最后,针对不同的数据集进行参数微调,使模型在不同数据集上表现达到最优。

该项技术突破,将有效处理模糊、压缩、结构变形等常见失真问题,生成更自然、真实、语义一致的修复图像,极大提升用户在短视频截图、社交图片增强等场景中的视觉体验。

模型架构总览

此次联合高校团队参加国际顶级竞赛体现传音对核心技术创新的重视与投入,也为后续画质增强功能的产品化奠定坚实基础。未来,传音将加速将画质增强技术部署到旗下手机产品中,构建起一套适应新兴市场特色、兼顾性能与体验的视频增强解决方案,为更多新兴市场用户带来更为高清、流畅的视觉体验。