ESP-GMF v1.0 正式发布：一站式构建音视频与 AI 应用

乐鑫信息科技 (688018.SH) 正式发布ESP-GMF (General Multimedia Framework) v1.0，这是 ESP-GMF 首个官方正式版本，也是乐鑫多媒体软件生态发展的重要里程碑。

什么是 ESP-GMF？

ESP-GMF 是一套面向乐鑫 SoC 的统一多媒体开发框架，通过统一的数据流模型、组件体系和开发架构，将音频、视频及 AI 多媒体能力整合到同一平台，为开发者提供更加高效、灵活且易扩展的开发体验。

相较于此前主要聚焦音频应用的ESP-ADF(Audio Development Framework)，ESP-GMF 在架构设计、硬件支持范围以及代码复用能力等方面进行了全面升级，可覆盖从音频播放、录音，到 AI 语音、视频通话、蓝牙音频、图像渲染等丰富应用场景。

构建统一

多媒体软件平台

随着音频、视频及 AI 应用不断融合，多媒体开发正朝着更加复杂、多样化的方向发展。

ESP-GMF 通过统一的软件架构，将乐鑫原本分散的多媒体能力进行了整合，构建起统一的数据流 (Data Stream) 模型、模块化组件体系以及可扩展的 Pipeline 架构，为音频、视频及 AI 多媒体应用提供一致的开发方式。开发者无需在多个框架之间切换，即可在同一开发体系中完成不同类型多媒体应用的开发，大幅降低学习成本，提高代码复用率。

与此同时，乐鑫同步构建了ESP Multimedia Core。作为 ESP-GMF 的底层能力支撑，ESP Multimedia Core 将媒体协议、音视频编解码器、音频算法及图像处理算法等基础能力统一沉淀为底层库，为 ESP-GMF 及未来更多多媒体产品提供长期稳定的软件基础，并将持续伴随乐鑫多媒体生态不断演进。

ESP-GMF v1.0

首个 API 稳定版本

ESP-GMF v1.0 是框架首个 API Stable 官方版本。本次发布统一了此前多个开发版本，将所有官方组件升级至 1.0.x，意味着后续版本将在保持 API 稳定性的基础上持续演进，更适合产品开发与长期维护。此次版本主要带来了以下更新：

全部官方组件升级至 1.0.x

所有官方组件均完成正式版本发布，公共 API 已趋于稳定，为产品开发提供长期兼容保障。

新增四大核心模块

ESP-GMF v1.0 新增多个关键能力模块，包括：

esp_player：全新的嵌入式多媒体播放器，支持解复用、解码、音视频渲染及 Seek。

esp_asrc：音频采样率转换模块，可完成采样率、位深及声道转换，支持软硬件协同加速。

esp_video_render：视频与 UI 渲染模块，支持多显示后端、双路视频流、Overlay 及 Widget 系统。

gmf_fft：固定点 FFT/IFFT 运算模块，支持ESP32-S31、ESP32-P4、ESP32-S3等芯片硬件加速。

多媒体能力

进一步完善

结合新增组件，ESP-GMF v1.0 构建起一套完整的音频、视频、多模态 AI 及蓝牙多媒体能力体系，形成覆盖内容采集、处理、播放、渲染与传输的统一功能接口，为开发者提供更加完整、高效的多媒体开发体验。

ESP Capture提供统一的音视频采集入口，集成设备接入、格式转换、编码、图像处理、Overlay、同步及复用等能力，并支持自动协商、并行流传输和本地存储，可广泛应用于多模态 AI、WebRTC、直播推流及远程监控等场景。

ESP Player提供从解封装、解码到音视频渲染的一站式播放能力，支持本地文件、HTTP(S)、HLS 等多种媒体源，并集成音视频同步、播放控制、Seek 和倍速播放等功能，帮助开发者快速构建稳定流畅的多媒体播放应用。

ESP Audio Simple Player提供轻量级纯音频播放方案，支持 MP3、AAC、FLAC、WAV、Opus 等主流格式以及多种音源，并可自动完成解码和音频格式转换，让应用以更低资源开销实现高效音频播放。

ESP Video Render提供高性能视频合成与显示能力，支持多路视频流、Overlay UI、一体化渲染以及 LCD、LVGL 等显示后端，可满足视频播放器、智能显示、机器人及摄像头预览等应用需求。

ESP Audio Render面向多路音频融合与高品质输出，支持 PCM 混音、音效处理及后处理能力，可灵活实现背景音乐与 TTS 混播、通知音叠加及语音交互等典型场景。

ESP BT Audio统一整合经典蓝牙与 LE Audio 能力，支持 A2DP、HFP、AVRCP、BAP、TMAP 等协议，并可无缝接入 ESP-GMF 流水线。开发者还可结合官方提供的基础蓝牙音频例程，快速体验 LE Audio、Auracast 等典型应用，加快蓝牙音频产品开发。

面向多款乐鑫 SoC

持续优化

ESP-GMF v1.0 持续针对ESP32-S31、ESP32-P4和ESP32-S3等乐鑫 SoC 进行优化。其中，ESP32-S31 新增 V4L2 摄像头支持，并支持 MJPEG 转 RGB 解码、多区域视频 Overlay、音视频渲染示例以及 FFT、PPA 硬件加速等能力，为 AI 摄像头、智能显示、人机交互终端等应用提供更加完善的开发支持。

此外，新版本还进一步优化了开发工具链。esp_board_manager 已独立为单独组件，示例工程统一采用 esp-bmgr-assist python 包管理开发板资源，使不同项目之间的配置方式更加一致，进一步提升开发效率。

立即体验 ESP-GMFv1.0

ESP-GMF v1.0 已正式开源，开发者可前往ESP-GMF GitHub 仓库获取源码，并结合官方文档、完整版本更新说明和乐鑫通用多媒体框架指南，快速体验统一多媒体开发框架带来的音频、视频及 AI 多媒体开发能力。如果您想了解更多技术细节，可以查看ESP-GMF 技术博客。