0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

通过IP模块实现音频/语音子系统的设计

星星科技指导员 来源:嵌入式计算设计 作者:Charles Qi 2022-06-14 09:11 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着移动游戏和语音触发等应用的日益普及,音频/语音子系统在许多移动片上系统 (SoC) 设计中发挥着重要作用。该子系统的设计必须满足双重需求:高性能、高分辨率音频流处理以及始终在线、低功耗的语音触发和识别。可定制的数字信号处理 (DSP) 和音频/语音子系统解决方案知识产权 (IP) 模块可以提供一种经济高效的方式来开发和交付高性能音频/语音产品。

在过去十年中,智能手机和平板电脑的出现推动了相当大的技术创新。高性能音频和视频应用对于为这些设备带来个性化和消费者吸引力至关重要。移动游戏和语音触发和识别等新兴应用正在将音频/语音子系统性能的要求推向频谱的两个极端。一方面,对高性能、高分辨率的多通道音频流处理的需求不断增长。另一方面,需要以极低的功耗始终开启语音触发和语音识别智能。音频/语音子系统设计必须部署先进的数字信号处理 (DSP) 技术和架构完善的系统解决方案,以满足不断增长的需求。

移动音频/语音子系统概述

图 1 显示了一个具有代表性的移动音频子系统。该子系统以音频 DSP 内核为中心,处理主要的音频数据处理,包括对不同压缩标准的流编码/解码、采样率转换、前后处理、噪声抑制、语音触发/语音识别等。音频 DSP 内核可能会或可能不会集成到应用处理器片上系统 (SoC) 中。如果它被集成,DSP 内核将是一个卸载处理器,位于 SoC 总线层次结构上,可以访问 SoC 的主存储器系统。如果 DSP 未集成,则有专用总线接口将应用处理器 SoC 连接到独立 DSP。MIC 和扬声器等音频外围设备通过共享或点对点数字总线接口连接到 DSP 内核。音频外围 IC 包含模拟组件,例如数模转换器DAC)/音数转换器ADC)、模拟滤波器和放大器。除了连接音频外围设备外,还可能有音频接口连接到蜂窝基带或 WiFi/BT/FM 收音机组合设备,以支持语音通话(在智能手机中)和蓝牙音频或来自 FM 收音机的音频流。

图 1:具有代表性的移动音频/语音子系统。

poYBAGKn4FeAPfyFAAESZmTyMBk673.png

高性能、低功耗音频数据处理

对高性能 DSP 的需求是由语音和音频处理需求驱动的。在语音方面,为支持高性能 IP 语音 (VoIP) 而部署宽带 (AMR-WB) 和超宽带语音编解码器,同时对噪声抑制和与噪声相关的音量控制预处理的要求也越来越高。 这些要求将音频 DSP 处理复杂性提高了 2 到 4 倍。在音频方面,编解码器的复杂性随着多通道无损版本的引入而达到顶峰,例如:

杜比 TrueHD、MS10、MS11

DTS 主音频,M6,M8

然而,如表 1 所示,在后处理方面存在重大创新。

表 1:音频后处理

poYBAGKn4F6AMZqXAAEl7gNVmok256.png

对高性能的需求正在推动音频 DSP 拥有更多并行、更高精度的乘法累加单元 (MAC)。

在性能需求不断增加的同时,对低功耗配置的需求也在从两个角度增加:

对于移动游戏或专业级音频播放等高端音频应用,由于移动设备的电池寿命限制,系统功率分布无法随数据处理性能保持线性增长

在语音触发或语音识别等新应用中,音频系统需要始终开启

这两种观点都要求 DSP 架构具有极高的可扩展性和效率。具有可扩展指令集扩展、可配置内存/I/O 分区和高级电源管理功能的 DSP 架构是满足高性能和低功耗需求的最佳选择。

低功耗音频传输

为了降低功耗并支持语音触发等低功耗应用,除了音频 DSP 的电源效率外,还需要考虑音频数据传输的效率。从音频子系统拓扑来看,有两个优化点可以降低音频传输的功率。

第一个优化点是将音频数据传输模型从基于系统内存的模型更改为 DSP 隧道模型。使用基于系统内存的模型,音频数据预处理和后处理 DSP 被放置在整个 SoC 总线层次结构的系统内存中。该模型要求系统内存和 SoC 总线层次结构在音频数据处理期间始终处于供电状态。在此模型中,音频数据还会多次遍历 SoC 总线层次结构。通过高频 SoC 总线层次结构和系统内存进行数据访问会消耗大量功率并妨碍对始终在线应用程序的有效支持。在 DSP 隧道模型中,通过音频接口的音频数据处理和发送/接收被本地化到具有专用本地存储器和高效 FIFO 式接口的 DSP 处理器。

第二个优化点是利用新的音频接口标准,这些标准旨在支持具有低 I/O 引脚数和低功率效率的多个音频外围设备。最近,MIPI 联盟建立了两个新的音频接口标准,SLIMbus 和 SoundWire,以优化音频子系统的连接性。SLIMbus 标准针对应用处理器和独立 DSP 编解码器之间的连接性。SoundWire 标准针对许多音频设备,包括 DSP 编解码器和音频外围设备。SoundWire 总线可以扩展以支持多个数据通道,以便在应用处理器和 DSP 编解码器之间传输宽 PCM 音频样本。但也可以对其进行优化,以支持将窄 PDM 样本传输到单个数据通道上的 MIC 和扬声器。SoundWire 标准为数据传输定义了一种改进的 NRZI 数据编码和双倍数据速率,以最大限度地减少总线负载的主动驱动和切换。此外,该标准包含一个明确定义的时钟速率改变方案和时钟停止协议,以进一步降低永远在线应用的功耗。由 SoundWire 标准优化的音频子系统如图 2 所示。

图 2:基于 SoundWire 的音频子系统优化

poYBAGKn4GSAToQaAAEu2mXbYok645.png

构建高性能、低功耗的音频子系统

高性能、低功耗音频子系统已成为移动和消费设备的基本要素。新兴的新应用程序,例如语音触发和识别以及移动游戏,进一步增加了音频处理的复杂性。音频子系统设计需要以极低的功耗包含始终开启的功能,并为多个音频通道提供极高品质的音频效果。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20148

    浏览量

    247052
  • dsp
    dsp
    +关注

    关注

    559

    文章

    8214

    浏览量

    363923
  • 存储器
    +关注

    关注

    39

    文章

    7714

    浏览量

    170839
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    速通音频处理:掌握TTS播放、文件播放与录音核心,实现完整功能

    这三大模块的核心逻辑,助你高效打通从核心功能到完整功能的实现路径。 一、概述   本文档详细介绍了基于 Air8000 开发板或者 Air8000 核心板的音频功能开发,涵盖音频播放、
    的头像 发表于 11-21 19:27 82次阅读
    速通<b class='flag-5'>音频</b>处理:掌握TTS播放、文件播放与录音核心,<b class='flag-5'>实现</b>完整功能

    广州唯创电子WT2003H语音芯片系列:通过bin文件实现板载语音更新,支持宽范围音频码率

    在智能终端设备快速迭代的今天,语音芯片的灵活性与音频处理能力成为产品创新的关键。作为专业的语音IC厂家,广州唯创电子推出的WT2003H系列MP3音频播放芯片,以独特的bin文件板载
    的头像 发表于 10-27 08:48 222次阅读
    广州唯创电子WT2003H<b class='flag-5'>语音</b>芯片系列:<b class='flag-5'>通过</b>bin文件<b class='flag-5'>实现</b>板载<b class='flag-5'>语音</b>更新,支持宽范围<b class='flag-5'>音频</b>码率

    远距录音新标杆:WT588FM01高性能录音模块语音芯片IC重塑音频体验

    音频技术快速演进的时代,广州唯创电子WT588FM01录音模块以卓越的远距离拾音能力和专业级音质表现,为智能设备注入顶级音频性能01突破性远距离录音技术1.1智能声学采集系统WT58
    的头像 发表于 10-17 06:31 502次阅读
    远距录音新标杆:WT588FM01高性能录音<b class='flag-5'>模块</b><b class='flag-5'>语音</b>芯片IC重塑<b class='flag-5'>音频</b>体验

    语音输出模块是什么?自控语音播报

    语音输出模块(VoiceOutputModule)是一种将数字信号或文本信息转换为人类可听语音的硬件/软件组件。相当于设备的“嘴巴”,让机器能够通过声音与人进行交互。 一、工作原理 1
    的头像 发表于 08-13 15:20 615次阅读

    解锁高品质音频体验:探索音频质量评估与测试的科学之道

    高品质音频的科学世界!二、音频质量评估简介语音质量评估就是通过人类或自动化的方法评价语音质量。在实践中,有很多主观和客观的方法评价
    发表于 07-22 11:15

    基于 ROS + ADI 芯片方案 的 人形机器人子系统级BOM清单(以腿部子系统为例)

    基于 ROS + ADI 芯片方案 的 人形机器人子系统级BOM清单 (以 腿部子系统 为例),包括核心感知、执行与通信模块,配合主控系统通过 ROS2
    的头像 发表于 06-17 17:06 1524次阅读

    语音控制模块工作原理

    ,才能够发出正确的指令。 语音芯片控制模块实现语音指令 - 设备响应” 的核心组件,其工作原理可拆解为信号采集、处理、识别及指令执行的完整链路,下面将以WTK69000为例给大家
    的头像 发表于 06-17 11:49 984次阅读
    <b class='flag-5'>语音</b>控制<b class='flag-5'>模块</b>工作原理

    一文带你了解KaihongOS标准系统的技术架构、子系统系统应用、典型特性以及支持的设备类型

    。 支持ogg、mp3、m4a等音频格式。 图2-31 音频播放外部模块交互图 视频播放:应用通过调用JS接口层提供的AVPlayer接口实现
    发表于 04-23 07:17

    零知开源——ESP32语音交互系统(AI小智)开发教程

    小智AI聊天机器人是一个基于嵌入式硬件与人工智能技术深度融合的智能交互系统。该项目以ESP32开发板为核心,结合语音唤醒、自然语言处理、音频解码播放及图形化交互界面四大核心模块
    的头像 发表于 03-29 15:33 1w次阅读
    零知开源——ESP32<b class='flag-5'>语音</b>交互<b class='flag-5'>系统</b>(AI小智)开发教程

    高音质音频对讲实操演示line in和#麦克风应用#音频模块

    音频模块
    思为无线
    发布于 :2025年03月26日 11:12:37

    MOSFET在车载音频控制系统的应用 #MOS管 #汽车 #车载系统 #应用 #音频模块

    音频模块
    微碧半导体VBsemi
    发布于 :2025年01月13日 18:01:11

    蓝牙音频接收模块助力儿童玩具智能化

    互动玩具:玩具可以接收蓝牙设备发送的语音指令,实现交互功能。3.多人互动玩具:通过蓝牙传输音频实现多个玩具间的互动,比如多人对战或者
    的头像 发表于 01-10 15:57 1106次阅读
    蓝牙<b class='flag-5'>音频</b>接收<b class='flag-5'>模块</b>助力儿童玩具智能化

    提升车载音频体验,FSC-BT1035 蓝牙双模音频模块助力智能车载系统

    在现代车载系统中,音频体验不仅仅是娱乐,更是智能互联的重要组成部分。无论是驾驶途中流畅的音乐播放,还是通话过程中清晰的语音传输,FSC-BT1035 蓝牙音频
    的头像 发表于 01-06 09:44 968次阅读

    【「嵌入式系统设计与实现」阅读体验】+ 基于语音识别的智能杯垫

    合理,改善饮水规律。 主要创新点: 磁力搅拌,通过电机转动实现磁力搅拌功能。 IPS显示屏,显示饮水数据。 数据存储,保存用户可供分许的饮水数据。 语音识别功能,该模块采用的是ASR
    发表于 01-02 18:15

    Alpahwave Semi推出全球首个64Gbps UCIe D2D互联IP子系统

    半导体连接IP领域的领先企业Alpahwave Semi近日宣布了一项重大突破,成功推出了全球首个64Gbps高速UCIe D2D(裸片对裸片)互联IP子系统。这一创新成果标志着Alpahwave
    的头像 发表于 12-25 14:49 1074次阅读