0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于瑞萨RA8 MCU的语音麦轮小车解决方案

瑞萨MCU小百科 来源:逐飞科技 2024-06-20 10:39 次阅读

今天给大家介绍瑞萨合作伙伴逐飞科技开发的一款基于RA8系列微处理器的RA8D1为主控的一台智能语音小车,该小车搭载多种传感器模块,能够实现精确的姿态控制、姿态调整、无线图像传输与显示、语音识别和自动抓取等功能。

9ff13750-2d28-11ef-a4c8-92fbcf53809c.png

语音麦轮小车方案

1

小车硬件框架

硬件部分主要以瑞萨RA8D1 MCU为核心,围绕其设计的核心板和扩展板拥有丰富的外设接口和扩展能力。主板通过外部的3S锂电池进行供电,通过高效的LDO为系统提供6V、5V和3.3V等多级电压输出,以满足不同模块的特定供电要求。为简化各个模块的连接,主板的接口按照模块的接口形式进行划分,并确保所有模块的控制线路与核心板已分配引脚进行连接。

a03256fe-2d28-11ef-a4c8-92fbcf53809c.png

2

小车任务概括

小车任务是围绕智能语音交互完成抓取任务,且设计有人机交互,通过屏幕实现信息的输入输出、并且监控车模的姿态、状态以及实时显示由车载摄像头捕获的图像。小车系统内部自动完成的姿态闭环控制,能对车模进行精准的操作。支持局域网内无线图传以及通过语音命令控制车模。在发现目标物体后,通过对小车和机械臂的控制,自动实现对空间物体的定位和抓取。

3

小车主要硬件介绍

RA8微处理器

瑞萨电子RA8D1 MCU系列是业界首款基于ArmCortex-M85(CM85)内核的32位图形微控制器(MCU),能够在480 MHz频率下实现超过3000 CoreMark分数的突破性性能,可支持高分辨率显示和视觉AI应用的卓越图形功能。此系列属于通用型MCU器件,适用于工业自动化、家用电器、智能家居、消费品、楼宇/家居自动化和医疗/保健细分市场中的各种高性能和计算密集型应用场景。

RA8D1 MCU集成了高性能CM85内核和大内存,以及丰富的外设集,包括带并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D绘图引擎、16位摄像头接口和多个外部内存接口,经过优化可满足各种图形和视觉AI应用的需求。此类MCU采用176引脚和224引脚封装。

a075b048-2d28-11ef-a4c8-92fbcf53809c.png

RA8核心板

核心板基于RA8芯片进行设计制作,核心板包含晶振、复位、SDRAM、FLASH、BOOT电路,引出了的下载调试接口、TF卡接口、SD卡接口,其他引脚作为连接主板引出。RA8芯片支持外接高达32M的SDRAM作为内存拓展,核心板布局如下图所示:

a0a1deac-2d28-11ef-a4c8-92fbcf53809c.png

RA8扩展板

扩展板则基于RA8核心板制作,根据已分配的外设引脚,留出相应的接口,方便后续连接外设模块。扩展板的布局如下图所示:

a0c4958c-2d28-11ef-a4c8-92fbcf53809c.png

屏幕模块

RA8芯片带有LCD的MIPI接口,MIPI协议采用了高速差分信号传输技术,可以减少信号干扰和噪声。使用的资源上,MIPI接口的引脚比SPI屏幕更少,通信速度也比常规的SPI或者并口通信快很多,所以方案中选用MIPI接口的3.1寸的IPS屏幕,像素大小为800*480。经过测试,纯刷屏速度能达到50fps+。结合触摸面板,便可以做到非常好的交互体验。

电机驱动模块

麦轮小车有4个电机,在小车上采用两块DRV8701E双H桥电机驱动模块来驱动车模的四个轮子,实现了对每个轮子的独立电机控制,在方案中使用RA8的General PWM Timer(GPT)外设作为PWM输出控制,对每一路的PWM输出精确控制。

摄像头模块

选用了OV2640彩色摄像头,它支持直接输出JPEG格式的图像数据。这一特性极大地简化了图像处理流程,RA8的16位摄像头接口CEU,不管是摄像头的RGB数据还是JPEG数据,都能通过CEU外设进行采集。通过CEU,最大可以采集2560*1920分辨率的图像。

4

小车主要软件介绍

软件流程

RA8配套的支持包中就包含了多个系统的支持,在工程创建的过程中选择需要使用的系统,后续便自动将对应的系统文件添加到工程中。方案中选择了FreeRTOS系统作为整体任务的分配以及管理,任务如下图所示:

a0f4ef52-2d28-11ef-a4c8-92fbcf53809c.png

屏幕GUI控制

该方案为了实现更为直观和用户友好的操作体验,利用了图形用户界面(GUI)组件来展示摄像头捕获的实时图像以及关键参数。通过GUI的设计,不仅能够确保图像的清晰显示,还能够对界面布局和参数展示进行优化,从而提升视觉效果和用户交互的便捷性。

在GUI的设计上,选择了LVGL作为框架,并利用GUI-Guider软件进行初步设计。通过这个软件,能够快速搭建出所需的界面布局,随后将生成的源代码集成到项目中,随后为界面元素添加了参数设置和按键操作的回调函数来实现完整的交互功能。

语音处理

语音命令包括“前进”、“后退”、“左移”、“右移”、“左转”、“右转”、“停止”、“抓取”。在上位机中点击录音,然后对着麦克风口述上述命令之一,上位机会通过WIFI下方音频数据。单片机接收到音频数据后,在本地完成语音识别的算法,并根据命令来控制车模运动。

本方案通过电脑采集音频数据,进行幅值归一化处理后,通过WIFI发送到车模单片机。通过RA8单片机使用WIFI-UART模块和DMA接收数据,并通过运行在RA8上的语音识别算法进行处理。语音识别算法采用将音频信号转换为语谱图,再利用卷积神经网络(CNN)模型进行识别的方法。模型训练后,提取网络结构和权重参数,RA8单片机根据模型输出的向量确定命令,然后将识别结果显示在屏幕上,最后由控制线程完成小车的控制和机械臂抓取控制。

5

总结

以上便是此次基于瑞萨RA8的麦轮语音小车方案的技术分享,本项目使用了Arm Cortex-M85内核的RA8D1作为主控芯片,制作了一辆集成了多种功能的语音麦轮小车。

方案利用RA8芯片的强大性能和丰富外设接口,实现了一个语音命令的闭环控制系统,通过陀螺仪编码器数据进行实时计算和调整,确保了车模的精确控制。通过RA8独有的CEU外设和芯片的高性能实现图像的实时获取、传输以及解压显示。此外,方案还采用了基于梅尔倒谱系数(MFCC)算法和卷积神经网络(CNN)模型的语音识别技术,实现了对语音命令的快速识别和响应,使得小车能够根据语音指令进行相应的动作,展示了RA8 MCU在智能设备领域的强大应用潜力。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • mcu
    mcu
    +关注

    关注

    146

    文章

    16331

    浏览量

    345974
  • 瑞萨
    +关注

    关注

    32

    文章

    22240

    浏览量

    85230
  • 智能小车
    +关注

    关注

    85

    文章

    542

    浏览量

    81347
  • RA8
    RA8
    +关注

    关注

    0

    文章

    4

    浏览量

    6560

原文标题:解决方案 | 基于瑞萨RA8 MCU的语音麦轮小车解决方案介绍

文章出处:【微信号:瑞萨MCU小百科,微信公众号:瑞萨MCU小百科】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    RA8硬件手册(英)

    RA8硬件手册
    发表于 06-20 15:24 0次下载

    RA8 Cortex-M85 Helium技术入门指南(1)

    电子在2023年10月底推出强大的RA8系列MCU,具备突破性的3000 CoreMark,并可满足客户应用所需的完全确定性、低延迟及实时操作要求。
    的头像 发表于 05-14 14:30 650次阅读
    <b class='flag-5'>RA8</b> Cortex-M85 Helium技术入门指南(1)

    电子RA家族推出RA8系列高算力通用MCU

    电子RA家族推出RA8系列高算力通用MCU,是业界首款基于Arm® Cortex®-M85(CM85)内核的32位
    的头像 发表于 04-02 14:14 801次阅读
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b>电子<b class='flag-5'>RA</b>家族推出<b class='flag-5'>RA8</b>系列高算力通用<b class='flag-5'>MCU</b>

    与RT-Thread推出基于RT-Thread&amp;OpenMV的RA8人机交互方案

    与战略合作伙伴RT-Thread携手于2024年2月底正式发布了全新的硬件产品——基于RT-Thread&OpenMV的RA8人机交互解决方案Vision Board。
    的头像 发表于 04-01 14:10 537次阅读
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b>与RT-Thread推出基于RT-Thread&amp;OpenMV的<b class='flag-5'>RA8</b>人机交互<b class='flag-5'>方案</b>

    RA家族 RA AWS MQTT/TLS云连接解决方案-蜂窝应用说明

    电子发烧友网站提供《RA家族 RA AWS MQTT/TLS云连接解决方案-蜂窝应用说明.pdf》资料免费下载
    发表于 02-19 11:00 0次下载
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b><b class='flag-5'>RA</b>家族  <b class='flag-5'>RA</b> AWS MQTT/TLS云连接<b class='flag-5'>解决方案</b>-蜂窝应用说明

    AMEYA360 | 皇华:面向电机控制应用推出性能卓越的RA8 MCU

    AMEYA360 | 皇华:面向电机控制应用推出性能卓越的RA8 MCU:全球半导体解决方案供应商
    的头像 发表于 02-02 16:02 337次阅读

    面向电机控制应用推出性能卓越的RA8 MCU

    电子,全球领先的半导体解决方案供应商,近日发布了其基于Arm Cortex-M85处理器的RA8T1微控制器(MCU)产品群。这一产品群
    的头像 发表于 02-01 10:23 367次阅读

    面向电机控制应用推出性能卓越的RA8 MCU

    解决方案供应商电子(TSE:6723)今日宣布推出基于Arm® Cortex®-M85处理器的RA8T1微控制器(MCU)产品群,可满足
    发表于 01-31 15:29 889次阅读
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b>面向电机控制应用推出性能卓越的<b class='flag-5'>RA8</b> <b class='flag-5'>MCU</b>

    基于RA2E1 MCU芯片的蓝牙平衡小车设计

    本项目由RA2E1 MCU芯片作为主控,搭载电源模块、MPU6050模块、超声波模块、OLED模块、蓝牙模块、电机模块等组成的蓝牙平衡小车
    的头像 发表于 01-08 12:17 1399次阅读
    基于<b class='flag-5'>瑞</b><b class='flag-5'>萨</b><b class='flag-5'>RA</b>2E1 <b class='flag-5'>MCU</b>芯片的蓝牙平衡<b class='flag-5'>小车</b>设计

    RA家族RA AWS MQTT/TLS云连接解决方案-以太网

    电子发烧友网站提供《RA家族RA AWS MQTT/TLS云连接解决方案-以太网.pdf》资料免费下载
    发表于 01-03 09:52 0次下载
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b><b class='flag-5'>RA</b>家族<b class='flag-5'>RA</b> AWS MQTT/TLS云连接<b class='flag-5'>解决方案</b>-以太网

    电子推出全新RA MCU家族产品RA8

    电子推出的全新RA MCU家族产品RA8,是业界首款搭载Arm Cortex-M85内核超高性能MC
    的头像 发表于 12-20 12:25 707次阅读
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b>电子推出全新<b class='flag-5'>RA</b> <b class='flag-5'>MCU</b>家族产品<b class='flag-5'>RA8</b>

    新品发布 | 推出面向图形显示应用和语音/视觉多模态AI应用的全新RA8 MCU产品群

    新闻快讯 全球半导体解决方案供应商电子(TSE:6723)宣布推出RA8D1微控制器(MCU)产品群。
    的头像 发表于 12-15 16:00 510次阅读
    新品发布 | <b class='flag-5'>瑞</b><b class='flag-5'>萨</b>推出面向图形显示应用和<b class='flag-5'>语音</b>/视觉多模态AI应用的全新<b class='flag-5'>RA8</b> <b class='flag-5'>MCU</b>产品群

    电子宣布推出RA8D1微控制器(MCU)产品群

    2023年12月12日,电子宣布推出RA8D1微控制器(MCU)产品群。RA8D1产品群作为
    的头像 发表于 12-15 15:58 690次阅读
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b>电子宣布推出<b class='flag-5'>RA8</b>D1微控制器(<b class='flag-5'>MCU</b>)产品群

    IAR为RA8系列MCU开发提供支持

    嵌入式开发软件和服务的全球领导者IAR今日宣布,其最新发布的IAR Embedded Workbench for Arm 9.40.2版本中无缝集成了对(Renesas)RA8系列MCU
    的头像 发表于 11-02 17:08 805次阅读

    RA MCU串口通信空闲中断

    RA MCU串口通信空闲中断
    的头像 发表于 09-26 16:59 699次阅读
    <b class='flag-5'>瑞</b><b class='flag-5'>萨</b><b class='flag-5'>RA</b> <b class='flag-5'>MCU</b>串口通信空闲中断