通过vmRT-Thread和MCP赋能具身智能开发

随着边缘AI与嵌入式系统的发展，智能小车、服务机器人等场景中亟需融合「高层智能决策」与「低层实时控制」。然而当前常见系统架构存在以下痛点：

决策系统与控制系统分离：AI模型通常运行在云端或高性能主控中，而运动控制仍依赖分离式MCU，通信链路长、时延大。

通信方式低效：传统使用串口、网络Socket或CAN等方式连接Linux与MCU，不仅通信开销大，且存在不稳定性与延迟瓶颈。

系统集成困难：多个独立组件难以统一管理，部署复杂，调试成本高，难以快速迁移与扩展。

缺乏标准化接口：上层应用缺乏便捷控制底层运动单元的标准方式，导致AI决策落地困难。

本文介绍一种基于虚拟化技术的嵌入式虚拟化集成开发平台（vmRTThread），其架构如下图所示：

可满足不同安全等级、实时性要求及用户体验与运算能力需求。基于该平台可将决策系统与控制系统同时运行于同一块SOC；构建一套AI驱动+实时控制的一体化系统；其中该平台提供系统间共享内存通信方式，具有低延迟和零拷贝的跨系统数据传输等特点，且通信速度不低于100MB/s（同步），可取代传统串口或网络等方式，并且无需改变原有开发方式，其示例如下图：

该平台在开发阶段提供配套工具，可对多系统进行统一管理、构建和部署：

AI侧可采用MCP（Model Context Protocol）或Function Calling方式完成与实时控制间的交互。

基于上述方式，采用8核开发板来部署AI小车，通过大模型完成对小车的控制，系统架构如下：

具体分为以下几个阶段执行：

01虚拟化系统部署

在开发板上部署vmRT-Thread；

创建两个Guest系统，为每个系统分配物理资源（CPU、内存和外设），配置共享内存通信：运行Ubuntu与RT-Thread。

02控制系统（RT-Thread)

实现对电机、传感器的实时控制；

实现电机控制算法；

提供小车前进、后退、左转和右转接口；

创建线程，监听共享内存内的指令并执行动作。

03决策系统（Ubuntu)

提供AI大模型运行环境；

准备MCP Server和MCP Client；

MCP Server：通过标准化的模型上下文协议暴露特定功能 ，如：

move_forward(distance)

move_backward(distance)

MCPClient ：与MCP server 保持 1:1 的连接，管理大模型与MCP Server的交互流程，包括工具调用、资源访问、数据传输等。

04系统联调与验证

通过语言指令如“向前移动一米”验证AI→MCP→RTOS→执行器的完整链路；评估系统整体响应时延、控制精度与稳定性。

通过输入语言命令控制小车移动：

决策系统（Ubutnu）：通过语言指令控制小车移动

控制系统（RT-Thread）：控制电机执行移动动作

当前嵌入式与边缘AI场景中存在决策与控制系统分离、通信低效、集成复杂以及无法充分利用AI功能，因此，本文基于vmRT-Thread通过虚拟化技术将AI决策与实时控制集成于单一SoC，使其具备良好的可移植性与多场景适应能力；采用共享内存机制替代传统通信方式，提升整体链路性能；为AI Agent控制具身智能提供模板。既满足了人机交互的可能，又能满足AI与嵌入式结合，为边缘AI应用提供创新解决方案。