立减￥50 | 基于地瓜RDK X5开发套件，DIY一个具身管家！

Part.1开发者日记

Showtime：一句话让机械臂收拾屋子

"请把巧克力放到盘里。"

没有代码，没有坐标，没有预训练标签——只是一句再平常不过的中文。几秒后，MuJoCo 仿真环境中的机械臂开始移动：视觉定位、分割目标、推理抓取、执行放置。巧克力稳稳落入盘中，网页端实时回传每一步的执行时间线。

这就是 囤囤钳（tuntunClaw），基于地瓜机器人 RDK X5 Magicbox打造的一款面向真实家庭生活场景的全屋具身家庭小助手。

核心亮点一览：

点击图片可领取  50元优惠券 或复制链接打开领取https://s.tb.cn/c.0x2c7Z

Part.2开发者日记故事的开始：当机械臂遇上生活琐事

"之前在研究具身智能时，看到的演示大多是实验室场景：固定点位、固定物体、固定流程。但真实家庭里，谁会把东西永远放在同一个位置？谁会用代码跟机器人说话？"

"我想做的不一样。听懂'人话'、理解'生活'、连续'干活'。"

于是，基于 OpenClaw 人工智能操作系统，我们打造了囤囤钳——不是单一抓取演示，而是"一脑双端"的分布式家庭服务型具身智能系统：

中枢大脑（Windows 主机）：OpenClaw 核心框架，负责任务理解、空间坐标记忆、库存计算、外部 API 调度

物理执行端（MuJoCo 仿真操作台）：VLM + SAM 分割、GraspNet 抓取推理、时空连续任务执行

多模态交互端（现实桌面伴宠机器人）：地瓜机器人Magicbox，语音唤醒、ASR/TTS、灯效情感表达，通过局域网桥接中枢

"从一句中文指令，到机械臂完成整理，再到库存自动扣减、低库存飞书提醒——这才是家庭机器人该有的样子。"

Part.3开发者日记领域展开：魔法的使用方法

系统架构

囤囤钳采用高度解耦的 “一脑双端、五层协同”分布式架构。以 Windows 主机上的 OpenClaw 为核心调度枢纽，向下连接 MuJoCo 物理仿真环境，向上对接桌面伴宠硬件，同时打通飞书等生活应用。

第一层 · 多模态交互层（现实伴宠终端）

本层依托部署于桌面的“囤囤钳”伴宠机器人（地瓜 RDK X5 硬件），是系统与人类自然交互的“前台”。

边缘侧语音预处理：硬件专注“听”与“说”——唤醒词检测（“囤囤钳”“地瓜地瓜”等）、高精度 ASR 语音转文字、拟人化 TTS 文字转语音播报。

灯效与情感表达：未唤醒时熄灭，聆听中呈现呼吸灯，回答时走马灯效果，增强家庭小助手的生命感。

轻量级桥接机制：板载算力有限，不运行大模型推理；用户语音指令通过高速局域网 Voice Bridge 实时透传至 Windows 主机的 OpenClaw 大脑。

第二层 · 核心中枢调度层（OpenClaw 智能大脑）

本层运行于高性能 Windows 主机，是整个家庭小助手的“思考与决策”中心。

FastAPI 异步会话管理：充当系统数据总线，接收来自网页端或桌宠端的自然语言指令，为每次交互生成独立SessionRecord，实时追踪任务生命周期（解析中 / 分割中 / 执行中 / 成功 / 失败）。

自然语言任务解析与路由：中枢进行意图识别——若为“询问物资”或“找东西”，直接查询数据库生成文本回复，经桌宠 TTS 播报；若为“物理操作”，则将结构化任务（源物体、目标容器、空间关系等）下发至 MuJoCo 仿真调度器。

第三层 · 物理感知与执行层（MuJoCo 仿真操作台）

本层是囤囤钳的“数字孪生操作空间”，负责视觉理解与物理抓取闭环，具备“时空连续性”的动态环境。

零样本视觉分割与感知（VLM + SAM）：摒弃固定标签方案。获取当前 RGB-D 图像后，利用多模态大模型结合 SAM，根据自然语言描述（如“带有特定包装的巧克力”“红色的苹果”）实现像素级掩码分割。

三维点云与抓取位姿推理（GraspNet）：基于深度图和分割掩码构建三维点云，通过深度阈值过滤环境噪点；调用 GraspNet 生成高置信度候选抓取姿态，结合几何中心与碰撞检测，输出最优 IK 求解路径。

时空连续任务引擎：区别于“抓取后强行重置场景”的常见做法，本项目实现世界状态的连续保留。完成“抓取苹果”后，苹果的新坐标持久化留在场景中，后续指令基于最新物理状态继续执行，契合真实家庭不可逆的物理时间流。

第四层 · 全局空间与物资记忆层（家庭动态数据库）

本层体现系统“管家属性”的核心，将物理世界中散落的物品抽象为结构化家庭账本。

状态持久化与分类管理：通过本地持久化文件（inventory.csv、locations.csv）统一维护物资数据。耐用品（如剪刀）侧重记录最新三维空间坐标与语义位置；消耗品（如苹果、卷纸）侧重追踪存量数值与消耗速率。

事件驱动的状态更新：感知执行层完成有效物理交互（如消耗一块巧克力）后，系统通过 Workflow Hooks 回调触发数据表实时扣减，确保仿真环境与数字账本绝对同步。

第五层 · 业务闭环与扩展层（全域消息网关）

本层将家庭小助手的服务能力从局域网延伸至用户的移动互联网生活。

阈值监听与自动决策：每次物资更新后，库存系统自动对比当前余量与用户预设的安全阈值。发现“洗衣液仅剩 1 瓶”等低库存状态时，生成挂起补货任务。

外部 API 整合：经桌宠向用户口头确认（或系统触发静默补货逻辑）后，整合模块调用外部 Webhook 接口，将购买链接、物资紧缺提示以图文并茂的形式推送至飞书或微信，完成“发现缺货 → 一键复购”的全自动家庭后勤管理链路。

快速开始

# Step 1: 准备环境（默认环境 vlm_grasp311）# Step 2: 下载大文件资产python scripts/download_large_assets.py# 从 Hugging Face Datawhale/tuntunclaw-assets 恢复纹理资源# 如需鉴权，请先设置 HF_TOKEN 或 HUGGINGFACE_HUB_TOKEN# Step 3: 启动服务micromamba run -n vlm_grasp311 python main.py# Step 4: 浏览器打开 http://127.0.0.1:8000/

任务部署

网页端直接输入任务：

请把巧克力放到盘里

将菜板上的苹果放置有苹果的架子上保存

请把玻璃杯扔到地上 ← OpenClaw 安全模块直接拒绝！

Part.4开发者日记Dev前必看：避坑指南 Loading...

1）首次运行前务必执行资产下载脚本manipulator_grasp/assets/下的纹理文件未放入 Git 仓库，缺失会导致场景渲染异常。

2）Hugging Face 下载失败时 检查HF_TOKEN / HUGGINGFACE_HUB_TOKEN环境变量是否已设置，部分仓库需要鉴权。

3）连续任务执行时请勿刷新页面 场景状态由后端 Session 维护，刷新将重置为初始环境。

4）VLM 首次调用延迟属于正常现象 涉及模型加载，后续相同类型任务会复用缓存，速度明显提升。

5）“拒绝执行”不是 Bug 当指令包含安全风险（如“扔到地上”），OpenClaw 安全模块返回拒绝响应，前端显示红色提示——这是预期行为。

6）GraspNet 推理结果为空时 检查目标物体是否在相机视野内，SAM 分割掩码是否有效；可通过前端调试输出区查看vlm_process.py的中间分割结果。

7）桌宠桥接异常时 检查局域网连通性，确认Voice Bridge脚本与 Windows 主机处于同一网段。

Part.5开发者日记典型工作流：三个真实家庭场景

场景一：消耗品无感盘点与主动补货

物理操作：语音指令"拿一块巧克力" → 机械臂执行抓取 → 仿真环境反馈状态变动

静默扣减：OpenClaw 中枢将 inventory.csv 中巧克力库存 -1

库存预警：询问"剩余最少的3样是什么？" → 桌宠 TTS 播报："苹果和洗衣液接近阈值"

飞书闭环："生成苹果补货单，推送到飞书" → 手机收到结构化消息，含购买链接

场景二：耐用品跨空间记忆与自然语言寻物

坐标固化：早前收纳任务中，剪刀被 SAM 识别并放置，三维坐标写入 locations.csv

跨端盲视：用户在卧室问桌宠："我的剪刀在哪？"

记忆检索：桌宠无全屋摄像头，但访问 OpenClaw 中枢检索最后已知位置

精准答复："剪刀在操作台左侧的柜子上。"

场景三：时空连续环境感知与动态规划

连续指令："将菜板上的苹果放入果篮" → 紧接着 "将桌上的海绵放到收纳架上"

状态继承：第二条指令执行时，苹果已真实留在果篮中，场景不重置

动态重分割：VLM + SAM 在"已被改变过"的新场景图像上重新识别目标

容错恢复：偶发渲染异常时，仅重建 Renderer Context，不丢失 mj_model 与 mj_data 物理状态

Part.6开发者日记版本进化论：可持续发展ing

V1.0 已支持

中文自然语言指令输入与结构化解析

VLM / SAM / GraspNet 完整感知-推理链路

MuJoCo 仿真执行与网页端实时可视化

时空连续任务引擎与场景状态持久化

消耗品库存追踪与耐用品坐标记忆

低库存阈值监听与飞书 Webhook 推送

边缘语音伴宠（地瓜 RDK X5）桥接交互

V2.0 即将进化

真实物理机械臂部署（从仿真走向实体）

语音主动问询（"苹果快吃完了，需要补货吗？"）

多机协同：厨房机械臂 + 客厅移动底盘 + 桌面伴宠跨房间联动

更多家庭场景：冰箱取物、抽屉整理、过期提醒

基于消耗速率的主动补货建议（"管家意识"升级）

点击图片可跳转领取 50元优惠券 或复制链接前往领取：https://s.tb.cn/c.0x2c7Z