0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

开发者日记 | 模型转换看得见:RDK X5新一代模型转换可视化工具链

地瓜机器人 2025-03-04 17:28 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

熊旗

wKgZO2fGxgSAEPXwAAH4n5WAKrY709.png


Part.1开发者日记

Showtime:RDK模型一站式开发工具功能展示

wKgZO2fGxomAIpQiADFD3uY84NQ893.png

Part.2开发者日记故事的开始:一个念头引发的技术挑战

“ 之前在使用的RDK X3的时候,看到过前辈关于新一代量化转换工具链使用教程,这个工具真的非常的方便!能非常快速的完成X3上模型的量化,不过针对X5的工具仍在开发......"


于是熊旗大胆决定“让我来!”

他决定仿照前辈的X3可视化工具链来制作一个适配X5的可视化量化转换工具链。

“我的初步构想便是这个可视化工具链能够逐步适配地瓜机器人ModelZoo里的所有模型,实现一站式从模型的训练到模型的转换最后到部署,使之能够更加轻松便捷的服务新拿到RDK的同学们。”

Part.3开发者日记领域展开:魔法的使用方法

于是在经过一段时间的研发后,熊旗的工具链初版完成。目前,模型的训练和导出已全面支持YOLO系列,实现了从训练到转换的完整流程,能有效帮助开发者更直观地理解和优化模型。


Docker使用(推荐)

# step 1 拉取docker镜像(阿里云仓库)docker pull crpi-0uog49363mcubexr.cn-hangzhou.personal.cr.aliyuncs.com/skyxz/rdk_toolchain:v1.3# step 2 创建文件夹映射mkdir ~/datasetexport dataset_path=~/dataset# Run-Method-1 临时创建容器(自行修改--shm-size配置)docker run -it --rm --gpus all --shm-size=32g --ipc=host -e PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 -e CUDA_LAUNCH_BLOCKING=1 -p 5000:5000 -p 8080:8080 -v "$dataset_path":/data crpi-0uog49363mcubexr.cn-hangzhou.personal.cr.aliyuncs.com/skyxz/rdk_toolchain:v1.3# Run-Method-2 永久创建容器(自行修改--shm-size配置)docker run -it --rm --gpus all --shm-size={你的内存大小例如:32g} --ipc=host -e PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 -e CUDA_LAUNCH_BLOCKING=1 -p 5000:5000 -p 8080:8080 -v "$dataset_path":/data crpi-0uog49363mcubexr.cn-hangzhou.personal.cr.aliyuncs.com/skyxz/rdk_toolchain:v1.3 手动构建docker镜像

手动构建docker镜像

# step 1 :从百度云下载源码(仓库中仅有前端后端实现)https://pan.baidu.com/s/1fz_DueWNr3uKDLO7KkNwZw?pwd=7jy3# step 2 解压并进入项目目录# step 3 构建dockerdocker build -t rdk_toolchain .# step 4 创建文件夹映射mkdir ~/datasetexport dataset_path=~/dataset# Run-Method-1 临时创建容器(自行修改--shm-size配置)docker run -it --rm --gpus all --shm-size=32g --ipc=host -e PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 -e CUDA_LAUNCH_BLOCKING=1 -p 5000:5000 -p 8080:8080 -v "$dataset_path":/data crpi-0uog49363mcubexr.cn-hangzhou.personal.cr.aliyuncs.com/skyxz/rdk_toolchain:v1.3# Run-Method-2 永久创建容器(自行修改--shm-size配置)docker run -it --rm --gpus all --shm-size={你的内存大小例如:32g} --ipc=host -e PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 -e CUDA_LAUNCH_BLOCKING=1 -p 5000:5000 -p 8080:8080 -v "$dataset_path":/data crpi-0uog49363mcubexr.cn-hangzhou.personal.cr.aliyuncs.com/skyxz/rdk_toolchain:v1.3

直接下载源码使用

# step 1 :从百度云下载源码(仓库中仅有前端后端实现)https://pan.baidu.com/s/1fz_DueWNr3uKDLO7KkNwZw?pwd=7jy3# step 2 : 安装依赖pip3 install -r requirements_docker.txt# step 3 :运行脚本即可bash start_services.sh

尽管其他模型如 ResNet、FCOS 仍在支持计划中,但由于模型量化和转换部分的高自由度,目前已能够覆盖绝大多数模型的转换需求。

Part.4开发者日记Dev前必看:避坑指南 Loading...

当前页面的任务正在进行的时候请不要切换至其他页面!切至其他页面后再切回本页面无法恢复原先内容!也无法结束进行中的进程了!


当停止某项操作时(如停止训练)有时停止按钮可能会卡住无反应,这不是卡死了!这是后台正在尝试杀死进程中,几秒后再次点击停止即可退出!

当遇到无法结束进程或是在任务进行中切换至其他页面时请停止Docker以结束后台正在运行中的进程!

部分日志输出为红色不一定是报错!进程是否因为报错结束请以训练状态标志为准!

除了模型导出的onnx会放在原pt模型路径下之外,其他所有运行的结果将保存在/app/logs下

版本进化论:可持续发展ing

已支持所有模型的量化转换操作

已完成ModelZoo中YOLO全系列的训练与导出实现

TODO V2.0

即将支持ResNet系列模型、FCOS等模型

即将实现PC端转换后模型推理检查

推文有没有让你意犹未尽?还有哪些没讲到的部分让你挠头?别急!熊旗已经准备好了——

RDK可视化工具还有哪些隐藏玩法? 开发过程中遇到的坑,怎么优雅避开? 关于模型适配、优化、扩展性……

你问,熊旗答!

一个人敲代码是孤独的,但一群人一起敲,就变成了一场狂欢——

3月4日晚上7:00,在深夜一个人debug前,不妨预约地瓜机器人视频号和Bilibili,和熊旗一起把代码聊出花

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • RDK
    RDK
    +关注

    关注

    0

    文章

    26

    浏览量

    9349
  • 开发者
    +关注

    关注

    1

    文章

    732

    浏览量

    17922
  • 模型转换
    +关注

    关注

    0

    文章

    4

    浏览量

    5355
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    功能安全工具验证的简明指南

    这些例子都很直观,因为它们是“看得见”的安全保障。但经常被忽视的,是“看不见的”软件工具
    的头像 发表于 11-03 15:25 586次阅读

    聆思大模型智能FAE,看得懂技术,答得准问题

    开发者技术支持、电子产品售后服务支持、企业内部文档智能检索 详情请看pdf附件*附件:聆思大模型智能FAE,看得懂技术,答得准问题.pdf
    发表于 09-30 11:29

    【内测活动同步开启】这么小?这么强?新一代模型MCP开发板来啦!

    【内测活动同步开启】这么小?这么强?新一代模型MCP开发板来啦! 聆思全新一代六合芯片「LS26系列」,搭载WIFI / BLE &a
    发表于 09-25 11:47

    3Dfindit 提供的数字立方体模型为研究项目的可视化提供了支持

    魔方的帮助下实现多视角可视化 为了克服这挑战并实现多视角可视化,我们使用了3Dfindit立方体动画模型。博物馆和学生们可以利用 3D 模型
    发表于 08-01 14:36

    华为开发者大会2025(HDC 2025)亮点:华为云发布盘古大模型5.5 宣布新一代昇腾AI云服务上线

    HarmonyOS、昇腾AI云服务、盘古大模型等最新科技创新成果。 在主题演讲中,华为常务董事、华为云计算CEO张平安宣布基于CloudMatrix384 超节点的新一代昇腾AI云服务全面上线,为大模型应用提供澎湃算力;宣布盘古
    的头像 发表于 06-20 20:19 3895次阅读
    华为<b class='flag-5'>开发者</b>大会2025(HDC 2025)亮点:华为云发布盘古大<b class='flag-5'>模型</b>5.5 宣布<b class='flag-5'>新一代</b>昇腾AI云服务上线

    FA模型访问Stage模型DataShareExtensionAbility说明

    解决方案,让开发者平滑过渡到API 9(含)之后的版本。 基本原理 种兼容方法是DataAbilityHelper根据传入的URI的前缀是DataAbility还是DataShare来决定是否调
    发表于 06-04 07:53

    地瓜机器人RDK X5 规格书与地瓜机器人RDK X5原理图

    、割草机等细分场景下与全球超过 200+中小创客、50,000+个人开发者开展深度合作,创造了超过 50+品类的智能机器人。 旭日智能计算芯片相关资料下载链接: 地瓜机器人RDK X5 规格书 *附件:地瓜机器人
    的头像 发表于 04-21 19:01 2504次阅读
    地瓜机器人<b class='flag-5'>RDK</b> <b class='flag-5'>X5</b> 规格书与地瓜机器人<b class='flag-5'>RDK</b> <b class='flag-5'>X5</b>原理图

    【RK3588】第章 RKNPU2开发和使用:3. RKNN模型转换和推理#

    模型转换
    合众恒跃
    发布于 :2025年04月18日 14:40:59

    首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手

    整合了多个MLKits工具,包含模型转换模型量化和模型调优,将关键模块融合成站式、
    发表于 04-13 19:52

    为什么Caffe模型可以直接与OpenVINO™工具套件推断引擎API起使用,而无法转换为中间表示 (IR)?

    推断 Caffe 模型直接基于 英特尔® 神经电脑棒 2 (英特尔® NCS2)。 无法确定为什么 Caffe 模型可以直接与OpenVINO™工具套件推断引擎 API 起使用
    发表于 03-05 06:31

    VirtualLab Fusion应用:光波导k域布局可视化(“神奇的圆环”)

    ,光可以在TIR(全反射)作用下传播,并与光导表面上不同类型的光栅结构相结合,以耦合光进出。在VirtualLab Fusion中,k-Layout可视化工具提供了种在k域中强大的图解方法,用于分析
    发表于 02-21 08:53

    添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略

    RKLLM-Toolkit 是款专为大语言模型量化与转换设计的开发套件,提供简洁易用的 Python 接口,让开发者能轻松实现以下两大关
    发表于 02-14 17:42

    2024年AI开发者中间件工具生态全面总结

    最近,开源中国 OSCHINA、Gitee 与 Gitee AI 联合发布了《2024 中国开源开发者报告》。 报告聚焦 AI 大模型领域,对过去年的技术演进动态、技术趋势、以及开源开发者
    的头像 发表于 02-14 09:45 1062次阅读

    【ELF 2学习板试用】利用RKNN-Toolkit2实现rknn模型转换

    即可 rknn_convert 是RKNN-Toolkit2提供的套常用模型转换工具,通过封装上述API接口,用户只需编辑模型对应的 yml 配置文件,就可以通过指令
    发表于 02-09 17:57

    七款经久不衰的数据可视化工具

    · D3.js:D3.js 是个基于 JavaScript 的数据可视化库,允许开发者创建丰富的交互式图表。它具有极大的灵活性,但需要编程知识,因此适合开发者或具有技术背景的用户
    发表于 01-19 15:24