0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

触觉智能EVB3588实测运行大模型,效果nice!

触觉智能 2024-05-30 08:32 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

开源鸿蒙硬件方案领跑者触觉智能

本文基于触觉智能IDO-EVB3588开发板,运行大模型。效果抢先看!

视频使用的主板采用瑞芯微RK3588处理器,是全新一代AloT高端应用芯片,采用8nm LP制程,搭载八核64位CPU,四核Cortex-A76和四核Cortex-A55架构,主频高达2.4GHz。

6TOPS AI算力,三核架构,支持int4/int8/int16/FP16/BF16/TF32;

支持H.265/H.264/AV1/VP9/AVS2视频解码, 最高8K60FPS;

支持 H.264/H.265视频编码, 最高8K30FPS;

支持HDMI2.1输出,最高8K@60Hz;

支持HDMI2.0 输入, 最高4K60FPS;

支持多摄像头输入;

双通道LVDS,支持到1080P@60Hz 大屏幕 ;

多屏异显;

两路独立的千兆以太网口,支持WAN口+LAN口 双IP ;

5G/4G/WIFI/蓝牙无线通信

板载4路USB3.0,2路全功能Type-C

丰富的系统支持, Android 12,Ubuntu,鸿蒙OpenHarmony全面支持。

2743aeb6-1e1c-11ef-bebc-92fbcf53809c.jpg

276071ea-1e1c-11ef-bebc-92fbcf53809c.jpg

1、运行在开发板上可以通过CPU直接部署运行模型,可以在终端中直接对话:

277c656c-1e1c-11ef-bebc-92fbcf53809c.png


视频效果如下所示:


CPU调用情况:

27afa3b4-1e1c-11ef-bebc-92fbcf53809c.png

同时,通过调整模型,可以在NPU上部署运行大模型,3588开发板的NPU拥有6T的算力,可以加速模型运行。运行qwen1.8b模型占用情况如下

27cf8d3c-1e1c-11ef-bebc-92fbcf53809c.png



2、网页调用模型API


模型部署后可以暴露API供其他应用使用,例如Web网页调用API接口实现对话功能。

27f432d6-1e1c-11ef-bebc-92fbcf53809c.png

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 开发板
    +关注

    关注

    26

    文章

    6424

    浏览量

    120920
  • 触觉智能
    +关注

    关注

    1

    文章

    66

    浏览量

    902
  • 大模型
    +关注

    关注

    2

    文章

    3772

    浏览量

    5273
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    瑞芯微RK3588 RKNN模型推理环境部署与功能测试技巧(上)

    触觉智能(RK方案商)分享瑞芯微RK3588RKNN端侧模型的开发环境搭建方法与测试方法。【测试环境说明】开发板系统:Ubuntu22.04开发环境:Ubuntu22.04虚拟机演示设
    的头像 发表于 04-21 10:37 290次阅读
    瑞芯微RK<b class='flag-5'>3588</b> RKNN<b class='flag-5'>模型</b>推理环境部署与功能测试技巧(上)

    AI硬件选型必看!瑞芯微RV1126B/RK3562/RK3576/RK3588之NPU性能实测对比

    做边缘计算、AI视觉产品,却在瑞芯微一堆芯片里看花眼?RV1126B、RK3562、RK3576、RK3588虽有明面上NPU性能数据,但实测表现到底怎么样?触觉智能就一次性把四款热门
    的头像 发表于 03-14 07:11 625次阅读
    AI硬件选型必看!瑞芯微RV1126B/RK3562/RK3576/RK<b class='flag-5'>3588</b>之NPU性能<b class='flag-5'>实测</b>对比

    国产RK182X算力协处理器 + RK3588实测,大模型“极速流畅”

    我们拿到瑞芯微RK182X算力协处理器评估套件实物后,第一时间基于创龙科技RK3588工业评估板进行了实测,用真实数据告诉你,这款“AI推理外挂”究竟有多强! ▍ 端侧算力,硬核升级 RK182X
    的头像 发表于 03-13 11:05 518次阅读
    国产RK182X算力协处理器 + RK<b class='flag-5'>3588</b><b class='flag-5'>实测</b>,大<b class='flag-5'>模型</b>“极速流畅”

    从视觉检测到多模态交互:RK1820如何赋能下一代智能嵌入式设备?

    交互等实际场景中表现最优?本文整理了9款主流AI模型的完整部署方案,覆盖多模态对话、目标检测、图像分类三大核心场景。每个模型均提供可直接运行的代码及实测
    的头像 发表于 03-02 11:37 1w次阅读
    从视觉检测到多模态交互:RK1820如何赋能下一代<b class='flag-5'>智能</b>嵌入式设备?

    OPi RK3588/RK3588S系列产品全面适配Openclaw,智能体“人人可及”时代正式开启

    领域表现突出,更在AI智能体本地化部署中展现出卓越的能效比。OpenClaw在RK3588/RK3588S平台上的流畅运行,印证了其在终端侧承载复杂AI工作流的可靠性,也为广大开发者、
    发表于 02-10 17:43

    保障量产稳定!触觉智能完成多款产品LPDDR5内存适配

    面对全球存储市场结构性调整深化,与LPDDR4因减产导致的供需失衡压力,深圳触觉智能已完成LPDDR5内存适配。目前,基于瑞芯微RK3576平台的核心板、开发板、行业主板及整机多款产品LPDDR5均已稳定量产。不仅性能提升,更构筑了坚实的供应保障。针对内存性能提升,
    的头像 发表于 02-10 13:39 762次阅读
    保障量产稳定!<b class='flag-5'>触觉</b><b class='flag-5'>智能</b>完成多款产品LPDDR5内存适配

    触觉智能RK3588行业主板通过OpenHarmony5.0 XTS认证

    触觉智能作为开源鸿蒙南向硬件厂家,旗下RK3588行业主板IDO-SBC3588(以下简称SBC3588)通过了OpenHarmony5.0
    的头像 发表于 11-24 13:57 1127次阅读
    <b class='flag-5'>触觉</b><b class='flag-5'>智能</b>RK<b class='flag-5'>3588</b>行业主板通过OpenHarmony5.0 XTS认证

    触觉为桥,定义智能体验——PPS触觉传感技术赋能多领域创新

    触觉为桥,定义智能体验 ——PPS 触觉传感技术赋能多领域创新 二十多年来,PPS 始终专注于触觉测量技术的突破与演进,将无形的 “触觉
    的头像 发表于 11-19 11:31 518次阅读
    以<b class='flag-5'>触觉</b>为桥,定义<b class='flag-5'>智能</b>体验——PPS<b class='flag-5'>触觉</b>传感技术赋能多领域创新

    RK3506开发板Xenomai内核RT-Linux实时性系统适配教程与性能实测实测仅7μs稳定延时

    本文基于触觉智能RK3506核心板/开发板,介绍Xenomai内核RT-Linux实时性系统适配,并附性能实测。简介与实测数据Xenomai简介XEnomai是一个实时子系统,可与Li
    的头像 发表于 09-18 14:21 1681次阅读
    RK3506开发板Xenomai内核RT-Linux实时性系统适配教程与性能<b class='flag-5'>实测</b>,<b class='flag-5'>实测</b>仅7μs稳定延时

    ALINX VD100低功耗端侧大模型部署方案,运行3B模型功耗仅5W?!

    模型运行≠用户体验好。 IDC 预测,到 2026 年,全球超过 50% 的企业 AI 工作负载将部署在边缘设备上。在 AI 部署逐渐从云端转向边缘端的趋势下,越来越多智能终端开始尝试在本地
    的头像 发表于 09-03 14:58 886次阅读
    ALINX VD100低功耗端侧大<b class='flag-5'>模型</b>部署方案,<b class='flag-5'>运行</b>3B<b class='flag-5'>模型</b>功耗仅5W?!

    请问如何在RK3588上使用npu,用onnx模型来推理

    请问如何在瑞芯微 RK3588上使用npu,用onnx模型来推理。官网上介绍说要把ONNX模型转换成RKNN模型。但是我并不想这么干,请问有什么办法吗?
    发表于 08-09 00:51

    瑞芯微RK3562开发板,性能参数详细配置,触觉智能IDO-EVB3562-V2

    IDO-EVB3562-V2开发板规格书深圳触觉智能科技有限公司
    的头像 发表于 06-12 11:44 2006次阅读
    瑞芯微RK3562开发板,性能参数详细配置,<b class='flag-5'>触觉</b><b class='flag-5'>智能</b>IDO-<b class='flag-5'>EVB</b>3562-V2

    运行kmodel模型验证一直报错怎么解决?

    我这运行kmodel模型验证一直报错,所以没法做kmodel模型好坏验证,不知道怎么解决这个问题,重新训练一个kmodel模型会和拿相同pt训练的
    发表于 06-10 08:02

    触觉智能RK3506星闪开发板规格书 型号IDO-EVB3506-V1参数详情

    1产品概述触觉智能IDO-EVB3506-V1采用RockchipRK3506(三核Cortex-A7+单核Cortex-M0,主频最高1.5GHz)设计的评估开发板,专为家电显控、显示HMI、手持
    的头像 发表于 06-09 10:46 2029次阅读
    <b class='flag-5'>触觉</b><b class='flag-5'>智能</b>RK3506星闪开发板规格书 型号IDO-<b class='flag-5'>EVB</b>3506-V1参数详情

    触觉智能RK3562开发板新版强势亮相

    /RK3562J),都支持NPU和CAN功能了,为此触觉智能RK3562开发板进行了迭代升级,全新型号为EVB3562-V2。为了庆祝触觉智能
    的头像 发表于 05-30 11:32 1429次阅读
    <b class='flag-5'>触觉</b><b class='flag-5'>智能</b>RK3562开发板新版强势亮相