触觉智能EVB3588实测运行大模型，效果nice！
开源鸿蒙硬件方案领跑者触觉智能
本文基于触觉智能IDO-EVB3588开发板，运行大模型。效果抢先看！
视频使用的主板采用瑞芯微RK3588处理器，是全新一代AloT高端应用芯片，采用8nm LP制程，搭载八核64位CPU，四核Cortex-A76和四核Cortex-A55架构，主频高达2.4GHz。
6TOPS AI算力，三核架构，支持int4/int8/int16/FP16/BF16/TF32；
支持H.265/H.264/AV1/VP9/AVS2视频解码， 最高8K60FPS；
支持 H.264/H.265视频编码， 最高8K30FPS；
支持HDMI2.1输出，最高8K@60Hz；
支持HDMI2.0 输入， 最高4K60FPS；
支持多摄像头输入；
双通道LVDS，支持到1080P@60Hz 大屏幕 ；
多屏异显；
两路独立的千兆以太网口，支持WAN口+LAN口 双IP ；
丰富的系统支持， Android 12，Ubuntu，鸿蒙OpenHarmony全面支持。
1、运行在开发板上可以通过CPU直接部署运行模型，可以在终端中直接对话：
视频效果如下所示：
CPU调用情况:
同时，通过调整模型，可以在NPU上部署运行大模型，3588开发板的NPU拥有6T的算力，可以加速模型运行。运行qwen1.8b模型占用情况如下
2、网页调用模型API
模型部署后可以暴露API供其他应用使用，例如Web网页调用API接口实现对话功能。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
开发板
+关注
关注
25文章
6140浏览量
113705 -
触觉智能
+关注
关注
1文章
62浏览量
827 -
大模型
+关注
关注
2文章
3460浏览量
4981
发布评论请先 登录
相关推荐
热点推荐
触觉智能RK3588行业主板通过OpenHarmony5.0 XTS认证
触觉智能作为开源鸿蒙南向硬件厂家，旗下RK3588行业主板IDO-SBC3588（以下简称SBC3588）通过了OpenHarmony5.0
触觉智能RK3562开发板新版强势亮相
/RK3562J），都支持NPU和CAN功能了，为此触觉智能RK3562开发板进行了迭代升级，全新型号为EVB3562-V2。为了庆祝触觉智能
《RK3588核心板：AIoT边缘计算的革命性引擎，能否解锁智能物联新范式？》
×Cortex-A55@1.8GHz）
与6TOPS NPU算力，
为边缘设备赋予了“大脑级”处理能力。无论是智慧城市的交通监控，还是工业现场的实时质检，RK3588核心板可同时处理多路8K视频流并运行深度
发表于 04-02 10:26
RK3588 EVB开发板原理图讲解【八】 RK3588 power Tree
GPU负载高时自动通知RK860-2调高CPU电压
RK3588 Power Tree完整版图太大，截图看不完，需要的可以下载附件完成版。
RK3588 EVB开发板原理图 往期链接
发表于 03-01 11:38
RK3588 EVB开发板原理图讲解【七】
强制关机和复位的区别探讨那么长按强制关机和复位有什么区别？看完下图之后就知道了。
RK3588 EVB开发板原理图 往期链接分享：
RK3588 EVB开发板原理图讲解【一】RK
发表于 02-28 08:51
RK3588开发板上部署DeepSeek-R1大模型的完整指南
板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。
二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效
发表于 02-27 16:45
RK3588 EVB开发板原理图讲解【六】
：
RK3588 EVB实际的emmc电路如下
整体概述该原理图展示了eMMC Flash与主控芯片之间的连接关系，以及相关的电源、信号线路和去耦电容等元件的配置。eMMC是一种常见的非易失性
发表于 02-26 11:07
RK3588 EVB开发板原理图讲解【四】
模式的组合，最多可以 5 种模式同时使用。具体如下图
现在直接来看下RK3588 EVB这个开发板的pcie原理图设计
开发板设计了一个pcie3.0 4lane接口
1、主控输出部分
直接拉出
发表于 02-18 08:04
添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略
为定点模型，这一过程不仅能有效减少模型存储空间，还能大幅降低计算量，显著提升模型在硬件上的运行效率。例如，量化后的模型在 RK
发表于 02-14 17:42
【实测】用全志A733平板搭建一个端侧Deepseek算力平台
随着DeepSeek 的蒸馏技术的横空出世，端侧 SoC 芯片上运行大模型成为可能。那么端侧芯片跑大模型的效果如何呢？本文将在全志 A733 芯片平台上部署一个 DeepSeek-
发表于 02-13 10:19
RK3588 EVB开发板原理图讲解【一】
从头到尾讲解RK3588 EVB的原理图
1、原理图整体介绍
左边是原理图页介绍
中间这个是生成BOM表用，原理图画好之后使用这2个脚本直接生成BOM表，当然可以手动修改。
Item\tPart
发表于 02-11 16:29
Ubuntu20.04取消root账号自动登录的方法，触觉智能RK3568开发板演示
Ubuntu20.04默认情况下为root账号自动登录，本文介绍如何取消root账号自动登录，改为通过输入账号密码登录，使用触觉智能EVB3568鸿蒙开发板演示
Linux系统更换开机logo方法教程，触觉智能RK3562开发板演示
本文介绍Linux系统更换开机logo方法教程，通用RK3566、RK3568、RK3588、RK3576等开发板，触觉智能RK3562开发板演示
工商网监
评论