0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

新品| LLM630 Compute Kit,AI 大语言模型推理开发平台

明栈科技 2025-01-17 18:48 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

858e9016-d4c0-11ef-9434-92fbcf53809c.jpg

LLM630

LLM推理,视觉识别,可开发,灵活扩展

LLM630 Compute Kit是一款 AI 大语言模型推理开发平台,专为边缘计算和智能交互应用而设计。该套件的主板搭载爱芯AX630CSoC 处理器,集成了 3.2 TOPs@INT8 算力的高能效 NPU,提供强大的 AI 推理能力,能够高效执行复杂的视觉(CV)及大语言模型(LLM)任务,满足各类智能应用场景的需求。主板同时配备 JL2101-N040C 千兆网口芯片 和 ESP32-C6 无线通信芯片,支持 Wi-Fi 6@2.4G,用作设备的网卡,提供高速数据传输能力,实现 Wi-Fi 和以太网的桥接功能。无论是通过有线连接进行大规模数据交换,还是通过无线通信与远程服务器或其他智能设备进行实时互动,该平台都能确保高效的数据交互。主板还集成了 SMA 天线接口,进一步增强无线信号的稳定性和传输距离,确保在复杂网络环境下的稳定通信。内置 4GB LPDDR4 内存(其中 2GB 供用户使用,2GB 专用于硬件加速)和 32GB eMMC 存储,支持多模型并行加载与推理,确保任务处理高效顺畅。

85c33cd0-d4c0-11ef-9434-92fbcf53809c.jpg

与主板完美配合的底板大幅扩展了LLM630 Compute Kit的功能性和适用性。它集成了BMI270 六轴传感器,提供精准的姿态感应和运动检测能力,适用于各种动态应用。内置的NS4150B D类功放以及麦克风和扬声器接口支持高质量的语音输入和音频输出,实现全双工通信模式,增强用户交互体验。底板还配备了双 Grove 接口及LCD/DSI和CAM/CSI MIPI 接口,便于扩展外设如显示屏和摄像头模块。同时,底板集成了外接天线接口和一个 千兆网口,为设备提供灵活的网络连接和增强的无线性能。此外,设备用户按键实现开关机和模式切换等功能,提高了设备的易用性和交互性。

85dbca20-d4c0-11ef-9434-92fbcf53809c.jpg

底板的充电芯片和预留电池插座支持自定义电池配置,确保平台即使在无外部电源时也能长时间稳定运行。集成的电量检测芯片实时监控电池状态。MicroSD 卡槽支持存储扩展,以及后续将支持的AI模型更新功能。双Type-C接口不仅支持高效的数据传输,还提供OTG功能,使设备连接更加灵活,确保数据交换和设备连接的高效率。

LLM630 Compute Kit 支持StackFlow 框架,开发者可以轻松通过几行代码实现边缘智能应用,快速启动各种 AI 任务。平台支持多种 AI 应用,包括视觉识别,语音识别、文本转语音和唤醒词识别等功能,并支持分开调用或 pipeline 自动流转,方便开发。平台还支持 Yolo11 DepthAnything 等视觉模型,InternVL2.5-1B 多模态大模型,Qwen2.5-0.5/1.5B Llama3.2-1B 大语言模型和 Whisper Melotts 语音模型等,支持热更新,后续将持续支持最先进的热门的大模型,赋能智能识别与分析,确保平台紧跟技术发展和社区潮流。

LLM630 Compute Kit 适用于长时间运行的智能设备,广泛应用于安防监控,智能销售,智能农业,智能家居控制,互动机器人和教育等领域,能够为边缘智能应用提供强大的计算能力与灵活的扩展性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    89

    文章

    38111

    浏览量

    296657
  • 语言模型
    +关注

    关注

    0

    文章

    570

    浏览量

    11255
  • LLM
    LLM
    +关注

    关注

    1

    文章

    340

    浏览量

    1257
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA TensorRT LLM 1.0推理框架正式上线

    TensorRT LLM 作为 NVIDIA 为大规模 LLM 推理打造的推理框架,核心目标是突破 NVIDIA 平台上的
    的头像 发表于 10-21 11:04 756次阅读

    米尔RK3576部署端侧多模态多轮对话,6TOPS算力驱动30亿参数LLM

    加载 → 图片预处理 → 用户交互 → 推理输出”的核心流程,支持图文一体的多模态对话,适配多轮问答、视觉问答等典型场景。 具体运行机制可拆解为以下步骤:1. 模型初始化首先加载大语言模型
    发表于 09-05 17:25

    基于米尔瑞芯微RK3576开发板的Qwen2-VL-3B模型NPU多模态部署评测

    关键词:瑞芯微 RK3576、NPU(神经网络处理器)、端侧小语言模型(SLM)、多模态 LLM、边缘 AI 部署、开发板、RKLLM随着
    发表于 08-29 18:08

    Votee AI借助NVIDIA技术加速方言小语种LLM开发

    了精准的方言及小语种大语言模型 (LLM)。此举成功解决了数据稀缺、语言复杂及计算效率等挑战,为全球数以百万计、缺乏数字化资源的语言使用者提
    的头像 发表于 08-20 14:21 650次阅读

    信而泰×DeepSeek:AI推理引擎驱动网络智能诊断迈向 “自愈”时代

    DeepSeek-R1:强大的AI推理引擎底座DeepSeek是由杭州深度求索人工智能基础技术研究有限公司开发的新一代AI模型。其核心优势
    发表于 07-16 15:29

    如何在魔搭社区使用TensorRT-LLM加速优化Qwen3系列模型推理部署

    TensorRT-LLM 作为 NVIDIA 专为 LLM 推理部署加速优化的开源库,可帮助开发者快速利用最新 LLM 完成应用原型验证与产
    的头像 发表于 07-04 14:38 1757次阅读

    新品|CamModule SC850SL,为 LLM630 打造的高清摄像头模组

    CamModuleSC850SL是一款专为LLM630ComputeKit定制的高性能摄像模组,采用SmartSensSC850SL8MPCMOS图像传感器,支持4K视频采集、宽动态范围(HDR
    的头像 发表于 06-27 17:34 1287次阅读
    <b class='flag-5'>新品</b>|CamModule SC850SL,为 <b class='flag-5'>LLM630</b> 打造的高清摄像头模组

    小白学大模型:从零实现 LLM语言模型

    在当今人工智能领域,大型语言模型LLM)的开发已经成为一个热门话题。这些模型通过学习大量的文本数据,能够生成自然
    的头像 发表于 04-30 18:34 1062次阅读
    小白学大<b class='flag-5'>模型</b>:从零实现 <b class='flag-5'>LLM</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>

    首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手

    应用开发不用“等平台”,彻底释放开发效率和模型接入自由度。 自DeepSeek横空出世以来,这种更适合端侧部署,回答效率更高效的训练模式快速引爆了A
    发表于 04-13 19:52

    详解 LLM 推理模型的现状

    2025年,如何提升大型语言模型LLM)的推理能力成了最热门的话题之一,大量优化推理能力的新策略开始出现,包括扩展
    的头像 发表于 04-03 12:09 1242次阅读
    详解 <b class='flag-5'>LLM</b> <b class='flag-5'>推理模型</b>的现状

    新品 | Module LLM Kit,离线大语言模型推理模块套装

    推理与数据交互需求。ModuleLLM是一款集成化的离线大语言模型(LLM)推理模块,专为需要高效、智能交互的终端设备设计。Module13
    的头像 发表于 03-28 18:49 893次阅读
    <b class='flag-5'>新品</b> | Module <b class='flag-5'>LLM</b> <b class='flag-5'>Kit</b>,离线大<b class='flag-5'>语言</b><b class='flag-5'>模型</b><b class='flag-5'>推理</b>模块套装

    无法在OVMS上运行来自Meta的大型语言模型LLM),为什么?

    无法在 OVMS 上运行来自 Meta 的大型语言模型LLM),例如 LLaMa2。 从 OVMS GitHub* 存储库运行 llama_chat Python* Demo 时遇到错误。
    发表于 03-05 08:07

    AI开发平台模型怎么用

    AI开发平台极大地简化了AI应用的开发流程,从环境搭建、模型训练到部署集成,每一步都提供了丰富的
    的头像 发表于 02-11 09:53 617次阅读

    NVIDIA Jetson Orin Nano开发者套件的新功能

    生成式 AI 领域正在迅速发展,每天都有新的大语言模型LLM)、视觉语言模型(VLM)和视觉
    的头像 发表于 12-23 12:54 1976次阅读
    NVIDIA Jetson Orin Nano<b class='flag-5'>开发</b>者套件的新功能

    AI语言模型开发步骤

    开发一个高效、准确的大语言模型是一个复杂且多阶段的过程,涉及数据收集与预处理、模型架构设计、训练与优化、评估与调试等多个环节。接下来,AI
    的头像 发表于 12-19 11:29 1221次阅读