0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AIBOX-1684X:把大语言模型“装”进小盒子

Firefly开源团队 2024-04-20 08:02 次阅读

AIBOX-1684X支持主流大模型私有化部署,算力高达32TOPS,同时也支持CNN、RNN、LSTM等传统网络架构,支持TensorF NNX和Darknet等深度学习架构,并支持自定义算子开发。支持Docker容器化管理技术。适用于智能监控、AI教学、算力服务、边缘计算、大模型私有化部署、数据安全和隐私保护等场景。

458d6b92-fea9-11ee-9118-92fbcf53809c.jpg

全面的人工智能私有化部署

语言大模型

支持Transformer架构下超大规模参数模型,如LLaMa2、ChatGLM、Qwen等大型语言模型的私有化部署。

视觉大模型

支持ViT、Grounding DIN0、SAM等视觉大模型的私有化部署。

AI绘画

支持AIGC领域的Stable DiffusionV1.5图像生成模型的私有化部署。

传统网络架构

支持CNN、RNN、LSTM等传统网络架构。

深度学习框架

支持多种深度学习框架,包括TensorFlow、PyTorch、MXNet、PaddlePaddle、ONNX和Darknet,并支持自定义算子开发。

Docker容器化

支持Docker容器化管理技术,可方便的进行镜像部署。

32TOPS超高算力AI处理器

搭载SOPHON算能AI处理器BM1684X,拥有八核ARM Cortex-A53,最高主频2.3GHz,采用12nm工艺制程;拥有高达32Tops(INT8)算力,或16TFLOPS(FP16/BF16)算力、或2Tops(FP32)高精度算力,支持主流编程框架,可广泛应用于云端及边缘应用的人工智能推理。

多路视频AI处理性能

最高支持32路1080P H.264/H.265的视频解码,32路1080P高清视频全流程处理(解码+AI分析),满足视频流人脸检测、车牌识别等各类AI应用场景的需求。

强大的网络通讯能力

支持双路1000Mbps以太网 ,高速稳定的网络通讯方式,满足不同应用场景需求。

45b6b038-fea9-11ee-9118-92fbcf53809c.jpg

高效散热,工艺精美

配置工业级全金属外壳,铝合金结构导热,顶盖外壳侧面采用条幅格栅设计,保证外部空气流通,高效散热,保障在高温运行状态下的运算性能和稳定性。顶盖采用多孔六边形设计, 简洁美观。整机小巧精致,运行稳定,满足各种工业级的应用需求。

45bb4b02-fea9-11ee-9118-92fbcf53809c.jpg

国产化定制,产品自主可控

可实现100%国产化硬件方案定制,技术完全自主可控,工业级产品质量,稳定的供货周期,满足各种行业的需求。

完善的开发资料

提供配套的源代码、教程技术资料和开发工具,让开发变得更加简单方便。

广泛的应用场景

广泛适用于智能监控、AI教学、算力服务、边缘计算、大模型私有化部署、数据安全和隐私保护等场景。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 语言模型
    +关注

    关注

    0

    文章

    436

    浏览量

    10062
  • 深度学习
    +关注

    关注

    73

    文章

    5240

    浏览量

    119954
收藏 人收藏

    评论

    相关推荐

    【大语言模型:原理与工程实践】探索《大语言模型原理与工程实践》

    《大语言模型》是一本深入探讨人工智能领域中语言模型的著作。作者通过对语言模型的基本概念、基础技术
    发表于 04-30 15:35

    【算能RADXA微服务器试用体验】Radxa Fogwise 1684X Mini 规格

    通过网络可以了解到,算能RADXA微服务器的具体规格: 处理器:BM1684X 算力:高达32Tops INT8峰值算力 内存:16GB LPDDR4X 内存 存储:64GB eMMC 编程框架
    发表于 02-28 11:21

    语言模型使用指南

    在信息爆炸的时代,我们渴望更智能、更高效的语言处理工具。GPT-3.5等大语言模型的崛起为我们提供了前所未有的机会。这不仅是技术的进步,更是人与机器共舞的一幕。本篇文章将带你走进这个奇妙的语言
    的头像 发表于 12-29 14:18 360次阅读

    语言模型概述

    在科技飞速发展的当今时代,人工智能技术成为社会进步的关键推动力之一。在广泛关注的人工智能领域中,大语言模型以其引人注目的特性备受瞩目。 大语言模型的定义及发展历史 大
    的头像 发表于 12-21 17:53 758次阅读

    语言模型简介:基于大语言模型模型全家桶Amazon Bedrock

    本文基于亚马逊云科技推出的大语言模型与生成式AI的全家桶:Bedrock对大语言模型进行介绍。大语言模型
    的头像 发表于 12-04 15:51 419次阅读

    探索ChatGLM2在算能BM1684X上INT8量化部署,加速大模型商业落地

    1.背景介绍在2023年7月时我们已通过静态设计方案完成了ChatGLM2-6B在单颗BM1684X上的部署工作,量化模式F16,模型大小12GB,平均速度约为3token/s,详见《算丰技术揭秘
    的头像 发表于 10-10 10:18 2211次阅读
    探索ChatGLM2在算能BM<b class='flag-5'>1684</b>X上INT8量化部署,加速大<b class='flag-5'>模型</b>商业落地

    BM1684中各种内存的概念

    (SC5/SM5) Host Memory是主机的内存 Device Memory是PCIe板卡的设备内存 CModel模式:BMNNSDK中提供的BM1684软件模拟器环境,可在没有TPU硬件的情况下,验证模型转换编译
    发表于 09-19 07:47

    BM1684芯片的编解码性能数据是怎样的?

    BM1684有4个VPU硬核和4个JPU硬核,具体视频和图片的编解码的速度与实际情况有关,要以实测为准。 视频解码的速度与输入视频码流的格式有很大关系,不同复杂度的码流的解码速度有比较大的波动,比如
    发表于 09-19 07:18

    如何用BMlang搭建Tensorflow模型

    在EVM1684上如何用BMlang搭建一个Tensorflow模型,求助官方一个demo。
    发表于 09-18 07:00

    本地化ChatGPT?Firefly推出基于BM1684X的大语言模型本地部署方案

    自ChatGPT发布以来,生成式AI在全球引起了新的浪潮,它影响着各行各业,为世界带来智能化的发展。然而,类ChatGPT的大语言模型极度依赖算力巨大的服务器,导致目前大部分应用只能通过集中调用
    的头像 发表于 09-09 08:02 1083次阅读
    本地化ChatGPT?Firefly推出基于BM<b class='flag-5'>1684</b>X的大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>本地部署方案

    腾讯发布混元大语言模型

    腾讯发布混元大语言模型 腾讯全球数字生态大会上腾讯正式发布了混元大语言模型,参数规模超千亿,预训练语料超2万亿tokens。 作为腾讯自研的通用大
    的头像 发表于 09-07 10:23 858次阅读

    最近在玩一个小盒子,放到路由器上,还有小奖励

    电源电阻电路电子技术
    学习电子知识
    发布于 :2023年08月08日 02:50:42

    语言模型的发展历程 基于神经网络的语言模型解析

    简单来说,语言模型能够以某种方式生成文本。它的应用十分广泛,例如,可以用语言模型进行情感分析、标记有害内容、回答问题、概述文档等等。但理论上,语言
    发表于 07-14 11:45 527次阅读
    <b class='flag-5'>语言</b><b class='flag-5'>模型</b>的发展历程 基于神经网络的<b class='flag-5'>语言</b><b class='flag-5'>模型</b>解析

    【感芯科技MC3172开发板体验】+游戏机器人创意设计(1)开源(芯片简介)

    /386802/试用产品介绍1 试用产品介绍2 https://www.elecfans.com/v/386800/ 今天给大家介绍一款感芯科技带来的一款比较好的产品。它有一个比较精致小盒子,这对咱们
    发表于 06-03 07:38

    OLED 128x64显示器能用它做什么?

    我有一个 OLED 128x64 显示器,我想看看我能用它做什么。我发现它很适合放在我的一个小盒子里。锂电池与电池充电器一起很好地安装在底部。我安装了一些用于用户输入的按钮开关。我添加了一个
    发表于 05-23 08:39