0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

【AIBOX】装在小盒子的AI足够强吗?

Firefly开源团队 2024-05-15 08:02 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

Firefly推出大语言模型本地部署产品:AIBOX-1684X,目前已适配主流的大语言模型,包括ChatGLM3-6B,以下是ChatGLM3在AIBOX-1684X上的实机演示:ChatGLM3-6B采用更多元的训练数据和策略,在不同角度的数据集,采用了全新设计的Prompt格式,支持工具调用(Function Call)、代码执行(Code Interpreter)和Agent任务等复杂场景

性能实测结果

更强大的基础模型

ChatGLM3-6B (Base) 在选取的8个中英文典型数据集中进行性能测试:

6d53878e-124e-11ef-9118-92fbcf53809c.png

在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能

更全面的开源序列

除了对话模型ChatGLM3-6B外,还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench评测集上对模型进行测试:

6d61dc08-124e-11ef-9118-92fbcf53809c.png

在多个长文本应用场景下的估测试中,与二代模型相比,其效果平均提升程度大于50%。在论文阅读、文档摘要和财报分析等应用中,提升尤为显著

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    91

    文章

    42243

    浏览量

    303293
  • 语言模型
    +关注

    关注

    0

    文章

    575

    浏览量

    11384
  • Firefly
    +关注

    关注

    2

    文章

    549

    浏览量

    9208
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    GPS对时装置是什么?给设备“报时间”的小盒子

    在电力系统、通信基站、交通监控和工业控制这些领域,很多设备的时间必须保持一致。 GPS对时装置 就是用来完成这个任务的,它接收GPS卫星发来的时间信号,经过内部处理之后,通过多种输出接口把准确时间送给现场的各类设备。下面从技术参数和现场调试经验两个角度,说一些实际工作中比较有用的内容。 山东唯尚电子有限公司 接收性能的几个基本参数 GPS对时装置的正常工作离不开稳定的卫星信号。接收灵敏度是一个关键参数,常见的数值在-
    的头像 发表于 05-21 10:18 164次阅读
    GPS对时装置是什么?给设备“报时间”的<b class='flag-5'>小盒子</b>

    AIBOX + JishuShell:一键部署端侧 AI,把本地龙虾“装”进小盒子

    近期AI技术生态中有个耳熟能详的词:OpenClaw,也就是所谓的“龙虾”,而为了将龙虾本地化,许多平台和厂商都在投入研发相关变体和工具,其中安谋科技(ArmChina)旗下的极术社区发布了
    的头像 发表于 04-15 16:35 709次阅读
    <b class='flag-5'>AIBOX</b> + JishuShell:一键部署端侧 <b class='flag-5'>AI</b>,把本地龙虾“装”进<b class='flag-5'>小盒子</b>

    AI 主机盒在智慧安防中的 5 大应用场景:以视美泰 AIBOX-3576M/AIBOX-3588M 为例

    传统安防正加速向智慧安防转型,核心驱动力之一便是AI主机盒应用的普及。作为边缘计算的核心载体,AI主机盒无需依赖云端,即可在本地完成视频解码、AI算法推理与实时告警,让普通监控摄像头瞬间具备“智能
    的头像 发表于 04-13 11:14 4814次阅读
    <b class='flag-5'>AI</b> 主机盒在智慧安防中的 5 大应用场景:以视美泰 <b class='flag-5'>AIBOX</b>-3576M/<b class='flag-5'>AIBOX</b>-3588M 为例

    RK3588 vs RK3576 AI主机盒全方面对比:视美泰AIBOX-3588M与AIBOX-3576M深度解析

    前言在AI边缘计算领域,瑞芯微(Rockchip)旗下的RK3588和RK3576两款芯片备受关注。作为国内领先的商显主板方案商,视美泰基于这两款芯片分别推出了AIBOX
    的头像 发表于 04-07 16:24 7869次阅读
    RK3588 vs RK3576 <b class='flag-5'>AI</b>主机盒全方面对比:视美泰<b class='flag-5'>AIBOX</b>-3588M与<b class='flag-5'>AIBOX</b>-3576M深度解析

    千亿安防市场选型不踩坑!视美泰 AIBOX-3576M,整机厂商智慧监控爆款底座

    视美泰 AIBOX-3576M 智慧监控方案,凭借算力、全算法、真国产、易集成四大优势,成为整机厂商打造智慧监控产品的首选核心底座。 做社区安防、工厂安监、园区管理、商业连锁监控,选 AIBOX-3576M,一次选型、长期受
    的头像 发表于 03-27 14:34 2248次阅读
    千亿安防市场选型不踩坑!视美泰 <b class='flag-5'>AIBOX</b>-3576M,整机厂商智慧监控爆款底座

    视美泰 AIBOX-3588M 性能测评:6T 算力 AI 主机盒应用解析

    在边缘计算与工业智能化快速发展的背景下,AI 主机盒已成为设备厂商实现 AI 落地的核心硬件。本文对视美泰 AIBOX-3588M进行全面性能测评,解析其 6TOPS 算力、RK3588 平台、工业级设计与多场景应用能力,为行业
    的头像 发表于 03-26 13:52 1.3w次阅读
    视美泰 <b class='flag-5'>AIBOX</b>-3588M 性能测评:6T 算力 <b class='flag-5'>AI</b> 主机盒应用解析

    龙芯中科3B6000M芯片成功部署OpenClaw开源AI智能体

    3B6000M 芯片的“小盒子”,成功完成了 OpenClaw 的本地化部署。这不仅意味着国产芯片在 AI 算力适配上的重大突破,更让“低成本、高安全”的本地 AI 数字员工成为触手可及的现实。
    的头像 发表于 02-26 14:48 1170次阅读

    华阳通用AIBOX车载AI计算平台获得国内头部自主品牌车企项目定点

    近日,由ADAYO华阳集团旗下全资子公司华阳通用推出的华阳AIBOX高性能车载AI计算平台,获得国内头部自主品牌车企的核心智能化项目定点。该项目的落地,标志着端侧大模型在前装量产场景中的应用迈出关键一步,也为独立车载AI
    的头像 发表于 01-28 09:14 998次阅读

    中科创达量产版AIBOX-N1亮相CES 2026

    在2026国际消费电子展(CES)现场,中科创达围绕“AI定义汽车”核心趋势,正式亮相基于NVIDIA Drive AGX Orin打造的量产版AIBOX-N1。当前,该产品已具备向主机厂批量供货的能力,这也标志着智能汽车AI
    的头像 发表于 01-10 15:57 1427次阅读

    如何用FCU3501 AI边缘计算盒子,打造智慧工厂的视觉分析核心?

    飞凌嵌入式FCU3501 AI边缘计算盒子,凭借“高可靠架构、算力支撑、零门槛部署”的多重优势,能够为深陷转型困境的行业打造智慧工厂视觉质检与安全生产一体化系统,成为突破困局的关键动能。
    的头像 发表于 11-21 08:03 2013次阅读
    如何用FCU3501 <b class='flag-5'>AI</b>边缘计算<b class='flag-5'>盒子</b>,打造智慧工厂的视觉分析核心?

    国产超新星|EA500I PRO智能工作站:小盒子大能量,千元级解锁大模型

    随着AI从小模型向大模型的加速渗透,算力已成为企业构建智算能力的核心关键。对于渴望切入AI赛道的中小企业,既具备成本优势又能快速部署的边缘计算盒子,无疑是理想的选择;但市场上超100T算力的边缘计算
    的头像 发表于 11-11 10:53 1433次阅读
    国产超新星|EA500I PRO智能工作站:<b class='flag-5'>小盒子</b>大能量,千元级解锁大模型

    一文了解ai计算盒子(边缘计算盒子)是到底是什么产品?

    在物联网与人工智能深度融合的当下,数据处理的效率和实时性成为各行业数字化转型的关键。ai计算盒子(又称边缘计算盒子ai边缘计算盒子)作为连
    的头像 发表于 11-10 14:48 1420次阅读
    一文了解<b class='flag-5'>ai</b>计算<b class='flag-5'>盒子</b>(边缘计算<b class='flag-5'>盒子</b>)是到底是什么产品?

    产品案例 | 遛“狗”新方式,盒子来帮忙

    当一只机器狗被一个巴掌大的小盒子操控,躲避障碍、跟随指令完成转身、停止等动作时,围观人群纷纷发出惊叹:“这么小的盒子,居然能‘溜’机器狗?”。这个“小盒子”,正是机器狗的“智慧大脑”,它凭借强大
    的头像 发表于 09-08 12:13 4541次阅读
    产品案例 | 遛“狗”新方式,<b class='flag-5'>盒子</b>来帮忙

    边缘AI盒子技术解析:ASIC/FPGA/GPU芯片及边缘-云端协同与自适应推理

      电子发烧友网综合报道 边缘AI盒子是一种集成了高性能芯片、AI算法和数据处理能力的硬件设备,部署在数据源的边缘侧,如工厂、商场、交通路口等,能在本地进行数据采集、预处理、分析和决策,无需将所有
    的头像 发表于 07-13 08:25 5043次阅读

    AIBOX 产品矩阵:支持主流大模型的私有化部署,满足个性化 AI 应用需求

    AIBOX系列产品具备高性能、低功耗、环境适应性等特点,算力覆盖6-157TOPS,通过搭配多样化深度学习算法,体积小巧,能够支持主流大模型的私有化部署,为多个智慧行业进行数字化赋能。目前
    的头像 发表于 06-25 16:32 2152次阅读
    <b class='flag-5'>AIBOX</b> 产品矩阵:支持主流大模型的私有化部署,满足个性化 <b class='flag-5'>AI</b> 应用需求