0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研扬科技ARES-240AI/ARES-241AI,开启AIGC部署新时代

研扬科技AAEON 2023-12-30 08:05 次阅读

随着ChatGPT的火爆,AIGC(生成式人工智能)这一新兴概念也备受瞩目。AIGC目前已经在很多领域得到了广泛应用,如新闻报道、广告创意、音乐创作等,它可以模仿人类的写作风格,甚至创造出全新的作品。然而AIGC的用途远非如此简单,随着AIGC通过海量数据训练的大规模神经网络模型(大模型)的模型层数、参数的增加,“思维方式”愈来愈趋向于人脑,使其在金融、制造、医疗等各领域的应用越来越广泛。

在训练过程中,大模型需要大量的计算资源来执行复杂的矩阵运算和其他计算任务。为了支持这些计算任务,需要使用高性能的计算设备。同时,还需要有效的算法和架构设计来优化模型的训练速度和效率。为提升整体算力效率和满足差异化需求,大模型一般需要万亿量级参数计算的“智算中心”。现阶段的“智算中心”通常采用云模式,通过共享、共融集结现有算力,万卡平台及配备高效网络交互机制构建大模型训练与推理平台。

可以看出,训练一个大模型代价是巨大的,且大模型落地部署的代价也极大,在工业界实际应用中不得不考虑部署的成本,模型轻量化是必不可少的。轻量化的其中一个方法是模型压缩,通过将通用大模型经过剪枝、量化和蒸馏,将大模型进行压缩得到轻量化模型,使其能够使用算力较小的设备进行训练推理,减轻应用单位的部署成本。

大模型通过不同的方法得到了有效的轻量化,还是无法阻止模型规模的增加,但是同时也刺激着各大芯片厂商在AI芯片上的研发投入,特别是受众面更广、性价比更高的AI系统化模块(SOM),其算力发展更是一年数倍级的提升。系统化模块(SOM)算力的提升,可处理大模型轻量化压缩后的小模型,有助于实现从基础大模型转向行业微调模型(通用2B),进而细化至场景结合模型(专用2B)的转换。而这些小巧的AI系统化模块是对空间、能耗、环境、安全、响应要求苛刻的边缘端设备的首选。在此过程中边缘端设备发挥着重要的作用来推动AI部署,网络边缘端比过去而言会受到更多重视,也将带来更大的市场。

研扬科技致力于为客户提供高质量、高性能的边缘端计算产品,是业界领先的边缘AI解决方案设计制造商。研扬作为英伟达Elite member of the NVIDIA Partner Network(合作伙伴网络精英成员),推出基于NVIDIA Jetson AGX Orin系统化模块(SOM)的两款紧凑型无风扇边缘盒子ARES-240AI和ARES-241AI。ARES-240AI和ARES-241AI将NVIDIA Jetson AGX Orin的超高性能与全新打造的强化耐用机壳相结合,32/64GB版本可选,提供了卓越的275 TOPS 的服务器级算力,在以往需要专业显卡支持才能运行的应用,比如自动汽车驾驶,现在凭借ARES-240AI和ARES-241AI的实时物体侦测、数据加速传输和强大的严苛环境耐受度等特性,可将整个操作移至边缘。这两款边缘盒子是重新定义自主边缘应用进行AI深度学习的理想载体。通过NVIDIA Jetson AGX Orin与其他 NVIDIA Jetson 模组、开发者套件获得同一 NVIDIA Jetson 软件栈的支持,这样您只需一次开发,即可在任意位置进行部署,从而加快产品上市速度。

NVIDIA Jetson AGX Orin

功能特点

01

ARES-240AI和ARES-241AI搭载的NVIDIA Jetson AGX Orin,拥有12核ARM v8.2 64位CPU和64 个 Tensor Core 的 2048 核 NVIDIA Ampere 架构 GPU,最高可达 275 TOPS的算力,提供了比Jetson AGX Xavier 高达8倍的AI性能。ARES-240AI和ARES-241AI还具有64GB内存,在W4A16量化中,可完美支持Llama-70B。借助NVIDIA TAO工具套件,以更小的体积在行人检测、3D姿态估计、DashCamNet、车牌识别等模型架构中提供与英伟达专业显卡T4相似甚至更高的推理性能,这将有助于机器人智能交通中对实时目标检测与多传感器的结合,同时大大增强定位和目标确认精度。

适用于严苛环境

功能特点

02

ARES-240AI和ARES-241AI坚固耐用,采用强固轻型铝合金材料外壳,传导被动散热,可在温度范围为-20°C ~ 55°C (-4°F ~ 131°F)下稳定工作,具有极端温度环境的耐受性,可以出色应对各类工业环境。此外,小巧的尺寸和轻巧的重量让其操作不受空间限制,非常适用于车载、工业AMR和自主采矿车等应用,其物体检测功能可应用于狭窄的、能见度低的工业环境,并提供智慧物流解决方案。

高度整合智能接口

功能特点

03

为了能完整发挥NVIDIA Jetson AGX Orin的强大计算能力,ARES-240AI和ARES-241AI搭载了许多可应用于垂直市场的功能。两款边缘盒子皆配备了多个USB 3.2接口,以及32/64GB LPDDR5x系统内存、64G eMMC并支持5GWi-Fi和NVMe的M.2 Key,确保外接硬件如摄影机和传感器等可进行快速的信息传输,使其成为理想的智慧零售解决方案。

ARES-240AI区别于ARES-241AI的2个GbE LAN,它具有电源与多功能性相结合的4个PoE LAN端口,可将系统部署在距离其电源更远的地方,并可以通过同一根线缆实现互联网连接和系统的远程监控,从而降低了安装的复杂性,非常适合各种工业自动化场景及自动驾驶领域。

接口展示

产品简介

01

29104a84-a6a7-11ee-9ee2-92fbcf53809c.png

功能 & 区别

产品简介

02

293147e8-a6a7-11ee-9ee2-92fbcf53809c.png

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ARES
    +关注

    关注

    0

    文章

    3

    浏览量

    9664
  • 研扬科技
    +关注

    关注

    0

    文章

    18

    浏览量

    7195
  • AIGC
    +关注

    关注

    1

    文章

    260

    浏览量

    906
收藏 人收藏

    评论

    相关推荐

    2024 TUYA全球开发者大会即将启幕,涂鸦智能开启AI碳索新时代

    。当今时代AI与IoT加速融合,共同塑造全新商业逻辑,IoT为AI供给数据源和多元场景,AI让IoT应用更智能。涂鸦以此为契机,紧扣时代
    的头像 发表于 04-26 10:00 91次阅读
    2024 TUYA全球开发者大会即将启幕,涂鸦智能<b class='flag-5'>开启</b><b class='flag-5'>AI</b>碳索<b class='flag-5'>新时代</b>

    2024 TUYA全球开发者大会即将启幕,涂鸦智能开启AI碳索新时代

    题,携手来自全球各地的开发者,共同探讨AI在千行百业的创新应用和最佳实践。 当今时代AI与IoT加速融合,共同塑造全新商业逻辑,IoT为AI供给数据源和多元场景,
    的头像 发表于 04-25 22:34 75次阅读
    2024 TUYA全球开发者大会即将启幕,涂鸦智能<b class='flag-5'>开启</b><b class='flag-5'>AI</b>碳索<b class='flag-5'>新时代</b>

    解锁AI时代的利器——讯飞AI鼠标AM30助你在AI时代脱颖

    解锁AI时代的利器——讯飞AI鼠标AM30助你在AI时代脱颖而出 随着AI
    的头像 发表于 03-25 13:37 152次阅读
    解锁<b class='flag-5'>AI</b><b class='flag-5'>时代</b>的利器——讯飞<b class='flag-5'>AI</b>鼠标AM30助你在<b class='flag-5'>AI</b><b class='flag-5'>时代</b>脱颖

    AI时代怎么样不被淘汰?讯飞AI鼠标助力你在AI时代成长

    AI时代怎么样不被淘汰?讯飞AI鼠标助力你在AI时代成长 随着人工智能的发展,AI
    的头像 发表于 03-23 11:41 395次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>时代</b>怎么样不被淘汰?讯飞<b class='flag-5'>AI</b>鼠标助力你在<b class='flag-5'>AI</b><b class='flag-5'>时代</b>成长

    华为云 Serverless 应用中心:一键开启 AI 文生图新时代,引领行业创新浪潮

    随着数字化时代的快速发展,AI 技术已成为推动行业创新的关键动力。华为云紧跟时代步伐,全新上线 Serverless 应用中心,为用户提供海量应用模板,实现一键部署函数和周边依赖资源,
    的头像 发表于 03-19 22:57 251次阅读

    荣耀引领端侧AI新时代

    在今年的MWC盛会上,荣耀宣布与高通、Meta携手,将70亿参数大模型引入端侧,这一创新举措预示着端侧AI新时代的到来。荣耀终端CEO赵明在发布会上详细介绍了荣耀魔法大模型,并通过现场演示展示了其强大的功能,包括任意门和一键成片等MagicOS 8.0中的全新
    的头像 发表于 03-01 10:28 175次阅读

    世界荣耀,做AI时代的海

    齐聚全球5大AI巨头,荣耀要做AI时代的海
    的头像 发表于 02-28 18:23 916次阅读
    世界荣耀,做<b class='flag-5'>AI</b><b class='flag-5'>时代</b>的海

    英特尔携抖音推进智能应用 开启AI PC新时代

    机遇。会上,英特尔中国客户端计算产品事业部高级产品总监徐金平分享了英特尔如何携手抖音推开AI PC新时代的大门。 为了进一步推动智能应用的发展,为用户提供更极致的应用体验,英特尔依托对技术应用趋势的深入洞察,积极推动智能技术创
    的头像 发表于 12-23 12:25 770次阅读
    英特尔携抖音推进智能应用 <b class='flag-5'>开启</b><b class='flag-5'>AI</b> PC<b class='flag-5'>新时代</b>

    2024年将开启AI PC规模出货元年,全球PC迈入AI新时代

    PC可以应用于各种场景,包括图形视觉、语义理解、智能交互等。   近年来,联想、惠普、宏碁等电脑厂商,以及英特尔、高通、联发科等CPU芯片厂商都已经在布局。近日,联想集团副总裁、中国区首席市场官王传东表示,2024年即将开启AI PC元年,
    的头像 发表于 12-02 01:14 2045次阅读

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    平台通过软硬件深度协同,较经典方案提升超 8 成性能,支持运行 170 余个主流 AI 模型,推动 RISC-V 进入高性能 AI 应用时代。 平头哥表示,他们通过更新自一站式
    发表于 08-26 14:14

    Ai 部署的临界考虑电子指南

    虽然GPU解决方案对训练,AI部署需要更多。 预计到2020年代中期,人工智能行业将增长到200亿美元,其中大部分增长是人工智能推理。英特尔Xeon可扩展处理器约占运行AI推理的处理器单元的70
    发表于 08-04 07:25

    燧原科技开启AIGC应用规模化落地时代

      2023年7月5日,燧原科技发布燧原曜图 (Enflame LumiCanvas) 文生图MaaS平台服务产品——这是燧原科技继今年3月宣布升级企业战略——全面打造AIGC时代的基础设施后推出
    的头像 发表于 07-05 10:09 529次阅读

    边缘AI应用越来越普遍,AI模型在边缘端如何部署

    电子发烧友网报道(文/李弯弯)在人工智能时代,越来越多的AI应用需要从云端扩展到边缘端,比如智能耳机、智能摄像机、智能手环、物流机器人等,在边缘端部署AI已经成为趋势。如今
    的头像 发表于 07-04 00:11 1939次阅读
    边缘<b class='flag-5'>AI</b>应用越来越普遍,<b class='flag-5'>AI</b>模型在边缘端如何<b class='flag-5'>部署</b>?

    华为李鹏:5G+AI持续创新, 拥抱数智经济新时代

    [中国,北京,2023年6月4日] 今日,在第31届中国国际信息通信展开幕论坛上,华为高级副总裁、运营商BG总裁李鹏发表《5G+AI持续创新,拥抱数智经济新时代》的演讲。他提到,在5G+AI
    的头像 发表于 06-06 10:55 396次阅读
    华为李鹏:5G+<b class='flag-5'>AI</b>持续创新, 拥抱数智经济<b class='flag-5'>新时代</b>

    AI大模型时代如何重估算力

    导语:与大模型息息相关的算力,成为了联想集团未来增收的强力引擎。   当ChatGPT吹响了生成式AI的号角,一个崭新的世界,便悄然从蕴藏了海量算力的服务器中诞生了。 在这个被称为AIGC时代
    的头像 发表于 05-31 11:17 637次阅读