Kinar于近期发布了Ara-2边缘AI处理器,这是一款专为边缘服务器及笔记本电脑打造的高性能、高效能且节能推理解决方案,尤其适用于视频分析、大规模语言模型(LLM)在内的各类AI应用。值得注意的是,Ara-2也能够良好适应传统AI模型和基于Transformer架构的尖端AI模型,其所具备的体验式增强功能集使得Ara-2的性能较初代的Ara-1处理器有显著提升,可达成超过5至8倍的增长,将实时响应能力与大吞吐量相结合,从而达致高度精炼的延迟优化设计和均衡性能。
生成式AI现已成为主流,然而大多数此类应用却在数据中心的GPU上运行,由此引发的延迟、高成本以及隐私问题亟待解决。Ara-2顺应时代变化,贴心支持生成式AI模型所需引导的数十亿个参数,为跨境转移提供便利。同时,为了更顺畅地完成从GPU至各个AI模型的过度,其内建的计算引擎以及软件开发套件(SDK)均为此进行定制搭建。
“Ara-2的诞生使得我们有能力根据客户需求提供更高性能和成本选择。如Ara-1,其专为智能相机及具有2至8路视频流的边缘AI设备而生;而Ara-2则特别擅长处理针对16至32路甚至更多视频流的底层边缘服务器或笔记本电脑,且与高端相机完美兼容。” Kinara首席执行官Ravi Annavajjhala对此表示。“借助先进的计算引擎,Ara-2能够快速处理高清图像,有效提升精度,实现更高水平的对象检视、识别及追踪。例如,针对生成式AI模型,Stable Diffusion每10秒即可生成一幅图片,LLaMA-7B则可达到每秒几十个token的处理速率。”
据悉,Ampere将在10月份容忍Kinar加入其人工智能平台联盟,共同致力于降低系统复杂度,推动人工智能进一步提升协同工作能力和开放性,目标在于提供比GPU更优的总体性能,同时兼顾吞吐量、功率和成本效益。该团队的首席布道师Sean Varley认为:“ ARA-2展现的性能和功能集让我坚定朝这个方向发展,助力行业推出性能更优且与现有GPU技术相匹敌的AI替代方案。”
除此之外,Ara-2还秉持着安全启动、加密内存访问以及安全主控接口等特性,确保企业AI部署拥有更高的安全性。Kinar亦为之提供全套的SDK支持,囊括模型编译器、计算单元调度程序、灵活的量化选项(含内置的Kinar量化器)以及对PyTorch和TFLite预量化模型的支持、多芯片负荷均衡器系统与动态调节主控运行等诸多要素。
Ara-2提供独立设备、USB模块、M.2模块以及多个Ara-2组成的PCIe卡等丰富形式供消费者选择。 Kinara计划在CES上现场展示这款备受瞩目的Ara-2产品。
-
gpu
+关注
关注
28文章
4658浏览量
128522 -
数据中心
+关注
关注
16文章
4608浏览量
71855 -
生成式AI
+关注
关注
0文章
476浏览量
443
发布评论请先 登录
相关推荐
评论