Kinara发布Ara-2边缘AI处理器，实现高效、经济、节能的推理性能

Kinar于近期发布了Ara-2边缘AI处理器，这是一款专为边缘服务器及笔记本电脑打造的高性能、高效能且节能推理解决方案，尤其适用于视频分析、大规模语言模型（LLM）在内的各类AI应用。值得注意的是，Ara-2也能够良好适应传统AI模型和基于Transformer架构的尖端AI模型，其所具备的体验式增强功能集使得Ara-2的性能较初代的Ara-1处理器有显著提升，可达成超过5至8倍的增长，将实时响应能力与大吞吐量相结合，从而达致高度精炼的延迟优化设计和均衡性能。

生成式AI现已成为主流，然而大多数此类应用却在数据中心的GPU上运行，由此引发的延迟、高成本以及隐私问题亟待解决。Ara-2顺应时代变化，贴心支持生成式AI模型所需引导的数十亿个参数，为跨境转移提供便利。同时，为了更顺畅地完成从GPU至各个AI模型的过度，其内建的计算引擎以及软件开发套件（SDK）均为此进行定制搭建。

“Ara-2的诞生使得我们有能力根据客户需求提供更高性能和成本选择。如Ara-1，其专为智能相机及具有2至8路视频流的边缘AI设备而生；而Ara-2则特别擅长处理针对16至32路甚至更多视频流的底层边缘服务器或笔记本电脑，且与高端相机完美兼容。” Kinara首席执行官Ravi Annavajjhala对此表示。“借助先进的计算引擎，Ara-2能够快速处理高清图像，有效提升精度，实现更高水平的对象检视、识别及追踪。例如，针对生成式AI模型，Stable Diffusion每10秒即可生成一幅图片，LLaMA-7B则可达到每秒几十个token的处理速率。”

据悉，Ampere将在10月份容忍Kinar加入其人工智能平台联盟，共同致力于降低系统复杂度，推动人工智能进一步提升协同工作能力和开放性，目标在于提供比GPU更优的总体性能，同时兼顾吞吐量、功率和成本效益。该团队的首席布道师Sean Varley认为：“ ARA-2展现的性能和功能集让我坚定朝这个方向发展，助力行业推出性能更优且与现有GPU技术相匹敌的AI替代方案。”

除此之外，Ara-2还秉持着安全启动、加密内存访问以及安全主控接口等特性，确保企业AI部署拥有更高的安全性。Kinar亦为之提供全套的SDK支持，囊括模型编译器、计算单元调度程序、灵活的量化选项（含内置的Kinar量化器）以及对PyTorch和TFLite预量化模型的支持、多芯片负荷均衡器系统与动态调节主控运行等诸多要素。

Ara-2提供独立设备、USB模块、M.2模块以及多个Ara-2组成的PCIe卡等丰富形式供消费者选择。 Kinara计划在CES上现场展示这款备受瞩目的Ara-2产品。