Neuchips展示大模型推理ASIC芯片

领先的AI专用集成电路（ASIC）解决方案提供商Neuchips在CES 2024上展示了其革命性的Raptor Gen AI加速芯片（以前称为N3000）和Evo PCIe加速卡LLM解决方案。新的芯片解决方案Raptor使企业能够以现有解决方案的一小部分成本部署大型语言模型（LLM）推理。

NeuchipsCEO Ken Lau表示：“我们很高兴在CES 2024上向业界展示我们的Raptor芯片和Evo卡。Neuchips的解决方案代表了自然语言处理在性价比上的巨大飞跃。有了Neuchips，任何组织都可以在广泛的AI应用中从LLM中获得力量。”

LLM民主化

Raptor和Evo共同提供了一个优化的堆栈，使企业可以轻松访问市场领先的LLM。与现有解决方案相比，Neuchips的AI解决方案显著降低了硬件成本。高能效也最大限度地减少了用电量，进一步降低了总拥有成本。

在CES 2024上，Neuchips展示了Raptor和Evo，在个人AI助理应用程序上加速Whisper和LlamaAI聊天机器人。该解决方案突出了LLM推理对实际业务需求的强大功能。

其他技术会议将展示Raptor和Evo如何削减语音到文本应用程序的部署成本。

Raptor GenAI加速器为突破LLM性能提供动力

Raptor每个芯片的运算速度高达每秒200TOPS。它在AI推理操作（如矩阵乘法、向量和嵌入表查找）方面的出色性能适用于Gen-AI和基于变压器的AI模型。这一突破性的吞吐量是通过Neuchips为神经网络量身定制的专利压缩和效率优化来实现的。

Evo第5代PCIe卡为加速和低功耗设定新标准

与Raptor互补的是Neuchips的超低功耗Evo加速卡。Evo结合了8通道PCIe Gen 5和32GB LPDDR5，实现64 GB/s主机I/O带宽和1.6 Tbps每秒的内存带宽，每卡仅55瓦。

正如DLRM所展示的那样，Evo还具有100%的可扩展性，允许客户通过添加更多芯片来线性提高性能。这种模块化设计确保了对未来AI工作负载的投资保护。

该公司2024年下半年推出了HHHL(half-height half-length)外形产品Viper，提供更大的部署灵活性。新系列在紧凑的设计中带来了数据中心级的AI加速。

原文链接：

https://www.techpowerup.com/317298/neuchips-to-showcase-industry-leading-gen-ai-inferencing-accelerators-at-ces-2024