支持大模型部署和运行的边缘计算SoC芯片

电子发烧友网报道（文/李弯弯）如今，AI在边缘侧的应用越来越广泛，这其中少不了AI SoC芯片的支持，边缘计算AI SoC是一种集成了人工智能（AI）和边缘计算能力的系统级芯片。这种芯片结合了高性能的处理器核心、AI加速器、内存控制器、外设接口以及通信接口等关键组件，旨在在数据产生的源头附近（即边缘）实现实时的数据处理、分析和决策。

边缘计算SoC的发展历程

SoC的发展经历了多个阶段，早期阶段（1970年代至1980年代），微处理器技术开始兴起，英特尔（Intel）推出了第一款微处理器Intel 4004，这通常被认为是SoC技术的起点。随着制造工艺的改进，设计师开始将更复杂的元素（如中央处理器CPU、内存和输入/输出I/O电路）集成到单个芯片上，创建更先进的应用特定集成电路（ASIC）。

进一步发展阶段（1990年代至2000年代）：随着半导体工艺技术的进一步发展，将整个系统（包括模拟和数字功能）集成到单个芯片上成为可能。这为边缘计算提供了更强大的硬件支持，因为边缘设备需要具备一定的数据处理和计算能力。在这个时期，SoC的设计变得更加复杂，集成了更多的功能和组件，如图形处理器（GPU）、数字信号处理器（DSP）等。

定制化SoC的发展（2010年代）：随着物联网（IoT）应用、可穿戴设备以及边缘计算设备的需求不断增加，制造商开始针对特定用例调整SoC设计，整合人工智能（AI）和机器学习（ML）功能。这推动了定制化SoC的发展，使其能够更好地满足特定应用的需求，提高性能和效率。

AI与SoC的深度融合（2020年代及以后）：随着进入AI、5G连接和边缘计算时代，SoC继续演变以适应不断增长的复杂性和处理要求。AI技术成为SoC架构的重要组成部分，为边缘设备提供了更强大的智能处理能力。例如，通过集成AI加速器、神经网络处理器（NPU）等专用硬件，SoC可以加速AI算法的执行，提高处理速度和效率。

如今，边缘计算AI SoC的应用涵盖多个领域和行业。如智能制造，在通过安装集成了AI SoC的边缘计算设备，可以实时监测生产设备的运行状态、产品质量等信息。这些设备能够实时分析数据，预测设备故障，优化生产流程，提高生产效率和产品质量。

再如智慧城市，在智能交通系统中，边缘计算AI SoC可以实时分析交通流量、车辆行驶轨迹等数据，优化交通信号灯的控制策略，缓解交通拥堵。在智能安防领域，通过在城市各个角落部署边缘计算设备，可以实时监测城市的安全状况，进行人脸识别、行为分析等操作，提高城市的公共安全水平。

还有医疗领域，在医院中，边缘计算AI SoC可以实时监测患者的生理数据，如心率、血压、血糖等。通过对这些数据的实时分析，医生可以及时了解患者的健康状况，为患者提供更加准确的诊断和治疗方案。在远程医疗领域，边缘计算AI SoC可以实现远程会诊、远程手术等功能。医生可以通过远程访问患者的医疗数据，进行远程诊断和治疗，提高医疗服务的效率和可及性。

边缘AI SoC支持大模型

随着大模型的发展，其在边端侧的部署应用成为趋势，如今也有不少企业推出边缘SoC芯片支持大模型的运行。如边缘AI半导体公司安霸（Ambarella），日前在美国 AutoSens 展会宣布推出两款用于车载车队远程信息处理系统的最新一代 AI 系统集成芯片（SoC）。

新款 CV75AX 非常适合集成前置 ADAS 和驾驶员监控系统（DMS）的 AI 行车记录仪，与安霸上一代SoC相比，其 AI 性能提高了 2 倍，使最新的Transformer神经网络能够提高准确性并减少误报，而无需针对每个对象进行训练。

新款CV72AX 非常适合下一代车载网关，支持多达10个摄像头，其AI性能比其前代产品高出6倍，支持视觉Transformer和多模态视觉语言模型（VLM ) ，可提供实时监测预警，以及多通道视频预分类和自然语言搜索，以实现更高效的视频分析。

安霸此前就宣布推出了基于 CV72 芯片的多模态大模型推理解决方案——Cooper Mini。这一解决方案是为边缘计算环境量身定制的，特别适用于需要在设备上直接进行高级数据处理的应用。安霸在2024年CES期间推出了基于N1的多模态大模型解决方案 Cooper Max，通过单颗N1芯片支持高达340亿参数的多模态大模型推理。新推出的基于CV72 的Cooper Mini，则可实现低功耗系统单芯片高达30亿参数的多模态大模型推理。

还有AMD此前推出的第二代Versal自适应SoC，其中的Versal AI Edge系列特别针对AI驱动型嵌入式系统进行了设计。这款SOC每瓦TOPS（每秒万亿次操作/瓦特）最多提升3倍，标量算力最多提升10倍，使其能够更有效地支持大模型的部署和运行。

国内的云天励飞也有一款边缘计算芯片DeepEdge10，这是一款国产Chiplet大模型推理芯片，内置自研新一代神经网络处理器NNP400T，通过D2D高速互联Chiplet技术、C2CMesh互联架构实现算力扩展，能够支持千亿级参数大模型，落地于边缘设备和边缘服务器。

还有北京奕斯伟推出的一款边缘计算SoC芯片EIC7700X，采用64位RISC-V高性能处理器，并搭配自主研发的高效神经网络计算单元，支持全栈浮点计算，全面加速生成式大模型。它拥有丰富的外围扩展接口，并具备强大的音视频处理能力，在计算机视觉应用领域具有超高的适应能力。

写在最后

总之，边缘计算AI SOC在当前的计算领域具有显著的优势，包括效率高、功耗低、安全性高、实时分析、分布式处理等，凭借着诸多优势，边缘计算SOC已经在各个领域得到应用。同时，也有不少边缘SOC能够支持大模型的运行。不过边缘计算SOC也仍然尤其局限性，如定制化成本高、技术更新迅速、数据隐私和安全挑战等，需要持续去突破。