大模型与生成式AI，RISC-V也想分一杯羹

电子发烧友网报道（文/周凯扬）要说跟上AI时代的进程，RISC-V相对其他架构来说也一点不慢。从各个初创公司的产品或者路线图也可以看出，AI计算是他们最为重视的一环，甚至重要性要超过通用计算。毕竟这是RISC-V可以后发制人的一大领域，甚至不会有太多架构设计上的历史桎梏。为此，不少厂商也都从AI出发，设计出了定位不一的RISC-V产品。

高性能AI计算

Esperanto作为为数不多的几家冲击高性能AI计算的公司，如今也开始察觉到了AI市场的风向变动，于是决定将重心从过去的推荐加速改为大语言模型和HPC。Esperanto走进大众视野的方式相当特别，他们的第一款产品就是千核RISC-V芯片ET-SOC-1。

ET-SOC-1基于台积电7nm工艺打造，集成了1088个64位ET-Minion RISC-V核心和4个ET-Maxion核心，提供了超高的单线程性能。虽说ET-SOC-1对ML进行了优化，是一个理想的推理芯片选择，但Esperanto为其打造的软件栈主要还是以推荐场景打造。直到他们近期推出了新的AI软件开发工具包，并专门针对LLM进行了优化，并展示了运行300亿参数的OPT模型。

据Esperanto表示，目前他们的生成式AI应用已经可以运行最新的LLM和图片生成模型，比如LLaMA2、Vicuma和Stable Diffusion等等。不过在千变万化的AI市场下，单个模型往往难以维持长时间的热度，所以Esperanto的计划是持续跟进最流行的开源模型。

IP厂商也不例外，除了SiFive、平头哥、Tenstorrent等已经推出高性能AI IP或对现有产品线进行AI升级的公司外，Semidynamics也发布了最新完全可定制的矢量单元，用于配合其Atrevido CPU核心。该矢量单元有多个矢量内核构成，每个内核都有算数单元，可以执行加减、乘加等数字与逻辑运算。

这个矢量单元的最大特色在于全定制性，与其他厂商只有部分配置选项不同，为了应对未来各种AI模型的精度要求，Semidynamics的矢量单元在定制化后，可以支持FP64、FP32、FP16、BF16、INT64、INT32、INT16或INT8的数据类型。

尽管ASIC、GPU和FPGA常被视为最合适进行AI计算的三大硬件，但在如今的市场环境下，无论是服务器还是消费终端，CPU也都需要一些可观的AI计算特性。所以开源社区推出了LLaMA.cpp这一模型，该模型是基于Meta的LLaMA模型打造而成，无需PyTorch等库的外部依赖，仅靠C/C++编译即可生成执行文件，且无需GPU，只靠CPU就可以运行。

旷视科技参考并借鉴了LLaMA.cpp项目，推出了InferLLM这一轻量级的LLM模型推理管家，且除了常见的Arm、x86和CUDA外，他们也针对RISCV-Vector做了专门的优化，目前已经可以部署在群芯闪耀科技发布的Milk-V Pioneer RISC-V主板上，而该主板用到的64位CPU正是算能科技的算丰SG2042。

算丰SG2042采用了单芯片64个RISC-V内核的设计，支持双路CPU互联、4通道DDR4和32通道PCIe 4.0，典型功耗为120W，可以说是典型的服务器芯片设计。但很明显，即便是高性能CPU，在一些非重型AI负载下，也能有可观的表现。

低功耗的边缘端

尽管云端的生成式AI已经变得越来越普及，企业在花了大成本购置硬件资源后也能在本地运行更多的AI计算负载降低效率提高安全性。但对于消费者而言，似乎真正部署在端侧的生成式AI才更加值得关注，在实用性上也刚强一些，而且不只是手机这种使用高端芯片的产品，不少IoT产品也在规划着如何接入生成式AI，因此大算力的边缘AI芯片就成了首选。

云天励飞作为国内首批闯入AI赛道的厂商，此前一直在主攻AI算法领域，但单靠算法的泛化能力相对较弱，于是云天励飞也就开始加入芯片设计赛道，比如2018年推出的DeepEye 1000等。

而在今年举办的第三届滴水湖中国RISC-V论坛上，云天励飞展示了去年成功流片，如今已经接近量产的边缘AP级SoC Deep Edge10V。从芯片结构上看，Edge10V采用了Chiplet设计，满足国产Chiplet UCIE标准。CPU部分采用了1.2GHz的双核C920，还集成了一个500MHz的NNP400T NPU，算力高达12TOPS@INT8。在视频处理能力上，Edge10V也配备了支持H265/H264视频编解码的多媒体子系统。

另外值得一提的是，Edge10V仅仅是Edge10系列中的一环，由于Chiplet设计支持多die扩展，所以也可以在Edge10Max这一产品上实现高达64Tops的算力。云天励飞芯片BD总监张福林表示，Edge10V主要应用于边缘计算，而Edge10Max则应用于边缘CV大模型，比如Pytorch、Caffe、Tensorflow等框架下的模型。从应用上来看，Edge10V的主要应用场景还是云天励飞擅长的机器视觉领域，比如机器人、智能安防之类的边缘端。

本届滴水湖论坛上，普林芯驰也展示了他们的智能离线语音交互MCU SPV20系列芯片。该系列的特色在于，除了基于SiFive E21RISC-V核心打造的CPU外，还有基于CEVA TL420核心的DSP与集成普林芯驰自有算法的NPU。该NPU支持CNN、DS-CNN等深度压缩语音识别模型，可用于家电的智能语音控制。

嘉楠科技的第二代AI推理芯片，勘智K510，同样是针对边缘侧AI开发的产品。这一芯片采用了双核RISC-V 64位CPU，主频最高达到800MHz。勘智K510支持INT8和BF16双数据类型，且具备2.5TFLOPS的算力，还支持Tensorflow、Pytorch和ONNX等多种框架的算子库。

用生成式AI设计RISC-V芯片

随着生成式AI在代码生成上日益精进的表现，如今利用生成式AI来设计芯片也成了可能。近日，开源硬件平台Efabless就举办了一届生成式开源芯片设计挑战赛，其中清华RIOS Lab团队的RISC-V芯片，CyberRio获得了亚军。

据其Github页面所示，该芯片的大部分Verilog代码都是使用GPT-4生成的，从而基于一个经典的5级流水线设计出了CyberRio。CyberRio也在Skywater提供的130nm的工艺平台上得到了流片验证，这也意味着全球第一个由LLM完成主要涉及的CPU被成功制造出来。

不过开放团队也表示，GPT-4对硬件语言的理解并不算完整，无论是对设计语言本身的理解，还是对握手或并行处理等设计概念。这很可能是GPT-4训练过程本身的缺陷，不过开发团队也提出了Langchain之类的替代方案或许可以解决GPT-4信息缺失造成的问题。

写在最后

尽管RISC-V社区针对AI计算的开发热情空前高涨，但同样需要来自架构上的各种支持，比如矢量、虚拟化扩展等也需要不断地优化，给到开发者一个优秀的通用方案，而不仅仅只有各大厂商独立开发的AI技术栈。与此同时，RISC-V硬件厂商应该吸引更多的软件框架开发者为RISC-V做一定的适配或移植工作，这样也能让已经成熟的生成式AI社区尽快融入RISC-V生态。