解锁RISC-V技术力量丨曹英杰：RISC-V与大模型探索

4月12日，第二期“大家来谈芯|解锁RISC-V技术力量”在上海临港新片区顶科永久会址举办，本期沙龙聚焦RISC-V技术，围绕AI时代的RISC-V市场机会、RISC-V在汽车领域的应用进展与EDA助力RISC-V开发等话题，多位业内嘉宾发表了主旨演讲。

会上，时擎科技高级技术总监曹英杰以“RISC-V与大模型探索”为题，将大模型作为切入点，探讨了RISC-V在大模型应用中的可能。

时擎科技高级技术总监 曹英杰

时擎科技是国内最早投入RISC-V处理器研发的团队之一，18年初就启动了RISC-V处理器内核的自研，也一直积极参与RISC-V相关的生态建设，是RISC-V国际基金会成员，也是中国RISC-V产业联盟的副理事长单位。

曹英杰表示，大模型已经跨过AIGC的“iPhone”时刻，其轻量化分支已经出现，而端侧部署将成为新的趋势，这就给RISC-V带来了机会。

四个原因驱使企业愿意在RISC-V在大模型硬件应用上投入资源。从市场空间来看，AIGC的爆发不可阻挡，市场空间巨大，哪怕只“分一杯羹”，都足以支持重新开发基于RISC-V内核的大模型硬件；

从技术走势来看，大模型推理正在下沉到端侧，Nvidia在端侧的统治力并不强大，而RISC-V的特点也更适合端侧；

从市场格局来看，Nvidia在大模型硬件上形成了实施垄断，天下苦Nvidia久矣，各大厂和创业公司都在推出基于RISC-V技术的自研AI芯片；

从国家支持来看，在GPU被断供的背景下，拥有大量社区资源、生态逐步成型的RISC-V是进行替代的最优解。

曹英杰举了两个例子，一个是前面提到过的Meta的MTIA，另一个是Tenstorrent的方案，由Tensix Core组成PE阵列，目标是将数据中心变成一个全联通的PE计算资源池，跨PE、跨芯片、跨板卡计算对用户透明，提高大模型SIMD/MIMD场景下的资源利用。

时擎科技基于RISC-V的处理器系列有三类，即TM主控处理器、TD系列DSP/向量处理器，以及TimesFormer DSA智能处理器。针对大模型加速的方案，主要是其TimesFormer DSA智能处理器方案。

TimesFormer是时擎科技自主设计的可适应未来3到5年端侧智能计算需求的DSA计算架构，具有高能效比、高性价比、可伸缩、可扩展等特点，还容易上手。

目前，时擎科技可以提供AI算法、部署工具和处理器三位一体的方案，TimesFormer高度灵活可扩展的架构，能快速升级支持大模型。预计2024年三季度发布的TF3.0，将提供针对注意力机制优化的新PE，针对大模型升级数据流控制器及配套工具链/软件栈，增加Packet Engine, 可以作大模型AI芯片中的PE计算节点。