跃昉科技LLM软件栈成功适配RISC-V高性能平台

2024年5月，跃昉科技正式加入“甲辰计划”，旨在与各生态伙伴合作，致力于在下一个丙辰年（2036龙年）之前，基于RISC-V架构实现从数据中心到桌面办公、从移动穿戴到智能物联网全信息产业覆盖的开放标准体系及开源系统软件栈，使RISC-V软硬件生态达到作为主流指令集架构所需的生态成熟度。

近日，跃昉科技宣布了一项重大技术突破：Transformer、Gradio等PyTorch生态核心大语言模型（LLM）软件栈，已在RISC-V高性能平台上成功完成移植及适配验证。这一里程碑式的成就标志着RISC-V架构在AI和大语言模型领域的应用上迈出了重要一步。

Transformer是一种深度学习模型框架，最早由 Vaswani 等人在 2017 年提出，专门用于处理序列数据（如自然语言、时间序列等）的任务。Transformer 通过引入自注意力机制（Self-Attention Mechanism） 来捕捉序列中不同位置之间的依赖关系，并通过并行处理大大提高了训练效率。

RISC-V计算架构以其简洁、开放、灵活、低功耗、模块化及可扩展性等特点，正逐步成为AI时代的原生计算架构。作为RISC-V架构SoC芯片设计与产业应用的开拓者，跃昉科技专注于研发基于RISC-V的高端芯片及配套软件栈核心技术，不断探索其在高性能计算领域的潜力。

在此次与开源社区的合作中，跃昉团队深入钻研，攻克了多个技术难题，确保了Transformer等LLM软件栈在RISC-V高性能平台上流畅运行，降低了LLM软件栈对特定硬件的依赖，为其带来了更加多元化的运行环境选择，提高了系统的灵活性和可扩展性。

移植案例展示

1创建LLM应用-中英文翻译的访问链接

2使用RISC-V CPU执行LLM应用-中英文翻译

3创建LLM应用-图生文的访问链接

4使用RISC-V CPU执行LLM应用-图生文

移植案例中，中英文翻译和图生文等LLM应用在RISC-V高性能平台上的顺利实施，充分展示了RISC-V在AI领域的应用潜力，进一步完善了RISC-V高性能软件栈。

未来，跃昉科技将继续携手各生态伙伴，助力RISC-V高性能软件生态建设，拓展RISC-V的高性能应用场景，共同推动RISC-V生态系统的发展，为全球用户带来更多创新高效的产品和解决方案！

广东跃昉科技有限公司聚焦研发基于RISC-V架构的SoC芯片产品及系统解决方案，并提供从操作系统到云平台的全栈基础智能软件服务，通过融合人工智能、物联网、区块链等交叉领域技术为中国数字经济的创新应用赋能。

跃昉科技作为RISC-V架构SOC芯片设计及产业应用的开拓者，已推出系列基于RISC-V架构的高性能SOC芯片及产品，覆盖AIoT边端物联、控制和计算等应用领域，集高效能计算资源、丰富工业接口、稳定可靠品质等特性于一体。依托于全栈技术能力，跃昉科技正持续深耕于智慧能源、智慧物流、智慧城市、智慧工厂等领域，旨在为客户带来专业化、高品质的产品和服务。