AI推理框架软件ONNX Runtime正式支持龙架构
近日，知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。今后，用户可以直接使用ONNX Runtime开源社区发布的版本在龙芯平台完成AI推理类应用的开发和部署，标志着龙架构软件生态得到进一步完善。
ONNX Runtime（ORT）是近年来兴起的AI推理框架软件，被大量AI应用作为基础AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多种格式的模型输入，以及CPU、GPU、IoT、NPU、FPGA等多样化算力后端。
在ONNX Runtime 社区1.17.0版本的研制过程中，龙芯中科技术团队与社区保持紧密合作，期间向ONNX Runtime社区代码仓库提交了7697行代码，对矩阵乘法、卷积、转置等核心算子进行深度向量优化。在社区支持下，龙架构优化代码通过了检视、测试验证等质量保证流程，ONNX Runtime社区自1.17.0版本起正式实现对龙架构的原生支持。
未来，龙芯中科将继续与AI领域的国际开源软件社区携手合作，助力AI领域的生态发展和技术创新，为用户带来更优产品，实现更大价值。
审核编辑：刘清
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
FPGA
+关注
关注
1664文章
22537浏览量
640177 -
龙芯中科
+关注
关注
0文章
384浏览量
8628 -
NPU
+关注
关注
2文章
390浏览量
21411
原文标题：AI推理框架软件ONNX Runtime正式支持龙架构
文章出处：【微信号：gh_53fadbdbd4d4，微信公众号：龙芯中科】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
热点推荐
直播预告｜玄铁 x Canonical：从本地推理到 AI 工厂，基于 RISC-V 的 AI 基础设施创新路径探讨
大模型浪潮下，AI 算力正向“本地推理”与“AI 工厂”两极延伸，而传统架构在低延迟与规模化之间往往顾此失彼。RISC-V 的可定制特性，提供了一条新路径——端侧精简高效，云侧通过众核
发表于 05-15 12:15
黑马-Java+AI新版V16零基础就业班百度云网盘下载+Java+AI全栈开发工程师
逼近这一水平。目前生产级验证充分的三条技术线：一是 ONNX Runtime Java 绑定 ，支持加载主流框架导出的 ONNX 模型，利用
发表于 05-01 11:29
[完结15章]Java转 AI高薪领域必备-从0到1打通生产级AI Agent开发
编写的推理引擎（如TensorRT、ONNX Runtime）进行无缝对接。将训练好的模型封装为标准的Java微服务，利用JVM的内存管理与线程池技术，去承载企业级高吞吐的AI
发表于 04-30 13:46
乐鑫信息推出ESP-Claw AI智能体框架，物联网进入“聊天造物”时代
乐鑫信息科技正式推出ESP-Claw AI智能体框架，该框架以Chat Coding（聊天造物）为核心，突破传统物联网开发边界。通过将Agent Runtime下沉至边缘芯片，ESP-
【瑞萨AI挑战赛】手写数字识别模型在RA8P1 Titan Board上的部署
+NPU架构，既能够通过Cortex-M85完成主程序逻辑控制，又能依托Ethos-U55 NPU专门处理神经网络推理计算，实现了算力的合理分配，非常适合手写数字识别这类低功耗、实时性要求适中的嵌入式AI
发表于 03-15 20:42
OrangePi RV2 深度技术评测：RISC-V AI融合架构的先行者
2 TOPS 融合算力 ：在端侧轻量模型（如MobileNet、DeepSeek-R1蒸馏版）上可流畅运行
框架支持 ：官方宣称兼容主流AI生态（TensorFlow Lite、ONNX
发表于 03-03 20:19
算力积木+3D堆叠！GPNPU架构创新，应对AI推理需求
落地的关键瓶颈。在此背景下，云天励飞推出其第五代芯片架构——GPNPU（General-Purpose Neural Processing Unit，通用神经网络处理单元），以一场底层架构的革命，试图重塑AI算力格局，推动大模型
Alif Semiconductor的Ensemble MCU新增对ExecuTorch Runtime的支持，助力其推动边缘生成式AI发展
· Ensemble E4/E6/E8是业界首个为Transformer网络提供硬件加速的MCU系列，可在边缘设备及终端设备上实现本地生成式AI推理 · Alif与Arm合作，在PyTorch大会上
NVIDIA TensorRT LLM 1.0推理框架正式上线
TensorRT LLM 作为 NVIDIA 为大规模 LLM 推理打造的推理框架，核心目标是突破 NVIDIA 平台上的推理性能瓶颈。为实现这一目标，其构建了多维度的核心实现路径：一
onnx模型转换rknn模型出现问题
the inputs/outputs or the model.
我并没有找到解决方案,我尝试了直接使用onnxruntime进行onnx推理，可以完成，但是为什么onnx转换为rknn时会报错。这些事一些相关
发表于 08-11 11:25
请问如何在RK3588上使用npu，用onnx模型来推理
请问如何在瑞芯微 RK3588上使用npu，用onnx模型来推理。官网上介绍说要把ONNX模型转换成RKNN模型。但是我并不想这么干，请问有什么办法吗？
发表于 08-09 00:51
信而泰×DeepSeek：AI推理引擎驱动网络智能诊断迈向 “自愈”时代
DeepSeek-R1：强大的AI推理引擎底座DeepSeek是由杭州深度求索人工智能基础技术研究有限公司开发的新一代AI大模型。其核心优势在于强大的推理引擎能力，融合了自然语言处理（
发表于 07-16 15:29
Nordic收购 Neuton.AI 关于产品技术的分析
Nordic Semiconductor 于 2025 年收购了 Neuton.AI，这是一家专注于超小型机器学习（TinyML）解决方案的公司。
Neuton 开发了一种独特的神经网络框架，能够
发表于 06-28 14:18
润和软件StackRUNS异构分布式推理框架的应用案例
江苏润和软件股份有限公司（以下简称“润和软件”）自主研发的StackRUNS异构分布式推理框架已在实际场景中取得显著成效，成功应用于大型园区多模态模型演练及高校满血版DeepSeek-
润和软件发布StackRUNS异构分布式推理框架
当下，AI模型规模持续膨胀、多模态应用场景日益复杂，企业正面临异构算力资源碎片化带来的严峻挑战。为应对行业痛点，江苏润和软件股份有限公司（以下简称“润和软件”）正式发布自主研发的StackRUNS异构分布式
评论