AI推理框架软件ONNX Runtime正式支持龙架构
近日，知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。今后，用户可以直接使用ONNX Runtime开源社区发布的版本在龙芯平台完成AI推理类应用的开发和部署，标志着龙架构软件生态得到进一步完善。
ONNX Runtime（ORT）是近年来兴起的AI推理框架软件，被大量AI应用作为基础AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多种格式的模型输入，以及CPU、GPU、IoT、NPU、FPGA等多样化算力后端。
在ONNX Runtime 社区1.17.0版本的研制过程中，龙芯中科技术团队与社区保持紧密合作，期间向ONNX Runtime社区代码仓库提交了7697行代码，对矩阵乘法、卷积、转置等核心算子进行深度向量优化。在社区支持下，龙架构优化代码通过了检视、测试验证等质量保证流程，ONNX Runtime社区自1.17.0版本起正式实现对龙架构的原生支持。
未来，龙芯中科将继续与AI领域的国际开源软件社区携手合作，助力AI领域的生态发展和技术创新，为用户带来更优产品，实现更大价值。
审核编辑：刘清
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
FPGA
+关注
关注
1655文章
22283浏览量
630183 -
龙芯中科
+关注
关注
0文章
353浏览量
8429 -
NPU
+关注
关注
2文章
358浏览量
20830
原文标题：AI推理框架软件ONNX Runtime正式支持龙架构
文章出处：【微信号：gh_53fadbdbd4d4，微信公众号：龙芯中科】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
热点推荐
AI推理的存储，看好SRAM？
电子发烧友网报道（文/黄晶晶）近几年，生成式AI引领行业变革，AI训练率先崛起，带动高带宽内存HBM一飞冲天。但我们知道AI推理的广泛应用才能推动A
Alif Semiconductor的Ensemble MCU新增对ExecuTorch Runtime的支持，助力其推动边缘生成式AI发展
· Ensemble E4/E6/E8是业界首个为Transformer网络提供硬件加速的MCU系列，可在边缘设备及终端设备上实现本地生成式AI推理 · Alif与Arm合作，在PyTorch大会上
NVIDIA TensorRT LLM 1.0推理框架正式上线
TensorRT LLM 作为 NVIDIA 为大规模 LLM 推理打造的推理框架，核心目标是突破 NVIDIA 平台上的推理性能瓶颈。为实现这一目标，其构建了多维度的核心实现路径：一
onnx模型转换rknn模型出现问题
the inputs/outputs or the model.
我并没有找到解决方案,我尝试了直接使用onnxruntime进行onnx推理，可以完成，但是为什么onnx转换为rknn时会报错。这些事一些相关
发表于 08-11 11:25
请问如何在RK3588上使用npu，用onnx模型来推理
请问如何在瑞芯微 RK3588上使用npu，用onnx模型来推理。官网上介绍说要把ONNX模型转换成RKNN模型。但是我并不想这么干，请问有什么办法吗？
发表于 08-09 00:51
信而泰×DeepSeek：AI推理引擎驱动网络智能诊断迈向 “自愈”时代
DeepSeek-R1：强大的AI推理引擎底座DeepSeek是由杭州深度求索人工智能基础技术研究有限公司开发的新一代AI大模型。其核心优势在于强大的推理引擎能力，融合了自然语言处理（
发表于 07-16 15:29
Nordic收购 Neuton.AI 关于产品技术的分析
Nordic Semiconductor 于 2025 年收购了 Neuton.AI，这是一家专注于超小型机器学习（TinyML）解决方案的公司。
Neuton 开发了一种独特的神经网络框架，能够
发表于 06-28 14:18
润和软件StackRUNS异构分布式推理框架的应用案例
江苏润和软件股份有限公司（以下简称“润和软件”）自主研发的StackRUNS异构分布式推理框架已在实际场景中取得显著成效，成功应用于大型园区多模态模型演练及高校满血版DeepSeek-
润和软件发布StackRUNS异构分布式推理框架
当下，AI模型规模持续膨胀、多模态应用场景日益复杂，企业正面临异构算力资源碎片化带来的严峻挑战。为应对行业痛点，江苏润和软件股份有限公司（以下简称“润和软件”）正式发布自主研发的StackRUNS异构分布式
【米尔MYC-YM90X安路飞龙DR1开发板】安路科技 SALDRAGON开发板介绍
基于Buildroot或Yocto的定制化Linux系统，支持Cortex-A35双核的OpenMP/OpenCL多线程编程，优化NPU的TensorFlow Lite/ONNX Runtime
发表于 04-28 17:57
首创开源架构，天玑AI开发套件让端侧AI模型接入得心应手
，联发科带来了全面升级的天玑AI开发套件2.0，在模型库规模、架构开放程度、前沿端侧AI技术支持和端侧LoRA训练落地等方面均迎来全面跃迁，为开发者提供了更全面、更开放、更强大的端侧
发表于 04-13 19:52
边缘AI新突破：MemryX AI加速卡与RK3588打造高效多路物体检测方案
资源及对主流深度学习框架 (如 TensorFlow、PyTorch、ONNX) 的支持，即便是新手也能快速上手，轻松部署 AI 模型，实现智能应用开发。
无法在GPU上运行ONNX模型的Benchmark_app怎么解决？
在 CPU 和 GPU 上运行OpenVINO™ 2023.0 Benchmark_app推断的 ONNX 模型。
在 CPU 上推理成功，但在 GPU 上失败。
发表于 03-06 08:02
《AI Agent 应用与项目实战》第1-2章阅读心得——理解Agent框架与Coze平台的应用
Operator 和 Deep Research 代表的第三层 Agent。
我对AI Agent的发展前景和未来应用落地都持有非常乐观的看法。
谈回到本书，书中对Agent框架的阐述打破了我之前对其认识
发表于 02-19 16:35
迅龙软件受邀参加华为昇思人工智能框架峰会，展示昇思X香橙派的创新AI案例
产业界、学术界力量，共建人工智能框架开源生态，共探人工智能框架新未来。作为华为昇腾APN伙伴，迅龙软件受邀参加此届大会，并携旗下基于昇腾AI
工商网监
评论