AI推理框架软件ONNX Runtime正式支持龙架构
近日，知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。今后，用户可以直接使用ONNX Runtime开源社区发布的版本在龙芯平台完成AI推理类应用的开发和部署，标志着龙架构软件生态得到进一步完善。
ONNX Runtime（ORT）是近年来兴起的AI推理框架软件，被大量AI应用作为基础AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多种格式的模型输入，以及CPU、GPU、IoT、NPU、FPGA等多样化算力后端。
在ONNX Runtime 社区1.17.0版本的研制过程中，龙芯中科技术团队与社区保持紧密合作，期间向ONNX Runtime社区代码仓库提交了7697行代码，对矩阵乘法、卷积、转置等核心算子进行深度向量优化。在社区支持下，龙架构优化代码通过了检视、测试验证等质量保证流程，ONNX Runtime社区自1.17.0版本起正式实现对龙架构的原生支持。
未来，龙芯中科将继续与AI领域的国际开源软件社区携手合作，助力AI领域的生态发展和技术创新，为用户带来更优产品，实现更大价值。
审核编辑：刘清
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
FPGA
+关注
关注
1602文章
21324浏览量
593215 -
龙芯中科
+关注
关注
0文章
229浏览量
7458 -
NPU
+关注
关注
2文章
210浏览量
18084
原文标题：AI推理框架软件ONNX Runtime正式支持龙架构
文章出处：【微信号：gh_53fadbdbd4d4，微信公众号：龙芯中科】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
将yolov5s的模型转成.onnx模型，进行cube-ai分析时报错的原因？
报错显示张量不能大于四维的，想请教解决一下，我再此之后通过onnx-simplifier对.onnx进行简化之后再通过cube-ai进行分析还是出现上述报错，恳求指导，谢谢您！
发表于 03-15 06:54
微软推出ONNX Runtime Web，利用WebGPU优化浏览器机器学习性能
作为微软的 JavaScript 库，ONNX Runtime Web 使得网络开发者能在浏览器环境下部署机器学习模型，并提供多种硬件加速的后端支持。
通过新的ONNX导出器简化模型导出流程
和深度学习模型的基本原理，并提供了一个通用的文件格式，因此你可以保存并与各种工具一起使用,这样你就可以在你喜欢的框架中进行开发而且不用太担心与其相关的推理逻辑。
HarmonyOS：Neural Network Runtime对接AI推理框架开发指导
场景介绍
Neural Network Runtime 作为 AI 推理引擎和加速芯片的桥梁，为 AI 推理引擎提供精简的 Native 接
发表于 12-19 10:09
HarmonyOS：使用MindSpore Lite引擎进行模型推理
使用 MindSpore Lite 推理框架时，需要释放已经创建的模型。
// 释放模型
OH_AI_ModelDestroy(&model);
调测验证
编写 CMakeLists.txt
发表于 12-14 11:41
iTOP-RK3588开发板使用 tensorflow框架
TensorFlow 是一个软件库或框架，由 Google 团队设计，以最简单的方式实现机器学习和深度学习概念。它结合了优化技术的计算代数，便于计算许多数学表达式。TensorFlow 有以下
重要
发表于 10-08 10:04
OpenHarmony AI框架开发指导
实现客户端和服务端之间的跨进程通信管理及AI服务与插件之间的数据传输。后续，会逐步定义统一的AI能力接口，便于AI能力的分布式调用。同时，框架提供适配不同
发表于 09-19 18:54
深度学习框架区分训练还是推理吗
深度学习框架区分训练还是推理吗 深度学习框架是一个非常重要的技术，它们能够加速深度学习的开发与部署过程。在深度学习中，我们通常需要进行两个关键的任务，即训练和推理。训练是指使用训练数据
如何提高YOLOv4模型的推理性能？
使用 PyTorch 对具有非方形图像的 YOLOv4 模型进行了训练。
将 权重转换为 ONNX 文件，然后转换为中间表示 （IR）。
无法确定如何获得更好的推理性能。
发表于 08-15 06:58
TorchVision框架下模型导出并部署到ONNXRUNTIME C++全流程解析
ONNXRUNTIME是主流的深度学习部署框架之一，支持ONNX格式模型在CPU、GPU、ARM等不同硬件平台上加速推理，支持C++、Pyt
ONNX格式模型部署兼容性框架介绍
ONNXRUNTIME介绍 ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出ONNX格式模型，它基本上都能成功加载
百度飞桨PP-YOLOE ONNX 在LabVIEW中的部署推理(含源码)
对于如何在LabVIEW中实现该模型的部署，笔者目前还没有看到相关介绍文章，所以笔者在实现PP-YOLOE ONNX 在LabVIEW中的部署推理后，决定和各位读者分享一下如何使用LabVIEW实现PP-YOLOE的目标检测。
工商网监
评论