侵权投诉

Buffer加载AI模型的步骤

2021-01-23 09:36 次阅读

我们在进行CNN模型推理的时候,需要预先从DDR或者ROM中加载AI模型。大家平时一般用的是createfromfile的形式,为了保护自己的模型IP,一般会在模型上面做一些混淆。下面我们介绍另外一种方式,createfrombuffer。在编译算法sdk的阶段,可以将AI模型作为机器码编译进so中,算法加载的时候从栈内存进行加载就可以。这样模型的参数和定义就不会暴露在用户层面,目前MNN、NCNN和RKNN等都提供了createfrombuffer的类似接口,非常方便用户们进行使用。

使用的方式也非常的简单,分如下三步进行操作:(1)生成十六进制模型文件(2)制作头文件和cpp文件(3)采用createfrombuffer进行模型加载

一、生成十六进制模型文件

可以采用linux提供的xdd工具进行十六进制模型文件的生成。假设你有编译好的mnn模型或者rknn模型,只要执行如下操作就可以生成十六进制的模型文件:

xxd-iface\_det.mnnface\_det.cpp

二、制作头文件和cpp文件

pIYBAGALfbqAGpjSAAF3FS2bkmY041.png

cpp文件由xdd工具生成,文件形式如下(文件太大,只截取头尾两部分):

o4YBAGALfcCAbhrPAAX6NbOFHzo829.png

o4YBAGALfcmAKMdXAAUVlfDduGg377.png

三、采用createfrombuffer接口实现模型加载

我们采用MNN的接口为例,核心代码块如下:

o4YBAGALfdCAOfisAAHIWiHV9CU372.png

这样成功进行编译后,就可以将AI模型固化到算法sdk的so库当中了。
责任编辑人:CC

收藏 人收藏
分享:

评论

相关推荐

如何在网络中有效地更安全使用AI?

进入2021年,随着越来越多的组织采用新技术,人工智能在技术和网络安全方面的未来将继续发展。根据最近....
的头像 如意 发表于 02-26 16:42 244次 阅读
如何在网络中有效地更安全使用AI?

寒武纪首颗7nm AI训练芯片实现量产

作为中国芯片产业的新黑马,成立于2016年的寒武纪,短短几年来便显露锋芒,并在2020年7月成功登陆....
的头像 我快闭嘴 发表于 02-26 16:06 368次 阅读
寒武纪首颗7nm AI训练芯片实现量产

解析“德国造AI”的发展逻辑和困局

“他者”是后殖民主义时期学术界对近代“西方中心主义”的一个批判概念,处于中心立场的“主体”和位于边缘....
的头像 我快闭嘴 发表于 02-26 14:34 267次 阅读
解析“德国造AI”的发展逻辑和困局

蜂巢能源宣布获得35亿人民币A轮融资

蜂巢能源宣布获得35亿人民币的A轮融资,由中银投、国投招商联合领投,其他投资方包括金融街资本、常州创....
的头像 我快闭嘴 发表于 02-26 14:28 476次 阅读
蜂巢能源宣布获得35亿人民币A轮融资

科大讯飞能否凭借教育场景实现快速增长?

“高位减持、低位增持”的操作在A股市场上屡见不鲜,但公司实控人自掏腰包在高位增持自家股票,确实少有。
的头像 我快闭嘴 发表于 02-26 14:17 1190次 阅读
科大讯飞能否凭借教育场景实现快速增长?

快讯:美的库卡22.97亿元控股万东医疗

近日,万东医疗发布公告称,美的集团以22.97亿元的价格受让万东医疗控股股东江苏鱼跃科技发展有限公司....
的头像 机器人大讲堂 发表于 02-26 14:14 149次 阅读
快讯:美的库卡22.97亿元控股万东医疗

小米上架AI智能颈椎按摩睡眠枕

颈椎病已经不是老年人的“专利”了,中青年人已跻身颈椎病大军,这与智能手机的普及密切相关。数据显示,3....
的头像 如意 发表于 02-26 11:19 193次 阅读
小米上架AI智能颈椎按摩睡眠枕

浅析AI芯片企业寒武纪面临的困境及未来前景

国内首家人工智能AI芯片研发厂商寒武纪于2020年7月20日登陆科创板,当日股价最高飙升到295元/....
的头像 我快闭嘴 发表于 02-26 10:58 369次 阅读
浅析AI芯片企业寒武纪面临的困境及未来前景

腾讯专利:通过AI解决司机疲劳驾驶

随着我国经济快速发展,汽车保有量急剧增加,私家车车的数量也随着经济水平提高而大幅增多,但由私家车引发....
的头像 如意 发表于 02-26 10:53 355次 阅读
腾讯专利:通过AI解决司机疲劳驾驶

2020年中国新增5G连接超过2亿

“这次的MWC世界移动通信大会上海创下了两个第一:MWC这个历史悠久的全球系列展会历史上第一次在中国....
发表于 02-26 10:17 636次 阅读
2020年中国新增5G连接超过2亿

中国电信研究院AI研发中心徐丹当选ITU-T FG AN副主席

中国电信官方微博宣布了一个好消息,在2021年2月4日,ITU-T(国际电信联盟标准化)FG AN在....
的头像 通信头条 发表于 02-26 10:14 145次 阅读
中国电信研究院AI研发中心徐丹当选ITU-T FG AN副主席

投资56亿元,商汤搭建的AI计算平台有何不同

2020年,面对新冠肺炎疫情巨大冲击和复杂严峻的国内外环境,人工智能的赋能效应充分发挥。伴随人工智能....
的头像 电子魔法师 发表于 02-26 09:48 235次 阅读
投资56亿元,商汤搭建的AI计算平台有何不同

浪潮服务器NF5488A5将领先AI算力带入5G世界

2月23日,受疫情影响而停摆一年的世界移动大会在上海重启。浪潮AI服务器NF5488A5、人工智能开....
的头像 电子魔法师 发表于 02-26 09:45 238次 阅读
浪潮服务器NF5488A5将领先AI算力带入5G世界

全球首个MWC混合现实展区打造成功,探索最前沿的5G思维和技术

2月23日,2021 MWC上海盛大启幕。作为本届MWC上海的特色之一,在5G创新地带展区,GSMA....
发表于 02-26 09:16 441次 阅读
全球首个MWC混合现实展区打造成功,探索最前沿的5G思维和技术

OPPO Reno5 K正式开启预定

2月25日,OPPO Reno5 K正式在OPPO官网接受预定,一款全新的面向年轻用户的Reno系列....
的头像 我快闭嘴 发表于 02-25 17:25 379次 阅读
OPPO Reno5 K正式开启预定

GPU芯片设计公司摩尔线程完成数十亿元两轮融资

成立100天的国内GPU芯片设计公司「摩尔线程」已完成共计数十亿元的两轮融资,由深创投、红杉资本中国....
的头像 我快闭嘴 发表于 02-25 16:34 363次 阅读
GPU芯片设计公司摩尔线程完成数十亿元两轮融资

摩尔线程究竟是家怎样背景的企业?

知名一线机构VC之外,这两家企业的联名还是首次——字节跳动、小马智行……一个是AI在互联网上长出的千....
的头像 我快闭嘴 发表于 02-25 16:24 802次 阅读
摩尔线程究竟是家怎样背景的企业?

浪潮致力于打造业内最强的AI计算产品

当前,人工智能技术快速发展,各种新应用层出不穷,极大程度上促进了新兴业务的增长和传统业务的转型。而浪....
的头像 电子魔法师 发表于 02-25 13:50 319次 阅读
浪潮致力于打造业内最强的AI计算产品

IBM将出售AI医疗,十年的AI医疗梦将画上句号

根据《华尔街日报》在1月19日的消息,IBM旗下的Watson Health业务或将被出售。据悉,该....
的头像 电子魔法师 发表于 02-25 11:43 704次 阅读
IBM将出售AI医疗,十年的AI医疗梦将画上句号

紫光展锐首款6纳米5G芯片亮相MWC

2月23日-25日阔别一年的MWC(世界移动通信大会)在上海成功举办。本次MWC上海站的活动主题是“....
的头像 我快闭嘴 发表于 02-25 11:18 382次 阅读
紫光展锐首款6纳米5G芯片亮相MWC

解析医疗人工智能产业的发展趋势

医疗人工智能产业上游主要是为行业提供基础技术支持的行业,如医疗数据挖掘、算法等,典型企业有碳云智能、....
的头像 我快闭嘴 发表于 02-25 11:05 580次 阅读
解析医疗人工智能产业的发展趋势

2020年Q4财季中NVIDIA净利润同比增长67%

2月25日,NVIDIA发布了截止1月31日的2021财季Q4财报,当季营收冲上50亿美元大关,同比....
的头像 lhl545545 发表于 02-25 11:02 239次 阅读
2020年Q4财季中NVIDIA净利润同比增长67%

再上2021牛年春晚的智能机器人公司优必选启动上市辅导

央视2021牛年春晚的舞台上,优必选科技研发的首款大型四足机器人化身“拓荒牛”,与刘德华、王一博、关....
的头像 机器人技术与应用 发表于 02-25 10:41 814次 阅读
再上2021牛年春晚的智能机器人公司优必选启动上市辅导

谷歌前CEO:美国必须赶超中国AI技术

2月23日,谷歌前首席执行官埃里克·施密特,在参议院军事委员会举行的关于新兴技术听证会上呼吁,美国政....
的头像 璟琰乀 发表于 02-25 10:04 340次 阅读
谷歌前CEO:美国必须赶超中国AI技术

云知声暂时退场后,智能语音赛道的未来在哪?

一个云知声暂时退场,还有无数个“云知声”倒在多数人看不到的地方。 2月19日,上交所发布了《关于终止....
的头像 璟琰乀 发表于 02-25 09:30 555次 阅读
云知声暂时退场后,智能语音赛道的未来在哪?

智能家居行业发展趋势 前装智能家居发展迅速

近年来,河南、山西、湖北等各省市陆续出台了关于加快成品住宅发展的政策,北京、上海、广州、深圳等城市也....
发表于 02-25 09:11 879次 阅读
智能家居行业发展趋势 前装智能家居发展迅速

嵌入式机器学习和AI前沿资讯简报

1. STM32 嵌入式机器学习(TinyML)实战教程-01 |  边缘智能实验室 第1部分:总体....
的头像 RTThread物联网操作系统 发表于 02-24 18:28 1402次 阅读
嵌入式机器学习和AI前沿资讯简报

一文了解讯飞智能办公本X2规格配置

随着办公设备的更新,移动办公已经成为了当下的一种潮流。2月24日,科大讯飞举办新品发布会为我们带来了....
的头像 lhl545545 发表于 02-24 16:22 851次 阅读
一文了解讯飞智能办公本X2规格配置

浅谈云网融合的重要性

云网融合,是当下电信业最热门的话题之一,也是全球领先运营商正积极推进的发展战略,比如,中国电信早在2....
的头像 我快闭嘴 发表于 02-24 14:41 234次 阅读
浅谈云网融合的重要性

5G与V2X技术对车路协同边缘计算提出了更高要求

面向5G-V2X车路协同场景算力需求,以嵌入式边缘计算加速智慧交通发展 (2021年2月23日,中国....
的头像 电子观察说 发表于 02-24 14:04 229次 阅读
5G与V2X技术对车路协同边缘计算提出了更高要求

百度股价大涨的底层逻辑

从2018年5月陆奇出走百度,至今过去33个月,百度股价走出一个U型。在2020年3月,百度市值一度....
的头像 我快闭嘴 发表于 02-24 11:42 599次 阅读
百度股价大涨的底层逻辑

一村资本联合微盟集团等成立数据智能产业基金

近日,一村资本联合微盟集团(02013.HK)、北京高精尖产业发展基金、北京市四季青农工商总公司共同....
的头像 我快闭嘴 发表于 02-24 11:13 238次 阅读
一村资本联合微盟集团等成立数据智能产业基金

索尼中国宣布索尼X80J系列正式全渠道开售

前不久,索尼发布入门款4K电视新品X80J系列,为消费者提供了更多选择。2月23日,索尼中国宣布索尼....
的头像 lhl545545 发表于 02-24 11:04 400次 阅读
索尼中国宣布索尼X80J系列正式全渠道开售

AI企业竞速上市,谁将成为牛年上市第一单

伴随着云知声IPO撤单,其他AI企业的上市进展情况备受市场关注,云知声退出后,谁将成为牛年上市第一单....
的头像 电子魔法师 发表于 02-24 11:01 538次 阅读
AI企业竞速上市,谁将成为牛年上市第一单

谷歌AI利用机器学习和硬件加速器实现流体模拟数量级加速

谷歌 AI 最近一项研究表明,利用机器学习和硬件加速器能够改进流体模拟,且不损害准确率或泛化性能。 ....
的头像 深度学习实战 发表于 02-24 09:35 121次 阅读
谷歌AI利用机器学习和硬件加速器实现流体模拟数量级加速

2020年有哪些AI大事件令人难忘?

内容提要:一直以来,超神经都在密切关注并报道 AI 界的各项大事件。过去一年,有哪些 AI 大事件令....
的头像 深度学习实战 发表于 02-24 09:33 145次 阅读
2020年有哪些AI大事件令人难忘?

Redmi Note 10系列详细规格配置曝光

2月23日消息,推特上有网友曝光了Redmi Note 10的包装盒。
的头像 lhl545545 发表于 02-24 09:13 475次 阅读
Redmi Note 10系列详细规格配置曝光

AI视觉在教育场景中的创新应用

我们的核心能力包括智能多摄、单帧/多帧画质,这类算法在手机客户中应用较多;人像美化,包括AR特效等会....
的头像 LiveVideoStack 发表于 02-23 17:10 382次 阅读
AI视觉在教育场景中的创新应用

华为2020年收入盈利实现双增长

2月23日,2021年世界移动大会(MWC)上海展如期进行,后疫情时代,5G产业链如何进一步协同发展....
发表于 02-23 17:04 384次 阅读
华为2020年收入盈利实现双增长

Transporter Network:为机器操作重新排列视觉世界

在机器学习的许多应用领域中,模型结构中的简单差异可以表现出大不相同的泛化特性。因此,人们可能会问,是....
的头像 机器人大讲堂 发表于 02-23 14:15 138次 阅读
Transporter Network:为机器操作重新排列视觉世界

人工智能成为引领新一轮科技革命和产业变革的战略性技术

技术发展背后永远是人类的创新在推动,这期间有许多的先贤名字让我们耳熟能详,例如 1950 年提出计算....
的头像 机器人大讲堂 发表于 02-23 13:47 726次 阅读
人工智能成为引领新一轮科技革命和产业变革的战略性技术

全国人工智能先导区已增至8个

工业和信息化部近日印发通知,支持创建北京、天津(滨海新区)、杭州、广州、成都国家人工智能创新应用先导....
的头像 我快闭嘴 发表于 02-23 11:52 1203次 阅读
全国人工智能先导区已增至8个

智能音箱到底智能在哪些地方

相信很多人对“智能音箱”四个字并不陌生,但是智能音箱到底有什么核心价值,不同的人答案不同,从技能来看....
发表于 02-23 10:57 575次 阅读
智能音箱到底智能在哪些地方

OpenAI研究人员开发出新的机械臂

近日,两个由 OpenAI 的研究人员开发的一模一样的机械臂爱丽丝和鲍勃,可以在模拟情景中通过对弈互....
的头像 电子魔法师 发表于 02-23 10:40 260次 阅读
OpenAI研究人员开发出新的机械臂

AI正在重塑动力电池制造

产业的创新,亟待新技术的导入,在制造环节,智能化、大数据的导入也可能更好地赋能电池的生产制造。 如何....
的头像 高工锂电 发表于 02-23 09:51 202次 阅读
AI正在重塑动力电池制造

研究人员制造出一种复制人类的行为下棋的AI

我们这些凡人在国际象棋上已经很久没有真正与人工智能竞争了。距人类在国际象棋比赛中征服计算机已有15年....
的头像 IEEE电气电子工程师学会 发表于 02-23 09:38 165次 阅读
研究人员制造出一种复制人类的行为下棋的AI

三大力量驱动AI繁荣,网络空间安全是重要发力点

作为全球通信行业风向标,“2021 年世界移动通信大会上海展(MWC21)”于 2 月23 日至 2....
的头像 牵手一起梦 发表于 02-23 09:23 315次 阅读
三大力量驱动AI繁荣,网络空间安全是重要发力点

人类丰满的AI梦,正在撞上冰冷的现实

“挑战高精尖,不如解决医院院长的需求。” 人类丰满的AI梦,正在撞上冰冷的现实。 1 月 19 日,....
的头像 腾讯创业 发表于 02-23 09:16 248次 阅读
人类丰满的AI梦,正在撞上冰冷的现实

全球运营商都面临5G to B挑战,“好戏”正在逐步上演

随着“新基建”的加码,我国5G建设进度也超预期,一场场5G应用落地的“好戏”正在逐步上演。
发表于 02-23 09:13 205次 阅读
全球运营商都面临5G to B挑战,“好戏”正在逐步上演

百度在AI商业化的潜力进一步释放

北京时间2月18日,百度对外发布新一季度的财报。因Q4财报超过市场预期,百度美股盘后涨3.3%。截至....
的头像 璟琰乀 发表于 02-22 17:19 594次 阅读
百度在AI商业化的潜力进一步释放

TEXT_Buffer要强转换为指针类型的原因?

const u8 TEXT_Buffer[]={"MiniSTM32 SPI TEST"}; SPI_Flash_Write((u8*)TEXT_Buffer,1000,SIZE...
发表于 07-24 23:24 0次 阅读
TEXT_Buffer要强转换为指针类型的原因?

请问如何用队列传结构体实体,而非指针传递?

现在有一个线程用队列来获取别的线程送过来的数据并进行处理,数据传递用消息队列,这样也能起到一个buffer 的作用。数据量不大,...
发表于 06-17 09:01 29次 阅读
请问如何用队列传结构体实体,而非指针传递?

HTTP客户端例子分享!

     通过本节的学习,您将了解到如何使用JavaScript代码来实现HTTP的客户端例子。JSDuino开发板上...
发表于 10-11 01:48 433次 阅读
HTTP客户端例子分享!

请问(u16*)Buffer和(u16*)Buffer(0)有什么区别?

请问(u16*)Buffer和(u16*)Buffer(0)具体有什么区别?...
发表于 09-29 22:42 720次 阅读
请问(u16*)Buffer和(u16*)Buffer(0)有什么区别?

请问文件系统读写超过一个buffer的话该怎么读取?

请教大家一个问题,就是我移植了FATFS9.0的文件系统,读取512byte是没有问题的,可是当读取大于512byte的字节就有问题,具体...
发表于 08-30 03:50 228次 阅读
请问文件系统读写超过一个buffer的话该怎么读取?

【微信精选】想要从FPGA小白成为达人,这些你必须知道

如果在这个智能时代,在这个领域,想拥有一技之长的你还没有关注FPGA,那么世界将抛弃你,时代将抛弃你。 模...
发表于 08-25 07:30 537次 阅读
【微信精选】想要从FPGA小白成为达人,这些你必须知道

lwIP内存分配buffer的地址出错

如题,LwIP 内存分配问题(FreeRtos) 现象: #define MEMP_NUM_NETCONN 5 ==》没问题 #define MEMP_...
发表于 07-05 04:35 187次 阅读
lwIP内存分配buffer的地址出错

串口用buffer发送超过8个字节时发送顺序会乱

u8 TxBuffer[1024]; u8 TxCounter=0; u8 count=0; void UART1_ReportMotion(int16_t ax,int16_t ay,int16_t az,int...
发表于 05-06 23:28 272次 阅读
串口用buffer发送超过8个字节时发送顺序会乱

工业应用Sigma-Delta ADC常见问题解答

问题:峰峰值噪声与有效噪声的区别,峰峰值分辨率与有效分辨率的区别?无失码分辨率又是指的什么? 答案:无失码分辨率是对AD...
发表于 11-27 09:42 1768次 阅读
工业应用Sigma-Delta ADC常见问题解答

buffer电路AD2S采集来的数据不对

在我使用AD2S1200的过程中出现了一些问题,所以想请教大家。 图6中的运放我用RC4558,三极管 2SD880和2N2907 ,...
发表于 11-20 09:16 314次 阅读
buffer电路AD2S采集来的数据不对