创作

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

NVIDIA TensorRT的数据格式定义

星星科技指导员 来源:NVIDIA 作者:Ken He 2022-05-20 14:48 次阅读

TensorRT 支持不同的数据格式。有两个方面需要考虑:数据类型和布局。

数据类型格式

数据类型是每个单独值的表示。它的大小决定了取值范围和表示的精度,分别是FP32(32位浮点,或单精度),FP16(16位浮点或半精度),INT32(32位整数表示),和 INT8(8 位表示)。

布局格式

布局格式确定存储值的顺序。通常,batch 维度是最左边的维度,其他维度指的是每个数据项的方面,例如图像中的C是通道, H是高度, W是宽度。忽略总是在这些之前的批量大小, C 、 H和W通常被排序为CHW (参见图 1 )或HWC (参见图 2 )。

图1. CHW的布局格式:图像分为HxW矩阵,每个通道一个,矩阵按顺序存储;通道的所有值都是连续存储的。

poYBAGKHOmuAG3jrAABI1Auz45s159.png

图2. HWC的布局格式:图像存储为单个HxW矩阵,其值实际上是 C 元组,每个通道都有一个值;一个点(像素)的所有值都是连续存储的。

pYYBAGKHOmSAF4_4AABE_ZAr4MY310.png

为了实现更快的计算,定义了更多格式以将通道值打包在一起并使用降低的精度。因此,TensorRT 还支持NC / 2HW2和NHWC8等格式。

在NC / 2HW2 ( TensorFormat::kCHW2 ) 中,通道值对在每个HxW矩阵中打包在一起(在奇数通道的情况下为空值)。结果是一种格式,其中⌈ C/2 ⌉ HxW矩阵的值是两个连续通道的值对(参见图 3 );请注意,如果它们在同一对中,则此排序将维度交错为具有步长1的通道的值,否则将步长为 2xHxW 。

图 3. 一对通道值在每个HxW矩阵中打包在一起。结果是一种格式,其中[C/2] HxW矩阵的值是两个连续通道的值对

poYBAGKHOl6AAMv6AABJ1rtP6Z8262.png

在NHWC8 ( TensorFormat::kHWC8 ) 中, HxW矩阵的条目包括所有通道的值。此外,这些值被打包在⌈ C/8 ⌉ 8 元组中,并且C向上舍入到最接近的 8 倍数。

在这种NHWC8格式中, HxW矩阵的条目包括所有通道的值。

其他TensorFormat遵循与前面提到的TensorFormat::kCHW2和TensorFormat::kHWC8类似的规则。

关于作者

Ken He 是 NVIDIA 企业级开发者社区经理 & 高级讲师,拥有多年的 GPU 和人工智能开发经验。自 2017 年加入 NVIDIA 开发者社区以来,完成过上百场培训,帮助上万个开发者了解人工智能和 GPU 编程开发。在计算机视觉,高性能计算领域完成过多个独立项目。并且,在机器人和无人机领域,有过丰富的研发经验。对于图像识别,目标的检测与跟踪完成过多种解决方案。曾经参与 GPU 版气象模式GRAPES,是其主要研发者。

审核编辑:郭婷

  • 机器人
    +关注

    关注

    196

    文章

    21390

    浏览量

    187099
  • NVIDIA
    +关注

    关注

    14

    文章

    2563

    浏览量

    94723
  • 人工智能
    +关注

    关注

    1531

    文章

    35956

    浏览量

    214469
收藏 人收藏

    评论

    相关推荐

    热度连年增高,今年95所高校新增人工智能专业!

    电子发烧友网报道(文/李弯弯)近日消息,今年,普通高校新增本科专业31种,包括碳储科学与工程、空天智....
    的头像 Carol Li 发表于 06-25 07:57 717次 阅读
    热度连年增高,今年95所高校新增人工智能专业!

    基于RK3399 + RK1808的人工智能平台项目实战

    云计算与边缘计算 云计算 端侧仅负责发送输入数据,并接收计算结果 计算资源集中管理和分配,借助服务器的强大性能,可以实现...
    发表于 06-24 17:44 1804次 阅读

    管道无线潜望镜在自来水管中的应用

    为对管网建设,管理和养护工作提供更加安全、科学有效的依据,确保排水管网运营维护工作具备科学的决策,提....
    发表于 06-24 17:05 7次 阅读

    工业运营商需要5G URLLC以及他们如何实现

    5G 网络最大的架构差异是核心网络从集中位置移动到边缘的分布式点。网络功能虚拟化 (NFV) 和软件....
    发表于 06-24 16:43 124次 阅读
    工业运营商需要5G URLLC以及他们如何实现

    节卡机器人亮相东南亚机加工展会,全球化布局多点开花

    6月22-25日,METALTECH AUTOMEX(马来西亚吉隆坡国际机床、金属加工设备与自动化科....
    的头像 话说科技 发表于 06-24 16:41 240次 阅读
    节卡机器人亮相东南亚机加工展会,全球化布局多点开花

    为什么5G对物联网和高科技很重要

      5G 可以成为商业物联网用例子集的主要推动力。这是一个广泛使用的标准,背后有足够的基础设施可以扩....
    的头像 星星科技指导员 发表于 06-24 16:27 299次 阅读
    为什么5G对物联网和高科技很重要

    微软以数字技术演绎可持续发展“四则运算”

    2022世界环境日(6月5日)恰逢第一届联合国人类环境会议举办50周年。联合国为今年的环境日赋予了一....
    的头像 微软科技 发表于 06-24 16:00 277次 阅读

    IEEE标准推进工业4.0的五种方式

      毫无疑问,TSN 标准是承诺工业 4.0 及其将改变的许多应用的关键基础构件——引领下一代技术彻....
    的头像 星星科技指导员 发表于 06-24 16:00 337次 阅读

    Realsense+大象机器人手眼标定方案详解

    踩坑 手眼标定的算法网上是比较多的,但是很多都不好用。github上高赞的easy_handeye,....
    的头像 大象机器人科技 发表于 06-24 15:49 1611次 阅读
    Realsense+大象机器人手眼标定方案详解

    NVIDIA Riva 2.0的功能亮点有哪些

    NVIDIA Riva 可提供经过全面优化的流程,用于部署实时 AI 语音应用(例如转录和虚拟助理)....
    的头像 NVIDIA英伟达企业解决方案 发表于 06-24 15:33 114次 阅读

    艺术家使用NVIDIA Omniverse创造出照明效果逼真的3D模型

    创意人员使用 Autodesk、Adobe Substance 3D 应用和 NVIDIA Omni....
    的头像 NVIDIA英伟达企业解决方案 发表于 06-24 15:27 70次 阅读

    使用AI技术推动精准医疗的发展

    来自英国的 NVIDIA 初创加速计划成员 PrecisionLife 使用 AI 主导的数据分析确....
    的头像 NVIDIA英伟达 发表于 06-24 15:21 285次 阅读

    NLP的工作原理是什么 有哪些用例

    自然语言处理是一项利用计算机和软件获取人类语言(书面或口语)含义的技术。
    的头像 NVIDIA英伟达 发表于 06-24 15:19 59次 阅读

    NVIDIA DOCA数据处理器软件正式开放

    NVIDIA 联合发起 Linux 基金会项目,致力于实现数据中心创新的大众化;进一步向软件提供商、....
    的头像 NVIDIA英伟达 发表于 06-24 15:00 73次 阅读

    旷视以AI技术助力数字乡村快发展

    从远程问诊,到智能公交,再到智慧教育,随着 5G、云计算、人工智能等技术的飞速发展,如今的乡村也和城....
    的头像 旷视MEGVII 发表于 06-24 14:59 142次 阅读

    拓维信息与湖南工商大学签署校企战略合作协议

    6月22日上午,拓维信息及旗下湘江鲲鹏与湖南工商大学正式签署校企战略合作协议,拓维信息党委与学校前沿....
    的头像 科技绿洲 发表于 06-24 14:35 142次 阅读

    普渡科技机器人助力建设智慧餐厅

    说起周麻婆,很多人的脑海中便会立即涌现出麻婆豆腐、麻婆泡菜鱼、麻婆香水鱼、榕城荔枝肉、麻婆脆皮鸭等一....
    的头像 普渡科技 发表于 06-24 14:35 188次 阅读

    管道检测机器人施工流程和注意事项的介绍

    使用管道检测机器人的操作人员有义务确保安全,不进行危险性的操作。维护和安装人员必须非常熟悉 各自的工....
    发表于 06-24 11:23 7次 阅读

    CCTV管道机器人让管道检测工作变的得心应手

    如今,人工智能已逐步替代了人工。为我们带来了便捷,对于世界来说,人工智能即将带来新一轮的产业变革,管....
    的头像 hhwlcctv 发表于 06-24 11:21 35次 阅读

    Apple Watch进军运动市场的新挑战 英国打造VR儿童医院

    简讯:根据IFR数据统计,全球工业机器人销售额已持续两年维持在150亿美元以下,与之形成鲜明对比的是....
    的头像 大联大 发表于 06-24 10:57 185次 阅读

    华为携手移动打造算网协同新型数字经济基础设施

    近日,由中国移动主办的“2022科技周暨移动信息产业链创新大会“以线上线下相结合形式召开,本次主论坛....
    的头像 科技绿洲 发表于 06-24 10:56 200次 阅读

    NVIDIA DRIVE助力小马智行控制器大规模量产

    6 月 22 日,领先自动驾驶企业小马智行宣布正式对客户交付基于 NVIDIA DRIVE Hype....
    的头像 科技绿洲 发表于 06-24 10:50 678次 阅读

    NVIDIA DOCA库API已向开发者公开提供

    本周,NVIDIA 成为 Linux 基金会开放可编程基础设施(OPI – Open Program....
    的头像 科技绿洲 发表于 06-24 10:38 239次 阅读

    工业富联提出“数据驱动、绿色发展”战略

     6月23日,工业富联召开2021年度股东大会,100亿分红方案、20亿员工持股计划以及新董事选举等....
    的头像 科技绿洲 发表于 06-24 10:04 204次 阅读

    普渡机器人联合周麻婆共同打造智慧餐厅

    01周麻婆的“小食代” 秉持着让顾客“在家吃顿舒心饭”的初衷,于2012年在福州创立的“周麻婆”品牌....
    的头像 话说科技 发表于 06-23 20:13 46次 阅读
    普渡机器人联合周麻婆共同打造智慧餐厅

    在宇宙的眼眸下如何正确地关心东数西算

    掩体纪元 67 年,宇宙,歌者文明。 “我需要一块二向箔,清理用“,一位歌者敏锐地从数据中发现了一种....
    的头像 脑极体 发表于 06-23 18:30 641次 阅读

    RK1808计算棒Rock-X demo相关资料分享

    1、RK1808人工智能计算棒全平台RockX支持 Rock-X SDK是一组快捷AI组件库,支持RK3399Pro和RK1808平台。开发者仅...
    发表于 06-23 18:11 1824次 阅读

    龙芯中科LoongBlock青少年编程平台助力“双减”工作落实落地

    近日,江苏省青少年科技中心公布第一批科教资源“双进”助推“双减”开展课后服务单位名单,龙芯中科成功入....
    的头像 科技绿洲 发表于 06-23 17:42 313次 阅读

    自动焊接机器人为各行业注入了新鲜血液

    自动焊接机器人凭借着焊接效率高、产出成本低、焊接质量好、生产周期短等优势逐渐代替了传统焊接,这也为各....
    发表于 06-23 17:20 11次 阅读

    云从科技助力广西打造全国人工智能领域合作标杆与典范

    6月20日,云从科技与北投信创集团联合共建的“迈特高”AI智慧城市创新实验室暨云从科技东盟发展中心等....
    的头像 科技绿洲 发表于 06-23 16:46 322次 阅读

    NVIDIA RTX GPU产品能够支持4K大屏渲染和扩展内容渲染

    此前,七维科技帮助河南广播电视台完成了演播室改造项目,打造了 XR 沉浸式 4K 超高清演播室。这一....
    的头像 科技绿洲 发表于 06-23 15:11 195次 阅读

    NVIDIA正在建造一台AI超级计算机来驱动地球的数字孪生

    元宇宙是互联网向 3D 网络进化过程中的下一个重要阶段,将为娱乐、汽车、制造业、机器人等各个行业带来....
    的头像 科技绿洲 发表于 06-23 15:06 215次 阅读

    NVIDIA 3D MoMa技术可为虚拟爵士乐队调校乐器

    爵士乐的精髓在于即兴演奏, NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天,图形创作者....
    的头像 科技绿洲 发表于 06-23 14:53 172次 阅读

    片上光学深度神经网络

    虽然目前在数字芯片上的消费级图像分类技术每秒可以执行数十亿次计算(GHz),这使得它对于大多数场景来....
    的头像 中科院长春光机所 发表于 06-23 14:27 160次 阅读

    商汤科技助力通用人工智能基础研究和生态构建

    近日,计算机视觉领域顶级国际会议CVPR 2022(Computer Vision and Patt....
    的头像 商汤科技SenseTime 发表于 06-23 14:03 186次 阅读

    NVIDIA RTX A6000助力实现高效渲染输出高质量画面

    电视演播室作为电视节目制作的重要场所,承担了除外拍节目外的大部分节目录制和制作任务,随着设备技术突飞....
    的头像 NVIDIA英伟达企业解决方案 发表于 06-23 12:06 162次 阅读

    NVIDIA在自动驾驶领域取得的新突破

    此前,NVIDIA 中国区软件解决方案总监卓睿代表 NVIDIA 参加了视频采访,针对 NVIDIA....
    的头像 NVIDIA英伟达企业解决方案 发表于 06-23 12:03 552次 阅读

    七腾科技发布七腾机器人原创IP形象全球征集活动

    6月23日,石化巡检头部企业重庆七腾科技有限公司发布七腾机器人原创IP形象全球征集活动,面向全球对石....
    的头像 焦点讯 发表于 06-23 11:31 90次 阅读
    七腾科技发布七腾机器人原创IP形象全球征集活动

    NVIDIA如何以最好的方式来构建元宇宙

    元宇宙是互联网向 3D 网络进化过程中的下一个重要阶段,将为娱乐、汽车、制造业、机器人等各个行业带来....
    的头像 NVIDIA英伟达企业解决方案 发表于 06-23 11:13 157次 阅读

    NVIDIA 3D MoMa:基于2D图像创建3D物体

    可逆渲染流程 NVIDIA 3D MoMa 将于本周在新奥尔良举行的计算机视觉和模式识别会议 CVP....
    的头像 NVIDIA英伟达企业解决方案 发表于 06-23 11:00 165次 阅读

    海涵物联HHL-QW1无线潜望镜迎来了全面升级

    好消息,海涵物联HHL-QW1无线潜望镜,迎来了华丽的升级,新品HHL-QW1无线潜望镜适用于100....
    发表于 06-23 10:13 14次 阅读

    管道检测机器人保障城市地下管网畅通无阻

    6月20日,武汉海涵立科技有限公司测试车间,工作人员正在对HHL-23SCCTV检测机器人进行出厂的....
    发表于 06-23 10:11 13次 阅读

    he4o通用人工智能系统

    ./oschina_soft/he4o.zip
    发表于 06-23 09:48 11次 阅读
    he4o通用人工智能系统

    凯尔达发布自主机器人“单柜双机”解决方案

    随着中国制造业不断向着自动化、数字化、智能化的方向发展,焊接机器人已广泛应用于汽车工业、工程机械及其....
    发表于 06-22 21:48 15次 阅读
    凯尔达发布自主机器人“单柜双机”解决方案

    迎宾机器人的应用给行业和单位带来了巨大效益

    随着当今信息产业智能技术的发展和全球信息基础设施的不断完善,现代会议中心和办公环境已成为会议的需要。....
    的头像 h1654155703.5361 发表于 06-22 17:12 219次 阅读

    邬贺铨亮相!十余位大咖共聚!第四届挚物大会带你共探智联网未来风口

    人们常用“破茧成蝶”来形容在蛰伏中向更好、更完美蜕变。如今,历经十数载的物联网产业也走到了“蝶变”的....
    的头像 21克888 发表于 06-22 16:53 265次 阅读
    邬贺铨亮相!十余位大咖共聚!第四届挚物大会带你共探智联网未来风口

    小马智行自研自动驾驶域控制器ADC已开始向用户交付样品

    小马智行将成为首批基于NVIDIA DRIVE Hyperion 计算架构及DRIVE Orin 系....
    的头像 Pony.ai小马智行 发表于 06-22 15:22 131次 阅读

    立柱机器人码垛机的结构特点及应用优势

    立柱机器人
    发表于 06-22 14:42 9次 阅读

    扩博智能成功刷新国内风机巡检中单人单机效率新纪录

    近期,扩博智能飞手在执行新疆昌吉回族自治州某风场的风机巡检任务时,成功刷新扩博智能在国内风机巡检中的....
    的头像 科技绿洲 发表于 06-22 11:38 336次 阅读

    NVIDIA为天壤提供计算能力强劲AI平台和行业解决方案

    天壤成立于 2016 年,是一家专注于通用智能研究的创新企业。致力于打造复杂系统下的通用人工智能平台....
    的头像 科技绿洲 发表于 06-22 11:25 359次 阅读

    线跟随机器人如何导航?

    描述 线路跟随器PCB 线路跟随器阵列是一个长板,由八个红外传感器组成,这些传感器已配置为读取为数字位!我们设计了线跟...
    发表于 06-22 09:11 74次 阅读

    TB-RK1808S0 AI 计算棒开发指南

    1、TB-RK1808S0 AI 计算棒开发介绍RK1808 人工智能计算棒是瑞芯微旗下 Toybrick 系列产品中的一员,计算棒搭载瑞芯微的...
    发表于 06-21 18:11 2375次 阅读

    基于Arduino设计的手势控制机器人

    描述 如何在家制作 DIY Arduino 手势控制机器人 接收器(坦克)所需的零件: 1) 机器人坦克底盘 2) Arduino Nano V...
    发表于 06-20 09:21 84次 阅读

    每周精选 | 履带四足复合机器人开源分享,OpenHarmony开源开发者成长计划

    大家好,电子发烧友精选一周社区好帖推送给大家,同时欢迎大家留言推荐更多好帖子,一旦入选将获得电子发烧友月度vip奖励! 1、...
    发表于 06-10 10:49 10802次 阅读

    英码RK3588开发套件限量首发!6大亮点内外兼修,超高性价比

    在“十四五”规划推动下,AIoT加快与产业融合并逐步落地,AI场景应用落地过程中,IoT终端硬件的智能化需求日益突出,芯片...
    发表于 06-07 11:07 1109次 阅读
    英码RK3588开发套件限量首发!6大亮点内外兼修,超高性价比

    机器人工业应用等步进电机驱动MS4989参数与应用

    描述MS4989 是一款双极微步进电机驱动芯片,内置有4bit DAC,可以实现全步进,1/2,1/16,1/64,4 种步进模式;芯片具有最大...
    发表于 05-24 21:12 6542次 阅读

    移动复合机器人科教平台

    发表于 05-18 08:59 6927次 阅读

    RK3399开发板AI人工智能深度学习之TensorFlow 测试

    硬件平台:迅为-RK3399开发板 系统:ubuntu项目:TensorFlow 测试 配套资料在网盘资料的“iTOP-3399 开发资料汇总(不含...
    发表于 05-13 15:41 1585次 阅读
    RK3399开发板AI人工智能深度学习之TensorFlow 测试