一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法
二维（2D）和三维（3D）双模视觉信息在自动驾驶、工业机器人、人机交互等前沿领域具有广泛的应用前景。但是2D和3D两种模式视觉信息在处理方法上存在较大的差异，使得边缘端计算型处理器难以兼顾两种模式的处理需求；同时以深度学习为代表的人工智能算法的计算密集和高数据复用率等特点进一步增加了处理器电路的设计复杂度，导致边缘端实现双模视觉信息智能处理的芯片设计面临大的挑战。
中国科学院半导体研究所刘力源研究员带领的团队在双模视觉信息智能计算芯片设计领域取得重要进展。团队创新性地设计了一款兼容处理2D/3D双模视觉信息的视觉处理器架构和用于人工智能算法的数据流。提出了一种可重构并行处理单元阵列架构，并行处理单元阵列支持向量化单指令多数据处理模式，可显著提升人工智能算法的数据复用率，减小了算法处理延时和访存功耗；设计了一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法，能够灵活映射从数据预处理到智能处理阶段的图像处理算法，消除冗余的专用图像处理电路，提升了芯片单位面积算力。测试结果表明，芯片可实现3D深度重建、2D人脸目标检测和2D目标追踪算法。图1和图2分别为芯片照片和片上算法处理结果。该工作为设备功耗与体积均受限的边缘场景多模态视觉信息智能处理提供了一个高效且灵活的智能化计算平台。
该成果由半导体所博士生魏思源等在刘力源研究员的指导下完成。成果得到了国家重点研发计划和国家自然科学基金等项目的资助。
审核编辑：刘清
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
处理器
+关注
关注
68文章
18288浏览量
222175 -
人机交互
+关注
关注
12文章
1133浏览量
54760 -
半导体
+关注
关注
328文章
24520浏览量
202181 -
视觉处理芯片
+关注
关注
2文章
8浏览量
6495
发布评论请先 登录
相关推荐
包含具有多种类型信息的3D模型
项目阶段集成在一起。同时，还提供易于使用的数据交换，可在2D和3D工作方法之间快速切换，以提供具有程序精度的高质量信息。
其他常用于支持建筑
发表于 03-28 17:18
【RISC-V开放架构设计之道|阅读体验】汇编语言和扩展指令集
的目标文件。
扩展指令集
RISC-V除了基本指令集外，还支持多种扩展指令集，例如RV32M（乘法和除法指令），RV32F和RV32D（单精
发表于 02-03 13:29
【RISC-V开放架构设计之道|阅读体验】RISC-V基础整数指令集
第2章 RV32I:RISC-V基础整数指令集
本章重点讲解构成RISC-V基础整数指令集的基本指令和指令格式。主要包含寄存器间操作的R型，
发表于 01-31 21:10
【RISC-V开放架构设计之道|阅读体验】RV64指令集设计的思考以及与流水线设计的逻辑
广泛应用于不同的领域。 我相信，RISC-V指令集体系结构将在未来发挥越来越重要的作用。
RISC-V指令集体系结构与流水线设计有着密切的关系。 流水线设计是一种提高
发表于 01-29 10:09
【RISC-V开放架构设计之道|阅读体验】RISC-V基础整数指令集RV32I
。
图1:RV32I指令集
在讲RISC-V各个阶段，横向比较ARM架构，体现出RISC-V的优越性。
●RV32I寄存器
RISC-V基础指令集RV32I,只有6种基本
发表于 01-28 11:41
risc-v标准指令集如何扩展？
想问问具体要怎么实现标准指令集的扩展呢？需要修改哪些硬件啊？
每一种指令集扩展是相似的吗？还是需要不一样的步骤呢（比如V扩展、K扩展）？
发表于 01-21 22:19
GPU在雷达信号处理算法中的优势
雷达信号处理算法对计算机架构提出了很高的实时性要求。好在这些算法具有数据并行性，可以在大规模并行架构（如图形处理单元（GPU））上获得出色的
FPGA图像处理算法有哪些
早之前的朋友知道我发过一个用chatgpt分析出来的 FPGA图像处理的知识树，里面包含了从色域，镜头，接口和算法。然后我就发现这个算法部分chatgpt 给我整理的比较乱，查询了一番
光学3D表面轮廓仪可以测金属吗？
测量金属制品的长度、宽度、高度等维度参数。
除了测量金属表面的形状和轮廓外，光学3D表面轮廓仪还可以生成三维点云数据和色彩图像，用于进一步分析和展示：
1、三维点云数据可以
发表于 08-21 13:41
Arm Neon技术指南
数据流上进行数学操作的额外指示。图1-1:单一指示、多个数据架构 可通过加快音频和视频编码/解码、用户界面、2D/3D图形或游戏来改进多媒体用户的经验。Neon还可以加快信号
发表于 08-08 06:13
实时3D艺术最佳实践-纹理技术解读
纹理贴图获取2D曲面图像并将其映射到3D多边形上。
本指南涵盖了几种纹理优化，可以帮助您的游戏运行得更流畅、看起来更好。
在本指南的最后，您可以检查您的知识。您将了解有关主题，包括纹理图谱
发表于 08-02 06:12
视觉处理，2d照片转3d模型
首先，太阳高度是恒定的。
照片每像素的亮度可求。我们只需要求出太阳与眼睛到物体的夹角就能求出3d模型。
最多就是各种物质的反射率。
英伟达的oir芯片就是做汽车视觉的，大家去取取经。
有时，2-3张位置不同的照片，可以快速生成模型。多则无义。
发表于 05-21 17:13
工商网监
评论