电子发烧友网 > 处理器/DSP > 正文

汽车成像和传感市场将从简单的ISP转变集成有AI处理器的融合处理器

2020年07月30日 14:31 次阅读

据报道,在强大的AI(人工智能)算法诞生之前,图像信号处理器(ISP)中实现的图像处理功能相当简单,其将来自图像传感器的信号转换为人眼可以理解的图像。工程师们通常采用专用ISP的硬件架构呈流水线式地逐个处理像素。这种方式催生了能运行AI算法的更加强大的视觉处理硬件,具有存储整个图像的内存。根据Yole发布的《嵌入式图像和视觉处理-2017版》,汽车将是这项技术最重要的应用领域之一。

随着车辆朝着无人驾驶传感器融合的方向发展,AI技术和相关的硬件正在相互作用,以在前沿领域发挥作用。Algolux是一个年轻而富有魅力的创业公司,对图像处理和AI的作用深有了解,并努力自主开发出有趣的方式将两者结合起来。因此,Yole专访了Algolux公司的总裁兼首席执行官Allan Benchetrit,对Algolux的情况和技术做了详细探讨。

汽车成像和传感市场将从简单的ISP转变集成有AI处理器的融合处理器

2012~2021年视觉系统的硬件市场发展情况

YoleDéveloppement(以下简称YD):请您谈谈Algolux公司的情况和产品。

Allan Benchetrit(以下简称AB):Algolux通过机器学习实现了自动化视觉,使摄像头能够更清晰地看到并感知,这是当前视觉系统无法完成的。通过CRISP-ML这套工具,我们机器学习的工作流程可将典型的3~6个月才能完成图像质量处理工作缩短至几小时或几天。更进一步讲,我们认识到,在困难的成像场景中,视觉系统对鲁棒性的要求比现有方法更高。Algolux使用基于CANA DNN的完整感知堆栈解决了这个问题,并取代现有的基于ISP的架构。

Algolux总部位于加拿大的蒙特利尔,在帕洛阿尔托和慕尼黑设有办事处。主要专注于汽车市场,但我们的技术适用于任何基于摄像头的应用,如视频监控和智能手机。我们的产品不仅受到客户的充分认可,在挑战性问题的创新能力也受到行业的高度认可,最近我们获得了AutoSens颁发的“最精彩创业公司”(Most Exciting Startup)奖项。

YD:为什么Algolux一开始就专注在汽车应用市场?

AB:Algolux主要关注汽车中的成像和感知案例。高级驾驶辅助系统(ADAS)和无人驾驶面对的挑战性场景——在暗光、强光、噪音、高动态范围、恶劣天气和镜头等,至今未得到有效解决的问题。另一个驱动因素是汽车行业在IEEE P2020中的合作,以建立计算机视觉图像质量标准,我们也参与其中。当行业领导者意识到目前的方法不会一贯地实现这些系统的关键任务安全目标时,工作组就形成了,这是Algolux可以帮助优化结果的自然区域。

YD:在标准相机里,相比ISP流水线式的处理方式,创建物体探测的神经网络是否会更加复杂?

AB:两者实际上都相当复杂,但也有一些关键的区别。ISP由多个连续的阶段组成,对传感器捕获的图像的颜色、清晰度、噪声等进行处理。每个阶段的算法都是根据任务精心设计的,虽然事实上前面的任务只是用作参考。然后由“成像专家”通过数千个参数对ISP进行“调整”,从而从特定的镜头和传感器组合中获得最佳的图像。最终得到的是视觉上令人满意的图像,但调整时间可能几个月。

基于AI的感知任务,如物体识别,通常在由许多层组成的深度神经网络(DNN)中实现,每层都有许多节点进行计算,类似于大脑中的神经元。DNN通过特定任务的注释图像的大量数据进行训练,允许DNN学习如何识别行人、汽车和卡车。

在如今的架构中,来自ISP的图像会传送到DNN。关键的限制是ISP是基于专业的视觉设计和调整产生令人满意的图像,但不太适合计算机算法(DNN)来识别对象。

YD:在ADAS和无人驾驶领域,Algolux打算用CANA感知堆栈替换流水线式信号处理。你认为还可以推广到无人驾驶以外的应用吗?

AB:由于ISP是以人类视觉而不是计算机视觉为目标,我们的首席技术官兼技术发明人Felix Heide看到取代这个限制因素的机会,我们用完整的DNN堆栈来“学习”是处理来自传感器的图像与感知任务的最好方式。在汽车任务方面,与目前使用具有DNN感知的现有ISP的方法相比,结果准确度显着提高。对于典型的分类任务,我们也看到了相同的改进,所以这种方法的推广前景不错。

YD:在您看来,随着AI技术的出现,硬件和软件公司开发视觉系统面临的风险是什么?

AB:AI,特别是深度学习,以惊人的速度提高了机器感知周围环境的能力。半导体行业在图形处理单元(GPU)和神经处理单元(NPU)部署方面也有了明显的变化,在神经网络以较低的功率运行以实现更复杂的任务得以加速。同样,在AI软件创新和基础设施方面也有巨大的投资。我们目前还处于初期阶段,但谁将会成为领导者,这是一场高风险的竞赛。

YD:Yole预计,汽车成像和传感市场将从简单的ISP转变集成有AI处理器的融合处理器板开始。支持这种转变的关键硬件和软件参数是什么?

AB:这些新方法需要大量的嵌入式处理,无论是计算机视觉电子控制单元还是智能边缘摄像头,对降低功耗的同时提高处理性能的需求至关重要。智能传感器融合在提取和处理单独的数据密集型信息流时会增加处理负荷。从客户那里,我们听到很多业内人士就基于所处理的任务探索不同的融合方法和模型而进行的讨论。但是,我们强烈主张具有互补性的传感器和融合才是无人驾驶车辆的未来趋势。
       责任编辑:pj

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发烧友学院发表于 2019-05-24 00:00 3646次阅读
【5月12】不懂编程没关系,邀请您来学AI

浅谈未来量子计算如何和人工智能,大数据等技术融合...

在我们描述 21 世纪刚刚过去的第二个十年的技术版图中,人工智能(AI)、大数据(Big Data)....
发表于 2020-07-30 14:40 0次阅读
浅谈未来量子计算如何和人工智能,大数据等技术融合...

大陆集团搭建用于车辆的人工智能系统训练超级计算机

汽车产业正在经历变革,产品开发周期变得越来越短。为提升技术领先地位,科技公司大陆集团投资搭建了属于自....
发表于 2020-07-30 14:31 11次阅读
大陆集团搭建用于车辆的人工智能系统训练超级计算机

人工智能深耕教育行业 势在必行

人工智能的迅速发展正深刻改变人类社会生活、改变世界。据预测,2035年全球将进入“AI”生产力普及的....
发表于 2020-07-30 14:27 38次阅读
人工智能深耕教育行业 势在必行

AI摄像头是澳大利亚综合多模式生态系统(AIME...

AIMES项目开始于2016年,由墨尔本大学领导,设立初衷是希望通过对墨尔本街道中各种交通技术进行实....
发表于 2020-07-30 11:53 7次阅读
AI摄像头是澳大利亚综合多模式生态系统(AIME...

上海+联通,将绽放出怎样的智慧城市火花?

随着云计算、大数据、人工智能等新一代信息技术的不断成熟,它们开始与政务工作进行全方位融合,使得智慧城....
发表于 2020-07-30 11:49 6次阅读
上海+联通,将绽放出怎样的智慧城市火花?

天翼物联打造了CTWing智能物联网开放平台

与此同时,天翼物联正扩大终端招募,据赵建军介绍,针对新城市、新交通、新工业、新医疗、新港口、新能源以....
发表于 2020-07-30 11:32 49次阅读
天翼物联打造了CTWing智能物联网开放平台

在新基建大背景下,5G+AIoT产业链的重要性与...

通信技术专家、中国工程院院士孙玉先生为大会带来题为“说说物联网的来龙去脉”主题分享。
发表于 2020-07-30 11:16 54次阅读
在新基建大背景下,5G+AIoT产业链的重要性与...

中国自动驾驶文远知行宣布获得全国首个智能网联汽车...

加州机动车辆管理局要求,获得此牌照的任何公司仅将远程监视员作为安全冗余履行法定义务,并非作为远程测试....
发表于 2020-07-30 11:13 134次阅读
中国自动驾驶文远知行宣布获得全国首个智能网联汽车...

宏电工业物联网平台如何实现智能运维、预测性维护?

H3360车载智能综合网关是一类带边缘计算、二次开发能力的网关。具有开放式软件架构设计,提供快速灵活....
发表于 2020-07-30 11:07 56次阅读
宏电工业物联网平台如何实现智能运维、预测性维护?

企业利用AI驱动的网络来简化运营

随着AI、IoT等技术的飞速发展,网络正朝着云和自动化的方向演变,企业抱着云优先的IT理念,对网络提....
发表于 2020-07-30 11:03 55次阅读
企业利用AI驱动的网络来简化运营

建设智慧城市的有哪些好处?

该研究还指出了利益相关者的主要利益,并发现公民和商业目标在很大程度上是一致的。双方最重要的方面是提高....
发表于 2020-07-30 10:57 119次阅读
建设智慧城市的有哪些好处?

人脸识别应用已然成为计算机识别应用发展的主流技术...

风口之上,无数的企业前仆后继涌入人脸识别的市场,而魔点科技是早期的拓荒者之一。你一定体验过钉钉人脸识....
发表于 2020-07-30 10:52 75次阅读
人脸识别应用已然成为计算机识别应用发展的主流技术...

数字化制造助力经济重新腾飞

医疗行业一直是信息化、数字化和智能化的重点攻坚领域。中国作为一个人口大国,正面临着医疗卫生资源相对紧....
发表于 2020-07-30 10:48 66次阅读
数字化制造助力经济重新腾飞

无人驾驶公司近日曝光了利用远程驾驶来解决非常规交...

生活中经常会遇到道路临时短暂封闭,需要逆行绕行等非常规交通情况,目前AI水平还无法理解这种场景并做出....
发表于 2020-07-30 10:43 59次阅读
无人驾驶公司近日曝光了利用远程驾驶来解决非常规交...

下一个十年的人工智能会有什么改变?

现代企业生成数据,其中大多数仍在与数据滥用作斗争。大多数AI工具都将并正在为追求利润或权力而努力的公....
发表于 2020-07-30 10:39 305次阅读
下一个十年的人工智能会有什么改变?

中国家电市场以5G IoT等技术来赋能高端AI家...

从小米生态链的爆款法则到构建自己的多元化产业,以互联网思维做家电的云米,在过去六年的增长几乎都离不开....
发表于 2020-07-30 10:38 80次阅读
中国家电市场以5G IoT等技术来赋能高端AI家...

什么样的传统企业需要考虑+AI?

另外,人工智能虽然强大但是普及性有限,并没有人工智能成为一个平台可以直接使用。每一个传统企业都有客制....
发表于 2020-07-30 10:35 70次阅读
什么样的传统企业需要考虑+AI?

百家争鸣,AI落地医疗全场景

作为推动人工智能发展的主力军,各家医疗人工智能企业也参与其中,并进行了令人深思的发言。动脉网选取了其....
发表于 2020-07-30 10:33 87次阅读
百家争鸣,AI落地医疗全场景

永达集团持续推进汽车销售从云到端的数字化和物联网...

苏州——今日,英特尔联合永达集团和赢识科技,共同发布了以消费者为中心的“智慧4S店解决方案”。目前,....
发表于 2020-07-30 10:27 96次阅读
永达集团持续推进汽车销售从云到端的数字化和物联网...

富士通将深度学习与其研究多年的图像压缩技术相结合

采用深度学习来减少输入数据的维度被认为是帮助解决这一问题的有效方法,但由于缺乏对降维后数据分布和发生....
发表于 2020-07-30 10:24 46次阅读
富士通将深度学习与其研究多年的图像压缩技术相结合

联想推出智慧城市等行业智能化服务解决方案

机遇之下,随之而来的就是竞争。从微软的“三驾马车”战略、阿里巴巴的“被集成”战略、腾讯的“一云三平台....
发表于 2020-07-30 10:20 12次阅读
联想推出智慧城市等行业智能化服务解决方案

人脸识别就像一柄双刃剑,在某些场景中甚至弊大于利...

去年底,南都个人信息保护研究中心人工智能伦理课题组曾发布《人脸识别落地场景观察报告(2019年)》。....
发表于 2020-07-30 10:17 48次阅读
人脸识别就像一柄双刃剑,在某些场景中甚至弊大于利...

AI在根本上驱动在线办公效率提升

后疫情时代,在线办公平台挤满了各路玩家,阿里的钉钉、腾讯的企业微信/腾讯会议,百度“如流”(原名百度....
发表于 2020-07-30 10:14 45次阅读
AI在根本上驱动在线办公效率提升

搭建AI企业秀场,创造智能发展新机遇

020全球人工智能产品应用博览会(AIExpo2020)将于今年8月14日至16日在苏州国际博览中心....
发表于 2020-07-30 10:11 42次阅读
搭建AI企业秀场,创造智能发展新机遇

Flex2X软件可以根据过去的经验提前24小时对...

但是,这需要复杂的BMS,这些BMS允许建筑物实时参与电力市场,并对能源的供需进行预测,以确保建筑物....
发表于 2020-07-30 10:02 13次阅读
Flex2X软件可以根据过去的经验提前24小时对...

在2020年新基建浪潮下,人工智能技术正从各领域...

武汉市智能网联汽车道路测试和示范应用管理联合工作组办公室正式下发道路测试通知书,预示智能网联车辆将进....
发表于 2020-07-30 09:57 135次阅读
在2020年新基建浪潮下,人工智能技术正从各领域...

Speech2Face模型主要是为了研究语音与相...

 你相信吗?AI人工智慧最近已经进化到,只要花6秒的时间,听到你的声音除可以分辨出你的性别、年纪与种....
发表于 2020-07-30 09:51 20次阅读
Speech2Face模型主要是为了研究语音与相...

AI突破遭遇瓶颈?高校AI人才培养得益?

就在此前Guide2Research发布的2020全球顶尖计算机科学家排名中,马维英位居中国大陆第二....
发表于 2020-07-30 09:48 20次阅读
AI突破遭遇瓶颈?高校AI人才培养得益?

“新基建”是数字经济的基础设施

“新基建”主要包括5G基站建设、特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、人....
发表于 2020-07-30 09:45 83次阅读
“新基建”是数字经济的基础设施

3D打印技术将为人工智能的发展释放潜力

今时不同往日,3D打印不再仅仅是原型制造,它已经成为制造终端产品的补充性技术。因此,在经济形势不确定....
发表于 2020-07-30 09:44 68次阅读
3D打印技术将为人工智能的发展释放潜力

机器学习是AI工具不断扩展的集合之一

机器学习是AI工具不断扩展的集合之一,它将帮助人们做出更明智、更健康的决策。 “如果你想带孩子下午去....
发表于 2020-07-30 09:41 9次阅读
机器学习是AI工具不断扩展的集合之一

未来的智能社会将基于‘5G+云+AI’,构建万物...

5G SA核心网天然是一张云化的网络,通过SDN/NFV等技术实现控制和转发的分离,实现带宽的扩容、....
发表于 2020-07-30 09:21 46次阅读
未来的智能社会将基于‘5G+云+AI’,构建万物...

鼎桥5G+AI新品的发布将助力加速AIOT互联感...

2020年新基建的部署和推进正在为我国经济的恢复和发展注入强劲动能。作为新基建的“双子座”,5G和人....
发表于 2020-07-30 09:08 82次阅读
鼎桥5G+AI新品的发布将助力加速AIOT互联感...

普宙科技带来AI人工智能和多传感器融合的全栈式电...

普宙飞行器科技(深圳)有限公司的总经理武巍先生阐述了无人机图像智能算法在电力巡检的开发及应用,带来A....
发表于 2020-07-30 08:32 81次阅读
普宙科技带来AI人工智能和多传感器融合的全栈式电...

自动驾驶车的人车交互接口设计方案

随着高精度传感、自动化、人工智能等技术的飞速发展,预计到2021年市场上会出现第一批完全没有方向盘等驾驶控制器的自...
发表于 2020-07-30 07:57 0次阅读
自动驾驶车的人车交互接口设计方案

人工智能技术的发展赋予信息基础设施全面智能化

5G网络也推动了人工智能技术在各个行业落地应用。5G网络的大连接、低时延和高速率等特性以及云化、切片....
发表于 2020-07-29 18:35 240次阅读
人工智能技术的发展赋予信息基础设施全面智能化

5G与人工智能成为信息通信领域的两颗热门“双子星...

AI与5G如影随形,这是因为5G网络是基础设施,5G的铺设将大幅提升网络传输质量,为AI提供强大的网....
发表于 2020-07-29 17:42 87次阅读
5G与人工智能成为信息通信领域的两颗热门“双子星...

周鸿祎:利用基于大数据的人工智能解决万物互联时代...

“随着5G的落地商用,AR、VR以及AI这些交互技术肯定会迎来大发展,其中的新业务、新架构、新技术,....
发表于 2020-07-29 17:18 124次阅读
周鸿祎:利用基于大数据的人工智能解决万物互联时代...

5G加持的人工智能在军事领域应用前景

  改变战争指挥控制模式。5G高速率、低延时的特性,帮助操作员实现对战场各类智能化作战系统的精确操控....
发表于 2020-07-29 17:14 99次阅读
5G加持的人工智能在军事领域应用前景

带有2个电池的手机:Lenovo Legion ...

无论您在哪里,它都是一个好的处理器,存储空间和可继续使用的大电池。但是有些制造商希望给他们的终端加分....
发表于 2020-07-29 17:09 171次阅读
带有2个电池的手机:Lenovo Legion ...

基于FPGA的嵌入式系统的软硬件设计

本系统要实现的功能包括:可以运行嵌入式操作系统;支持NIOS II开发;支持USB通讯;支持RS-2....
发表于 2020-07-29 17:06 50次阅读
基于FPGA的嵌入式系统的软硬件设计

英特尔未来一段时间的重点是7nm和5nm芯片制程...

众所周知,台积电目前在芯片工艺方面走在行业前列,英特尔是全球重要的处理器供应商,7月28日,据国外媒....
发表于 2020-07-29 16:52 96次阅读
英特尔未来一段时间的重点是7nm和5nm芯片制程...

在新基建的潮流下 工业机器人的价值愈发凸显

在现代制造业发展过程中,工业机器人的价值正愈发凸显。特别是在人口红利减退、劳动力不足、产业变革加剧等....
发表于 2020-07-29 16:01 89次阅读
在新基建的潮流下 工业机器人的价值愈发凸显

5G、AI等现代信息化技术,成为大兴机场腾飞的新...

南方航空践行绿色环保理念,在大兴机场场内投放了766台运行车辆,其中70%的车辆为新能源车。为实现车....
发表于 2020-07-29 15:45 292次阅读
5G、AI等现代信息化技术,成为大兴机场腾飞的新...

疫情带动了新基建,也引领了5G、AI、云计算等产...

5G技术将成为释放工业自动化潜能的催化剂,为工业制造升级提供无限可能。广州港与上海振华重工、中国联通....
发表于 2020-07-29 15:12 151次阅读
疫情带动了新基建,也引领了5G、AI、云计算等产...

如何将FIFO ip内核连接到Kintex7 FPGA内的GPMC接口引脚?

我正在使用德克萨斯州的Dm8148处理器DAVINCI处理器制作定制板,它与GPMC引脚接口16个i / o线连接到Kinte...
发表于 2020-07-19 20:02 0次阅读
如何将FIFO ip内核连接到Kintex7 FPGA内的GPMC接口引脚?

N5396QIDC-DC转换器中文资料

  N5396QI是电源上的芯片(PwrSoC)的DC-DC转换器。它是专门为了满足精确的电压和快速现在和未来的瞬态要...
发表于 2020-07-02 14:20 55次阅读
N5396QIDC-DC转换器中文资料

MSC313E经济型高清IPcamera解决方案

  MSC313E是Sigmastar专为安防打造的经济型高清IPCameraSOC,内置PHY及DDR,多功能模块高度集成,...
发表于 2020-07-01 16:11 82次阅读
MSC313E经济型高清IPcamera解决方案

人工智能改变客户体验的10种方式

  1)为客户提供准确,个性化的建议   人工智能可以分析客户的购买历史,然后为他们可能感兴趣的其他产品和服务提...
发表于 2020-06-19 11:20 268次阅读
人工智能改变客户体验的10种方式

数字孪生再现旅行者号轨迹,可视化拉开航天新时代

[quote]做为数据可视化的一线重度参与者,本着技术为本,持续的奔波在自主研发的道路上。2020年,国家发改委多次点名‘...
发表于 2020-06-18 09:29 230次阅读
数字孪生再现旅行者号轨迹,可视化拉开航天新时代

在virtex 4 Ml403中采用Microblaze和PPC进行双处理器设计的问题如何解决

Hiiee 由于Virtex 4 Ml403不支持两个电源PC设计..我选择双处理器设计,一个微型电池和一个ppc但我遇到了一个错误...
发表于 2020-06-15 10:44 62次阅读
在virtex 4 Ml403中采用Microblaze和PPC进行双处理器设计的问题如何解决

处理器核的寄存器是16位的吗?

处理器是F28335 CCSv4 void foo() [      static uint64_t sum_A;     ...
发表于 2020-06-10 09:12 80次阅读
处理器核的寄存器是16位的吗?

车联网设计研发方案,产业链技术大比拼

无人驾驶技术及产业链精华集锦 构架基于OBD系统的远程汽车监测新方案车载诊断电路(On-Board Diagnostics,OB...
发表于 2020-06-09 15:49 515次阅读
车联网设计研发方案,产业链技术大比拼

处理器很耗电的原因有哪些

为什么我的处理器这么耗电?原因不只是一个小小的限流电阻...
发表于 2020-06-05 07:33 210次阅读
处理器很耗电的原因有哪些