利用对抗性深度强化学习来衡量自动驾驶汽车的运动规划和碰撞避免机制的可靠性

智车科技 2018-06-08 09:54 次阅读

现如今,随着人工智能技术的迅速发展,人们普遍认为,未来的交通系统将由自动驾驶汽车(AV)所主导。可以说,对于更为安全的交通设施的需求是引起人们对自动驾驶汽车感兴趣并推动其发展的一个主要推动力。但不可否认,就现在而言,可靠和具有鲁棒性的自动驾驶汽车技术的发展仍然是一个持续的挑战,对可靠的运动规划和碰撞避免机制的研究尤其重要。最近,堪萨斯州立大学(Kansas State University,KSU)的科学家了提出了一种基于深度强化学习的新框架,用于对自动驾驶汽车的碰撞避免机制的行为进行基准测试。

现如今,随着人们对自主导航的兴趣日益增长,关于运动规划和碰撞避免技术(collision avoidance techniques)的研究已经加速了全新提议和新进展的速度。然而,新技术的复杂性及其安全性要求使得当前的大部分基准测试框架不充分,因此对高效的比较技术的需求没有得到满足。这项研究提出了一种基于深度强化学习的新框架,用于在处理最佳对抗性智能体的最坏情况下对碰撞避免机制的行为进行基准测试,该最佳对抗性智能体进行训练从而将系统驱动到不安全状态。我们将这个框架的体系结构和流程描述为一个基准测试解决方案,并通过一个比较两种碰撞避免机制的可靠性的实际案例研究来证明其有效性,从而对有意识的碰撞尝试做出回应。

人们普遍认为,未来的交通系统将由自动驾驶汽车(AV)所主导。随着近年来这一领域的迅速发展,许多人预测这种转变将在未来十年内发生。对更为安全的交通运输的需求,是引起人们兴趣和推动自动驾驶汽车发展的一个主要动机。一般认为,用专家计算模型代替人类驾驶员的内在缺陷,可以显著减少由驾驶员的误差所导致的事故数量。然而,可靠和具有鲁棒性的自动驾驶汽车技术的发展仍然是一个持续的挑战,并且人们正在积极从各个研究和发展方向来追求这一目标。

图1:对抗性目标的图释

对可靠的运动规划和碰撞避免机制的研究尤其重要。在过去数十年的时间里,科学家们已经提出了许多解决这个问题的方法,从控制理论形式化和最优控制方法到潜在的基于场和规则的技术(field- and rule-based techniques),等等。最近,机器学习的进步使得基于诸如模仿学习和深度强化学习(RL)等技术的全新数据驱动的碰撞避免方法成为可能。然而,随着其部署环境和机制日益复杂,为这些解决方案提供安全保障的挑战变得越来越困难。一个值得注意的例子是交通碰撞避免系统(TCAS),在它广泛部署到NextGen商用飞机之前,它就已经满足了联邦航空局(FAA)的严格安全要求。然而,最近的一些表现表明它在现代高密度空域中非常不可靠,在一定程度上,它可能会导致不可避免的碰撞状态(ICS)——不管未来的轨迹如何,最终都会发生碰撞。此外,最近的研究表明,自动感知和避免机制可以被对抗性地加以利用以操纵自动驾驶车辆的运动轨迹。

作为回应,科学家们提出了越来越多的缓解技术和全新的安全运动规划方法,但每一种都有特定的特定于案例的假设和验证程序。因此,对这些方法进行定量比较变得非常困难。当前最为先进的方法包括在运动规划和碰撞避免中对安全行为进行基准测试的几次尝试,但是许多现有的框架未能满足基于机器学习的新自适应技术的要求。而且,目前的基准测试框架并不能提供全面的和具有鲁棒性的探测机制,用于在不理想状态和轨迹的复杂空间中进行探索。这种框架中的突出方法是基于随机化或基于情景的障碍产生,这些障碍很容易丢失特定于被测机制的关键ICS或其他不需要的状态。这些框架中的另一种方法依赖于计算上昂贵的碰撞状态可达性分析技术,而这也无法为安全运行的关键边界提供具体的保证。

图2:实验环境设置

为了弥补以安全为中心的基准测试的缺陷,本文提出了一种基于机器学习的新框架,用于在与最优对抗性智能体进行交互的最坏情况下对新技术的可靠性进行基准测试。该框架采用深度强化学习的强大的探索和优化性能来训练对抗性自主智能体,而该智能体的目标是学习旨在将系统驱动到ICS和其他不安全状态的最佳导航策略。根据分析的参数和目标,这些目标可能包括对抗性智能体与自动驾驶汽车的直接碰撞,或利用避免碰撞机制来操纵自动驾驶汽车的轨迹以改变和控制其路径,或间接诱发自动驾驶汽车和环境中的其他物体之间的碰撞。

在此基础上,这项研究的主要贡献包括:

1)提出碰撞避免算法的最坏情况基准测试的计算框架和处理流程,且独立于其复杂性、随机性以及自适应动力学。

2)提出深度强化学习过程流程以无缝地适应于被测系统,并克服完全随机或基于情景的探索机制的缺点。

3)提出关于碰撞避免算法标准化比较的全新的衡量指标。

4)通过一个比较两种碰撞避免机制应对故意碰撞企图的可靠性的实际案例研究,来证明所提出框架的实际应用和效果。

图3:实验结果——平均超过100次运行

总而言之,在本文中,我们提出了一个流程和框架,它利用对抗性深度强化学习来衡量自动驾驶汽车的运动规划和碰撞避免机制的可靠性。我们已经确立了这一框架的优势,要超过当前的基准测试规划,其中包括灵活性和通用性、通过针对特定系统下测试、样本效率和自定义探索机制对对抗性策略进行训练获得的适用性探测,以及为不同系统之间的基准测试和比较提供基线(例如,最坏的情况)测量。

可以这样说,本文所提出框架的直接架构为进一步研究提供了一些潜在的研究领域。紧随而来的下一个步骤就是将此框架应用于显著的和最近发布的运动规划和碰撞避免技术中,目的是为相关研究项目创建参考基准。另一个有发展前景的研究领域是检查近期发布技术的适用性,这些已发布的技术声称在对抗性干扰下进行训练可以增强策略的适应力和鲁棒性。因此,通过对对抗性策略和碰撞避免的强化学习模型的结合性训练进行调查,可能会出现潜在的缓解和防御技术。

原文标题:对抗强化学习最新研究:可用于自动驾驶汽车「碰撞避免机制」检测

文章出处:【微信号:IV_Technology,微信公众号:智车科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

机器加装传感器 大幅提升企业营运运转效率

据报导,把机器感测技术和生产设备相互集成,可以从各个层面大幅提升运转效率。

发表于 10-20 08:48 5次 阅读
机器加装传感器 大幅提升企业营运运转效率

工业4.0带来企业新方向 ERP引来新挑战

据的研究,随著工业4.0的出现,企业正在迅速调整技术部门征才方向。该研究邀请英国各地CIO就影响现代....

发表于 10-20 08:06 9次 阅读
工业4.0带来企业新方向 ERP引来新挑战

预测性维护是制造业迈向工业4.0的关键要素

制造业在进行数码转型(digital transformation)、迈向工业4.0(Industr....

发表于 10-20 08:00 15次 阅读
预测性维护是制造业迈向工业4.0的关键要素

海外巨头布局物联网家居领域

小米生态链企业云米科技当地时间25日正式在美国纳斯达克交易所挂牌交易,成为“物联网家居第一股”。近年....

发表于 10-20 07:31 8次 阅读
海外巨头布局物联网家居领域

自动驾驶未来将大量引进远程驾驶与脸部辨识技术

自驾车就像人类驾驶一样,也需透过经验的累积增进驾驶能力。为此科技厂商研发了数码化平台与模拟系统,希望....

发表于 10-20 07:28 5次 阅读
自动驾驶未来将大量引进远程驾驶与脸部辨识技术

智能制造的载体是什么?

智能制造是以智能技术为代表的技术为指导的先进制造,包括智能化、网络化、数字化和自动化为特征的先进制造....

的头像 OFweek工控 发表于 10-19 16:50 213次 阅读
智能制造的载体是什么?

英特尔携手罗尔斯•罗伊斯研发自动驾驶货船

强强联合,让商业化船舶更加安全高效,共同改变全球船舶行业。

的头像 知IN 发表于 10-19 16:40 140次 阅读
英特尔携手罗尔斯•罗伊斯研发自动驾驶货船

人工智能正在逐渐改变着终端侧的生活

从智能家居到智能手机,从物联网到无人驾驶汽车,人工智能正在逐渐改变着终端侧的生活。

的头像 Thundersoft中科创达 发表于 10-19 16:36 743次 阅读
人工智能正在逐渐改变着终端侧的生活

人脸识别应用成数据安全重灾区,完善人脸识别应用任重道远

搭载“黑科技”人脸识别的新iPhone发售在即,买了手机号码后要“刷脸”激活、支付宝联手肯德基试水“....

发表于 10-19 16:24 67次 阅读
人脸识别应用成数据安全重灾区,完善人脸识别应用任重道远

人工智能无人机如何改变我们的生活?

科技正在以一种近乎革命性的手段,解决生活中真实存在的难题!人工智能的出现,重新定义了人类所认知的无人....

的头像 机器人博览 发表于 10-19 16:22 718次 阅读
人工智能无人机如何改变我们的生活?

人工智能如何应用于用户和网络行为分析

AI在安全方面的角色对白帽黑客和网络罪犯都很有吸引力,但目前似乎还没有找到双方的平衡。

的头像 机器人博览 发表于 10-19 16:20 181次 阅读
人工智能如何应用于用户和网络行为分析

北汽新能源公布了其未来的新车以及自动驾驶战略规划

根据北汽新能源规划,其将在2021年之前推出多款车型,包括EX系列的长轴距长续航换代车型以及全新的A....

的头像 车联网 发表于 10-19 16:18 442次 阅读
北汽新能源公布了其未来的新车以及自动驾驶战略规划

什么是人工智能以及如何使用它

机器学习、自然语言处理和人工智能(AI)都旨在将数据从人们生活中的简单部分转换为认知组件。最终,将会....

的头像 AI人工智能D1net 发表于 10-19 16:07 211次 阅读
什么是人工智能以及如何使用它

究竟这些倍增企业有何成功的密码?

为何取得这样的好成绩?企业董事长刘述峰详细道来:“生益科技非常非常重视研发投入,并且有非常明晰的战略....

的头像 PCBworld 发表于 10-19 16:05 472次 阅读
究竟这些倍增企业有何成功的密码?

美将在人工智能领域对中国提出制裁

美国在贸易战的背景下向中国通信公司发难之后,又开始琢磨在人工智能领域向中国下手。英国路透社27日报道....

的头像 重庆人工智能 发表于 10-19 16:00 220次 阅读
美将在人工智能领域对中国提出制裁

国之重器的创新未来,物联网产业规模达万亿级

众所周知,中美贸易战争的越演越烈,导致部分元器件价格上涨,被动元器件交期延长,严重影响了中小微企业订....

的头像 满天芯 发表于 10-19 15:27 216次 阅读
国之重器的创新未来,物联网产业规模达万亿级

解析智能控制技术是什么及与传统控制的区别

智能控制(intelligent controls)在无人干预的情况下能自主地驱动智能机器实现控制目....

发表于 10-19 15:24 80次 阅读
解析智能控制技术是什么及与传统控制的区别

智能驾驶产业发展需要四大关键因素,其中之一就是基础设施

昨天,百度掌门人李彦宏在世界智能网联汽车大会上阐述了智能驾驶产业发展需要四大关键因素,其中之一是基础....

发表于 10-19 14:37 27次 阅读
智能驾驶产业发展需要四大关键因素,其中之一就是基础设施

海康机器人与大族视觉合作瞄准机器视觉和智能检测

近日,自动驾驶公司 Momenta 对外公布完成新一轮融资,本轮战略投资者包括腾讯等多家机构,国资背....

的头像 智能制造发展联盟 发表于 10-19 14:36 234次 阅读
海康机器人与大族视觉合作瞄准机器视觉和智能检测

大众汽车宣布正在开发新的前大灯以改善道路行驶安全

报告指出,公众现在对自动驾驶的定义越来越糊涂,经常对高级驾驶员辅助系统(ADAS)的能力产生误区,比....

的头像 高工智能汽车 发表于 10-19 11:47 364次 阅读
大众汽车宣布正在开发新的前大灯以改善道路行驶安全

一直是人工智能帮我们解决问题,但你知道它尚未解决的问题还有哪些吗?

每天我们都在报道人工智能又解决了哪些问题,今天我们做一次逆向思考,人工智能尚未解决的问题有哪些?

发表于 10-19 11:19 34次 阅读
一直是人工智能帮我们解决问题,但你知道它尚未解决的问题还有哪些吗?

一种基于A*算法的用于道路场景的轨迹规划方法

路径规划是智能车辆导航和控制的基础,是从轨迹决策的角度考虑的,可分为局部路径规划和全局路径规划。全局....

的头像 智车科技 发表于 10-19 11:17 194次 阅读
一种基于A*算法的用于道路场景的轨迹规划方法

人工智能与区块链结合将面临哪些挑战?

我在密码学领域已工作了二十多年,并且自其诞生以来,我一直是密码学发展的积极参与者。尤其是,我认为人工....

发表于 10-19 11:16 70次 阅读
人工智能与区块链结合将面临哪些挑战?

人工智能在慢性病领域迎来重大突破

慢性病是我国乃至世界面临的重大医疗难题之一,糖尿病、帕金森、阿兹海默症等慢性病,发病症状不明显,早起....

的头像 物联网技术 发表于 10-19 11:15 773次 阅读
人工智能在慢性病领域迎来重大突破

三星聚焦自动驾驶生态,专攻汽车半导体方向

随着电池、半导体、通信和其他支持技术的发展,这些举措已经成为可能,这些技术正带来 2000 亿美元以....

的头像 宽禁带半导体技术创新联盟 发表于 10-19 11:10 532次 阅读
三星聚焦自动驾驶生态,专攻汽车半导体方向

我国经济正在逐渐转型,人工智能红利正慢慢走来

中共十九大报告提出中国经济已由高速增长阶段转向高质量发展阶段,正处在转变发展方式、优化经济结构、转换....

发表于 10-19 11:07 30次 阅读
我国经济正在逐渐转型,人工智能红利正慢慢走来

MIT宣布了一项新的10亿美元的捐赠项目

Schwarzman说:“我们国家面临的最重要的机遇或挑战,莫过于如何负责任地利用人工智能的力量,让....

的头像 电子发烧友网工程师 发表于 10-19 10:10 402次 阅读
MIT宣布了一项新的10亿美元的捐赠项目

如何让网络满足业务的需求?

但例如公有云等非全栈业务由于能掌控的方面基本只能到虚拟机操作系统层面,从用户接入到数据库都是第三方自....

发表于 10-19 09:55 37次 阅读
如何让网络满足业务的需求?

自动驾驶成本下降,软件比硬件迭代来的更快

未来依靠算法的进步实现的成本下降,可能会比硬件迭代来的更快。

的头像 高工智能汽车 发表于 10-19 09:52 225次 阅读
自动驾驶成本下降,软件比硬件迭代来的更快

探讨千兆以太网在ADAS/AD应用中的若干EMC教训

千兆以太网虽然具有众多优势,但是在进入汽车时还遇到了很多问题,譬如 EMC 的问题。

的头像 佐思汽车研究 发表于 10-19 09:37 102次 阅读
探讨千兆以太网在ADAS/AD应用中的若干EMC教训

创造AI可能是人类历史上最后一个大事件

一个超级智能的人工智能会非常擅长实现它的目标,如果这些目标与我们的不一致,我们就有麻烦了。你可能是憎....

的头像 新智元 发表于 10-19 09:03 750次 阅读
创造AI可能是人类历史上最后一个大事件

我国新一代信息技术领域与发达国家比较,有技术理论方面的差距

倪光南指出,当前,网络安全和信息化领域比传统的领域要好,因为中国工业化比发达国家落后的多,比如,大飞....

发表于 10-19 09:01 133次 阅读
我国新一代信息技术领域与发达国家比较,有技术理论方面的差距

自动驾驶与测绘地理信息行业的发展思考

自动驾驶汽车将成为130多年前汽车发明以来最伟大的移动革命。

的头像 智车科技 发表于 10-19 09:00 247次 阅读
自动驾驶与测绘地理信息行业的发展思考

人工智能的漏洞及时发现和纠正,有赖于科技政策和机制的进一步规范

最近,亚马逊招聘软件被爆出具有“重男轻女”的倾向,给女性求职者打低分。这一时刷新了人们对人工智能更加....

发表于 10-19 08:59 28次 阅读
人工智能的漏洞及时发现和纠正,有赖于科技政策和机制的进一步规范

以华为沃土AI开发者使能计划为主导,华为云正积极全面布局人工智能

一年一度的华为全联接大会,已经成为全球最受关注的顶级科技盛会之一,每年均吸引着来自海内外的数万人现场....

发表于 10-19 08:51 26次 阅读
以华为沃土AI开发者使能计划为主导,华为云正积极全面布局人工智能

MIT迎成立70年最大架构变化,10亿美元投资人工智能领域

提及人工智能学习与教育,美国麻省理工学院(以下简称“MIT”)当属其中的佼佼者。此前,曾有一项关于全....

发表于 10-19 08:45 42次 阅读
MIT迎成立70年最大架构变化,10亿美元投资人工智能领域

人工智能的淘金浪潮中,创业公司该怎样才能保证最大化自身的收益呢?

人工智能显然已经成为了被人们热烈追捧的对象,无数的创业公司都加入了这一场“淘金”之中。但是,在人工智....

发表于 10-19 08:41 24次 阅读
人工智能的淘金浪潮中,创业公司该怎样才能保证最大化自身的收益呢?

自动驾驶公司Momenta完成新一轮融资,估值创纪录

自动驾驶公司Momenta今日对外公布完成新一轮融资,本轮战略投资者包括腾讯等多家机构,并迎来招商局....

的头像 CINNO 发表于 10-19 08:38 384次 阅读
自动驾驶公司Momenta完成新一轮融资,估值创纪录

未来10年医疗金融保险会因为人工智能发生翻天覆地的变化

一直以来,当一项新技术变得容易落地,就是它进入工业界的时刻。这就是人工智能和大数据领域正在发生的事情....

发表于 10-19 08:35 73次 阅读
未来10年医疗金融保险会因为人工智能发生翻天覆地的变化

基于魔视智能先进的嵌入式深度学习技术的辅助自动驾驶产品正式量产落地

深度学习有效的推动了人工智能技术飞跃,但是算法复杂性对于芯片算力的依赖始终困扰着整车产品工程。如何在....

的头像 电子发烧友网工程师 发表于 10-18 17:12 727次 阅读
基于魔视智能先进的嵌入式深度学习技术的辅助自动驾驶产品正式量产落地

福特研发出用手机完成自动驾驶车辆转向的技术

福特希望自动驾驶车辆的用户能够利用智能手机完成车辆的转向操作。

的头像 智车科技 发表于 10-18 15:54 186次 阅读
福特研发出用手机完成自动驾驶车辆转向的技术

英伟达联手VisionLabs,打造一款不用钥匙的自动驾驶汽车

无钥匙进入已经是现在量产车上比较常见的舒适性配置,钥匙放在口袋里就能被汽车感应到实现解锁,省时省力,....

发表于 10-18 15:53 79次 阅读
英伟达联手VisionLabs,打造一款不用钥匙的自动驾驶汽车

智能医疗在未来的发展过程中有以下三种值得关注的积极趋势

人工智能对于医疗的影响,并不止于上文所概述的智能诊断、智能治疗、健康管理和医疗管理等方面的内容,其他....

发表于 10-18 15:32 550次 阅读
智能医疗在未来的发展过程中有以下三种值得关注的积极趋势

英伟达在自动驾驶芯片领域暂时处于领先地位

【加入高工智能汽车行业群(自动驾驶行业3群,车联网智能座舱2群,智能商用车行业群),加微信:1581....

的头像 高工智能汽车 发表于 10-18 15:19 587次 阅读
英伟达在自动驾驶芯片领域暂时处于领先地位

中日有望通过三大措施,联手促进双方智能网联汽车产业共同发展

国庆黄金周刚过不久,10月12日,第一届中日智能网联汽车官民论坛在日本东京举办,中国汽车工业协会和日....

发表于 10-18 15:16 265次 阅读
中日有望通过三大措施,联手促进双方智能网联汽车产业共同发展

作为一名开发者,你的机器学习之路选对了吗?

杨旭,阿里巴巴资深技术专家。2004年获南开大学数学博士学位;随后在南开大学信息学院从事博士后研究工....

的头像 电子发烧友网工程师 发表于 10-18 14:19 712次 阅读
作为一名开发者,你的机器学习之路选对了吗?

分享一个自己写的机器学习_Logistic分类算法

假设函数: 代价函数:利用极大似然估计代价函数 实现了凸函数特征              ...

发表于 10-18 12:25 22次 阅读
分享一个自己写的机器学习_Logistic分类算法

语音合成技术简介,深度学习技术对合成技术发展的影响

第一阶段:锦上添花。从 2012 年开始,深度学习技术在语音领域逐渐开始受到关注并得以应用。这一阶段....

的头像 电子发烧友网工程师 发表于 10-18 11:50 203次 阅读
语音合成技术简介,深度学习技术对合成技术发展的影响

专访NLP领域的华人新星——加州大学圣巴巴拉分校助理教授王威廉

在 NLP 领域,实体标注等工作的结果都非常好了,基本上都超过 90% 的准确率。现在的一些工作,包....

的头像 电子发烧友网工程师 发表于 10-18 11:39 419次 阅读
专访NLP领域的华人新星——加州大学圣巴巴拉分校助理教授王威廉

人工智能打破了视频监控发展的天花板,促进安防行业智能化发展

随着经济的进步发展,人们更加注重企业、社区、公共场所等安全防范问题,安全及安保需求大幅释放。我国政府....

发表于 10-18 11:33 104次 阅读
人工智能打破了视频监控发展的天花板,促进安防行业智能化发展

AI芯片市场可谓火爆异常,看老王怎么看?

老王不得不先吐槽这些年的市场乱象。 只见新闻不见芯片 AI芯片市场可谓火爆异常,做芯片已经不再是芯片公司的专利,这几...

发表于 10-18 11:06 218次 阅读
AI芯片市场可谓火爆异常,看老王怎么看?

智能治疗:手术中的“达芬奇”

在智能诊断的基础上,人工智能也正在被应用于治疗领域,其中最重要的应用形式便是手术机器人。实际上,在这一次人工智能浪潮兴起...

发表于 10-17 21:21 87次 阅读
智能治疗:手术中的“达芬奇”

亚马逊Echo和Google Home:哪款智能音箱更适合你?

如果你关注智能音箱产品,那么你肯定认识亚马逊Echo和Google Home。这两款来自两大科技巨头的产品,无论从功能还是颜值上,都...

发表于 10-16 16:56 91次 阅读
亚马逊Echo和Google Home:哪款智能音箱更适合你?

所有看见的车辆都为自动驾驶提供了动力

汽车的生命历史已经发展了数百种想法,系统和功能,并成为我们今天驾驶的车辆的标准功能。 一路上,有些人比其他人更突出。 这...

发表于 10-16 09:46 68次 阅读
所有看见的车辆都为自动驾驶提供了动力

人工智能可助辨识细胞结构

美国艾伦细胞科学研究所的科学家使用机器学习技术训练计算机,使其可在不使用荧光标记的情况下较为准确地辨认出细胞结构。 ...

发表于 10-15 05:21 103次 阅读
人工智能可助辨识细胞结构

2019年北京软博会软件行业技术产品展览会

    2019年北京软博会                    &n...

发表于 10-13 11:12 105次 阅读
2019年北京软博会软件行业技术产品展览会

精选人工智能书籍汇集(十五本)

找了很久才找到这15本书,大家可以收藏一下慢慢学习 ...

发表于 10-12 16:04 662次 阅读
精选人工智能书籍汇集(十五本)

中国AI公司估值在10亿美元以上公司,为何这么多?

一个令人惊讶的事实,现在有14家中国AI公司估值在10亿美元以上。根据中国货币网最近在北京举行的世界经济论坛夏季达沃斯会议期...

发表于 10-11 16:38 579次 阅读
中国AI公司估值在10亿美元以上公司,为何这么多?

可扩展图像传感器平台用于先进驾驶辅助系统和自动驾驶

汽车行业正从SAE L2(车辆在人类监督下控制加速、刹车和转向)向完全自主的L5(车辆无需与人互动)发展,因此对强大图像传感...

发表于 10-11 14:26 31次 阅读
可扩展图像传感器平台用于先进驾驶辅助系统和自动驾驶