NVIDIA GPU赋能BroADAS港机智能辅助驾驶系统方案

案例简介

博大视野（厦门）科技有限公司是业内领先的智慧港口视觉方案提供商。公司为全球港口用户提供坚固而智慧的港机智能辅助驾驶系统。公司自主研发的BroADAS港机智能驾驶系统是全球首创的ADAS理念运用于港口的可嵌入人工智能系统。BroADAS解决方案中通过使用NVIDIA GPU加速训练，使用TensorRT加速了视频推理和特征工程方面的工作，提升了研发的效率。

背景

博大视野（厦门）科技有限公司于2016年更名成立，是一家卓越的港口视觉方案提供商。公司以“专注视觉AI 赋能智慧港口”为使命将户外重工业摄像机、视觉AI算法、ADAS智能辅助驾驶理念三者合一，致力于为港口提供视觉解决方案，为起重机赋能，最终实现让港口更安全更智慧的社会使命。

博大视野自主研发的BroADAS港机智能辅助驾驶系统，是行业领先的将视觉人工智能用于港口辅助驾驶的平台。基于高质量的港机作业数据，AI 可以减少在人形、锁孔、集装箱号以及港口一系列图像识别方面的人工判断，并解决视野盲区的安全隐患，通过建模、模型训练、推理，以确保所研发的产品为港机司机提供安全舒适的驾驶体验，并为港口提升经济效益。

公司总部位于厦门市软件园二期，在新加坡、香港、上海、深圳设有办事处。如今，公司正携手业内合作伙伴，服务于国内外港口码头如新加坡港，上海港，厦门港，宁波港，泉州港和江苏港口集团。港机制造商振华重工、三一重工、海西重机、中联、徐工、中车等等都是公司的长期合作伙伴。

挑战

自动化码头是未来趋势，港机远控将成为未来自动化码头的集装箱运输部分的主要环节，通常的远控只实现控制，通过博大视野的BroADAS港机辅助驾驶系统，可以实现人形识别、辅助着箱（锁孔识别）等功能。通过GPU进行浮点运算，让识别功能的实现更快捷高效，实现资源的合理分配。

在港口行业的工业自动化领域有几大挑战：一是数据，平台需要海量的数据进行建模，分析，对数据的处理要快、准、全。二是算法，得到丰富的数据后，需要对数据进行分类和处理，同时要用到深度学习、机器学习技术对数据进行再次加工，计算出符合港口场景下图像识别，需要花费大量的研究投入。三是算力。需要支持海量策略的训练，只有CPU远远是不够的，需要建立 CPU+GPU 异构计算，实现资源的合理分配。

BroADAS港机智能辅助驾驶系统方案

该项目用到NVIDIA Jetson系列产品，用于实现BroADAS岸桥辅助驾驶系统中的行人识别，推理技术用到了英伟达的DeepStream SDK框架，该框架集成了丰富的视频处理功能和神经网络推理模块，极大的缩短了AI部署研发时间。

NVIDIA Jetson Nano 内部有硬件编解码模块，加速了视频编解码过程，缩短成像延时，同时减轻CPU和GPU的负担。

该项目采用了TensorRT进行推理加速，推理速度相比未采用TensorRT时加快了10倍，使得成像延时低于350ms，解决了增加AI推理成像延时过长的问题。

影响

在NVIDIA GPU强大的AI算力加持下，博大视野提升了产品的研发效率，提升了视觉AI功能的准确度，为博大视野服务于智慧港口领域打下了良好的基础，在同行业竞争中占得先机。

博大视野创始人及CEO吴南海表示：“在港口行业，摄像头就是港机设备的眼睛。特别是远控系统岸桥和场桥，司机的操控命令，都是通过摄像头画面进行判断。我们公司已经为各个港口提供了稳定的监控系统，已经有坚固稳定的“眼睛”， 现在我们要做的是，再给港机设备赋予智慧的大脑。博大视野自主研发的BroADAS岸桥辅助驾驶系统中的地面行人识别、正面吊360度环视行人识别系统，都有用到英伟达的DeepStream框架和TensorRT加速技术。”

博大视野技术总监冯凯表示：‘’DeepStream 框架和TensorRT加速技术，这两个技术特别适合应用于摄像机的视频推理加速、集装箱锁孔识别、车道线识别，我们会继续拥抱 NVIDIA 的技术，从而不断为智慧港口自动化码头赋能。NVIDIA GPU硬件平台为博大视野的产品研发提供了强大算力支撑，相信在英伟达初创加速计划的助力下，博大视野的视觉AI将研发及迭代得更快、更稳。“

编辑：jq