校企合作推动实现多项工业场景下AI边缘计算应用

在 AI 边缘计算领域，校企合作具有重要的意义。首先，AI 边缘计算需要依托于硬件技术和软件技术的双重优势，而高校和企业都拥有丰富的资源和技术实力，可以共同研发出更加先进的边缘计算平台和算法模型；其次，AI 边缘计算涉及到大量的数据采集和处理，需要依托高性能计算和大数据技术，通过校企合作，双方可以共同探索数据处理和分析的新方法，提高边缘计算的效率和精度；最后，AI 边缘计算需要依托于大量的专业人才，高校可以通过与企业合作，让学生更好地了解企业的实际需求和行业发展趋势，从而更好地指导学生的学习和研究方向。

在此背景下，天津科技大学电子信息与自动化学院郭肖勇老师和其指导的研究生，进行了很多积极且有意义的探索工作。他们目前正专注于工业场景下的 AI 边缘计算应用。“在多数工业场景中，如建筑工地或者地铁煤矿作业面，需要安装大量的视频监控设备，保证施工人员的安全和操作的规范。”郭肖勇老师说，“对于这些应用场景，在 GPU 服务器上部署模型存在成本高、网络流量消耗大以及能耗较大的问题。因此，如何在边缘系统中实现模型的部署，将各种传感器采集的数据消化在边缘，而只把有价值的分析结果发送回中心服务器，是一个有实际意义的研究方向。”

采用 Jetson Nano 开发施工安全监控系统

在工业场景中，目标检测的意义主要在于实现自动化和提高生产效率，而深度学习已经成为目标检测领域的主流算法。因为基于深度学习的算法能够从单帧视频画面中识别出多个种类、不同距离的多个目标。并且，这种算法的准确度和鲁棒性均大幅地高于传统的计算机视觉算法。

“深度学习模型的前向推理需要有一定算力的硬件来支持。传统的单片机或者工控机，由于计算资源十分有限难以满足需求。这也是长久以来很多深度学习领域内的科研成果无法落地、转化为生产力的一个主要原因。”郭肖勇老师介绍，“NVIDIA 推出的面向嵌入式领域的Jetson 平台，正好解决了这一难题。与其它的嵌入式系统相比，Jetson 平台上搭载的通用GPU（GPGPU）不仅可以实现深度学习模型的部署，也可以实现其它各种算法或程序所需的高性能并行计算。更重要的是，NVIDIA 为 Jetson 平台的开发提供了全套的 SDK 和开发者社区以及完整的生态系统，这样不仅帮助开发者有效地避坑避雷，也极大地节约了学习的时间成本。”

基于 Jetson 平台，郭老师团队开发了 Thrust Nano 5G 施工安全监控系统。该系统采用Jetson Nano模块作为计算核心。考虑到生产过程中环境复杂，为了保护脆弱的计算芯片，产品内使用了稳压电源、铜制导热板、全冲压金属外壳等手段。而为了与外部设备连接以构成计算网络，又引入了以太网接口和 4G/5G 物联网卡。同样，为了适用于更多的应用场景，系统还增加一对内置的音量大小可调节的音箱。在软件方面，程序全部使用 Python 开发，并对关键部分的代码用 Numba 进行加速，以提高程序的性能。内置的深度学习模型全部基于NVIDIA TensorRT SDK和DeepStream SDK进行优化和部署，这使得模型推理速度远远大于基于 PyTorch 或者 TensorFlow 的同类产品。此外，系统也支持方便灵活的二次开发，支持快速模型迭代。

应对复杂作业场景

“大部分的工业场景都很复杂，比如食品仓储、建筑工地和港口堆场，通常有大量的人员、车辆和货物等。”郭老师解释说，“在这些场景中通常有大量的潜在目标，对模型的要求很高，因此部署的模型必须尽量减少误识别或者漏识别的情况。过多的误识别会导致过多的误报警，这样会扰乱用户正常的操作。另一方面过多的漏识别则会让产品失去了应用的价值。”

基于 Jetson Nano 模块开发的 Thrust Nano 5G 施工安全监控系统可以部署各种主流的深度目标检测模型，例如：YOLO v3-v5 系列模型以及 SSD_Mobilenet 系列模型。

另一方面，在某些场景中目标移动速度较快，对模型的推理速度有很高的要求。为了应对推理速度的要求，在模型的部署和优化方面，郭老师首先使用自适应剪枝算法，对训练好的模型进行剪枝，然后再利用 TensorRT 对模型进行层融合和量化。最后，利用 DeepStream SDK 进行部署，从而实现视频流解码——多流混合——模型推理——视频流推流等各个环节的CUDA优化和 GPU 加速。与使用 OpenCV+TensorFlow 或 PyTroch 等框架的部署方案相比，基于 TensorRT 和 DeepStream 的部署方案模型推理速度可提升 10-20 倍。

目前郭老师团队基于这套方案，成功开发了盾构隧道电瓶车引导及预警系统、堆场作业车辆安全系统、拉丝机工作状态检测、集装箱开关门状态检测、空盘车状态检测、超远距离目标检测及电子围栏等应用。

“某一项技术如果没法走出实验室，那终究也将是纸上谈兵昙花一现。Jetson 平台及其开发工具提供了一种高效的模型部署方案，让论文中的代码和模型可以更好地走进生产和生活中。”郭老师表示。

郭老师最后说道：“作为 NVIDIA Jetson 开发者，我建议您不仅要熟练掌握 Jetson 平台的技术和开发工具，还应该了解实际的工业场景需求，并积极参与业界的合作。随着人工智能技术的快速发展，越来越多的企业和组织开始将其应用于实际的工业场景中，如自动驾驶、智能制造、智能家居等领域。因此，了解这些领域的需求和挑战，可以帮助您更好地开发出适合实际应用的人工智能解决方案。”

审核编辑：汤梓红