如何使用深度强化学习进行机械臂视觉抓取控制的优化方法概述

　　针对提高视觉图像特征与优化控制之间契合度的问题，本文提出一种基于深度强化学习的机械臂视觉抓取控制优化方法，可以自主地从与环境交互产生的视觉图像中不断学习特征提取，直接地将提取的特征应用于机械臂抓取控制。通过不断的抓取实验，优化机械臂抓取策略，最终获得优秀的抓取策略。并且可以针对不同的抓取任务和抓取环境，学习相应的机械臂抓取控制策略。

　　神经网络是人工智能研究领域的核心之一，其本质是模拟人脑的学习系统，通过增加网络的层数让机器从数据中学习高层特征。近年来，由于神经网络优异的算法性能，已经广泛应用于图像分析、目标检测等领域。

　　视觉图像提供了丰富的特征信息，可以提供某个时刻对于研究问题所需要的环境的有效状态信息。正因为其具有的丰富的特征信息量，视觉图像被广泛应用于如机器人导航、机械臂控制等许多应用上。纯粹基于视觉图像的抓取控制，其质量极大地依赖于图像的特征提取的准确性和机械臂抓取控制的动力学模型的准确性。但是，传统的视觉特征提取算法受环境动态变化的影响，手工提取的特征往往费时费力，很难满足机械臂抓取控制的需求。同时，机械臂运动轨迹的求解与规划，正逆动力学模型的建立往往也十分困难。

　　目前国内外许多文章提出了不同的机械臂控制方法，近年来由于图像识别技术的发展以及人工智能得到广泛的运用，出现了将两者结合起来用于机械臂的控制，并且取得了良好的效果。将机械臂避障路径规划问题置于强化学习的框架当中，采用深度Q 学习的方法训练策略以规划路径，使得机械臂能够在空间中存在障碍物的情况下实现避障抓捕。对图像进行了预处理并提取了目标边缘，结合目标特点对提取的边缘进行了椭圆拟合，并对椭圆拟合偏差进行了分析。针对常规方法设计视觉控制器的不足，基于BP 神经网络对视觉控制器进行了设计，考虑了不同网络参数和训练算法对网络训练效果的影响。深入分析了机械臂特性和目标特性，在建立机械臂、相机和目标的运动关系的基础上，基于立体视觉实现了对空间目标的位姿测量，控制机械臂进行抓取预定位。考虑立体相机的测量误差和机械臂的控制精度因素，在抓取末阶段采用单目相机，基于图像的视觉伺服策略控制机械臂进行精确位姿调整对目标进行抓取。以二自由度机械臂为基础，用摄像机获取机械臂运动区域的图像，通过图像分析，求解机械臂末端执行器在直角坐标空间的坐标值，将该值作为系统的实际位置，并通过反馈与期望坐标值相减，将所获得的误差作为机械臂控制系统的补偿量，实现整个系统的全闭环控制，进一步解决了原半闭环控制带来的控制精度不高的问题。针对多自由度机械臂的神经网络控制问题，将控制系统根据自由度分为两个子系统，提出全局神经网络与局部神经网络组合对机械臂系统进行控制。

　　指出机械臂视觉抓取系统中基于深度学习的视觉识别可通过对深度卷积神经网络的训练实现多目标快速识别而不必更改识别算法。这需要搜集被检测目标的大量图像制作标准的训练集，利用前述基于深度神经网络的目标识别算法对数据集进行离线训练，将得到的模型用于在线识别。R-CNN 系列算法是目前主流的用于机械臂抓取的深度学习目标检测算法，但是速度上并不能满足实时的要求。

　　机械臂视觉抓取在常规的机器人学、控制理论的基础上，融合了计算机视觉理论、深度学习和人工智能等学科，具有重要的科研和应用价值。

　　如何提高视觉图像特征与优化控制之间的契合度是现有技术需要解决的问题。针对现有技术的缺点，本文提出了一种结合深度强化学习［15］的机械臂视觉抓取控制优化方法。在建立在人工智能算法深度强化学习的基础上，能自主地学习视觉图像的特征提取，并有效地规划机械臂的抓取控制轨迹。同时，根据不同的应用环境和抓取目标，自主地学习相应的机械臂抓取控制策略，提高了算法的泛化能力。深度强化学习的应用，避免了人为的特征提取和运动轨迹计算，提高了准确度，简化了复杂度，从而提升实际机械臂抓取控制的效率。