靠强化学习来调整机器人假肢的系统 让假肢更加灵活

来自北卡罗来纳州立大和亚利桑那州立大学的研究人员开发了一种智能系统，可以“调节”动力假肢膝盖，让患者在几分钟内就能自如地使用假肢行走，而不是由训练有素的临床医生来调节所需的几个小时。该系统是第一个完全依靠强化学习来调整机器人假肢的系统。当患者接受机器人假膝时，该设备需要进行调整以适应特定的患者。新的调整系统调整了12个不同的控制参数，处理假体动力学，如关节刚度，在整个步态周期。通常情况下，医生会与患者一起修改一些参数。这可能需要几个小时。新系统依靠一个计算机程序，利用强化学习来修改所有12个参数。它允许患者使用动力假膝在大约10分钟的时间内在平坦的地面上行走。

博科园-科学科普：研究人员从随机选择一组参数为患者提供动力假膝开始，然后让病人在可控的情况下开始行走。设备上的数据和病人步态是通过设备上的一套传感器收集。一个计算机模型对设备上的参数进行调整，并将患者的步态与实时正常行走步态进行对比。该模型可以判断哪些参数设置提高了性能，哪些设置损害了性能。利用强化学习，计算模型可以快速识别出患者能够正常行走的参数集。现有的方法，依靠训练有素的临床医生，需要半天的时间。虽然这项工作目前是在一个可控的临床环境中完成，但目标之一是开发该系统的无线版本，这将允许用户在真实环境中使用时继续微调动力假肢参数。

该论文的合著者、亚利桑那州立大学电气、计算机和能源工程教授詹妮·西(Jennie Si)说：这项工作是针对病人在平地上行走的情况进行，但原则上，也可以针对上下楼梯等情况开发强化学习控制器。从动态系统控制的角度进行了强化学习，它考虑了传感器的噪音、来自环境的干扰，以及系统安全和稳定的要求，研究人员意识到学习实时控制一个同时受到人体使用者影响假体设备是一个前所未有的挑战。这是一个协同适应问题，没有现成的解决方案，无论是从经典的控制设计或目前的，最先进的强化学习控制机器人。研究人员很激动地发现，强化学习控制算法确实学会了在如此激动人心的应用环境中让假肢设备作为人体的一部分工作。研究人员希望使这一过程更加有效，例如，通过识别或多或少可能成功的参数组合，并训练模型首先关注最有希望的参数设置，可能能够改进流程。

研究人员指出，尽管这项研究很有前途，但在广泛应用之前，还需要解决许多问题。例如本研究的假体调整目标是满足正常的步行膝关节运动，没有考虑其他步态性能(如步态对称性)或用户的偏好。另一个例子是，调优方法可用于在诊所和实验室之外对设备进行微调，使系统随着时间的推移适应用户需要。但是需要确保实际使用中的安全性，因为控制中的错误可能会导致绊倒和摔倒，还需要更多的测试来证明安全性。研究人员还指出，如果该系统被证明是有效的，并得到广泛使用，它可能会通过限制患者与医生进行临床访问的需求，从而降低患者的成本。其研究成果论文名为《机器人膝关节假体个性化的在线强化学习控制》，发表在《IEEE控制学报》(IEEE Transactions on Cybernetics)上。