书写艺术将脑机接口领域推向一个新的高度

老的书写艺术将脑-机接口（BCI）领域推向了一个新的高度。研究人员设计了一个系统，通过想象创造手写信息，一个人可以从大脑中直接与计算机通信。这种方法使交流的速度比以前通过大脑实验打字的速度快一倍多。

斯坦福大学的研究人员对一名65岁的脊髓损伤患者进行了这项研究，该患者的大脑中植入了一个电极阵列。科学家们最近在《自然》杂志上描述了这项实验。

密歇根大学生物医学工程师Cynthia Cheste没有参与这项研究，但她表示：“这篇论文的重大突破是它的速度非常快。这至少是健全人的打字速度的一半，这就是为什么这篇论文可以发表在Nature上面。”

多年来，研究人员一直在试验一种方法，使人们能够直接与计算机沟通，只通过思想，而不是口头命令，手的运动，或眼球运动。这种技术为那些因脑中风或疾病“被困”而不能说话的人提供了一种赋予生命的交流方式。

到目前为止，成功的脑机接口打字方法通常包括人们通过想象在数字键盘上移动光标来选择字母。与此同时，电极记录大脑活动，机器学习算法破译与这些想法相关的模式，将它们翻译成键入的单词。以前的大脑打字实验中，速度最快的一次实现了人们每分钟打字40个字符，即8个单词。

能做到这一点令人印象深刻，但在现实生活中，这种沟通的速度还是相当慢。斯坦福大学的研究人员通过一个解码与笔迹相关的大脑活动的系统，能够将这一速度提高一倍以上。在这个新系统中，瘫痪了大约10年的参与者可以想象他写句子时手的动作来进行“打字”。斯坦福大学的研究人员Frank Willett参与了这项实验。

植入受试者大脑运动皮层的微电极阵列记录了他试图写字时单个神经元的电活动。Willett表示：“受试者已经十多年没动过手，也没试过写字了，我们仍然设定了这些漂亮的神经活动模式。”

在实验中，一名受试者可以每分钟输入 90 个字符（即18个单词），这是此前使用脑机接口打字纪录的两倍多，接近同龄健全人每分钟 115 个字符的智能手机打字速度，而且在线原始准确率为 94.1%，离线自动校正的准确率超过 99%。

斯坦福大学的研究人员通过重新利用最初为语音识别开发的机器学习算法实现了这一壮举。这种被称为递归神经网络的深度学习算法，经过几个小时的训练，可以识别参与者在想象英文手写句子时的神经活动。Willett说，神经网络通常被训练成使用数万小时的音频数据和数百万张图像来识别语音和图像。因此，笔迹实验面临的挑战是在有限的数据量下实现高精度。

同时，Willett表示：“为了克服这个问题，研究小组采用了数据增强技术。我们只有机会收集大约100-500个不同的句子，我们可以让参与者写。所以我们把这些句子切碎成单独的字母，重新排列成无数不同的句子，我们发现这确实有助于这些算法准确性的提高。”

研究人员发现，由于神经活动的高峰和低谷因时间有所不同，可能由于书写速度的波动，神经活动似乎是强烈和可重复的。为了直观地观察笔迹尝试过程中记录的神经活动，他们使用时间比对技术来消除时间变异性，这揭示了每个字符特有的显著一致的神经活动模式。

为了确定神经活动是否编码绘制了每个形状所需的笔尖运动，研究人员通过从试验平均神经活动中线性解码笔尖速度来重建每个字符，容易辨认的字母形状证实了笔尖速度是可靠编码的，代表笔尖速度的神经维度占总神经方差的 30%。

其次，研究人员采用非线性降维方法（t-SNE），对每个试验的神经活动进行二维（2D）可视化，在对受试者给出 “go” 的提示后记录相关信息。

t-SNE 方法显示了每个字符的神经活动紧密簇和一种主导运动编码，在这种编码中，书写相似的字符更接近，将近邻分类器离线应用到神经活动中，可以对字符进行分类，准确率为 94.1%。

于是，研究人员得出结论，即使在瘫痪多年后，运动皮层中笔迹的神经表征可能仍足够强大，可以通过脑机接口技术表达出来。研究人员经对比分析，手写字母可能比点对点运动更容易区分，因为手写字母的神经活动时空模式比直线运动更为多样，而随时间变化的运动模式，从根本上说比点对点运动更容易解码。

虽然，当前的实验结果证明了高性能 “手写” 脑机接口是可能的，但它目前还不是一个完整的、临床上的商用系统。接下来还有更多工作值得探索，比如进一步提高打字性能，扩展字符集、启用文本编辑和删除等操作。密歇根大学的Chestek表示：“实验中提出的技术和算法适用于其他研究领域，例如将大脑连接到假手。不管这是否是最好的沟通方式，总体上来说，这种方法对于电机控制来说是很有前途的。”

目前的算法必须针对每个参与者进行培训和定制。它们还必须随着时间的推移重新校准，因为神经元往往会随着时间的推移而改变，电极阵列可能会稍微移动。Willett表示，下一步他希望减少初始训练时间，并想出一种算法自动重新校准的方法。

原文标题：脑机接口打破以往打字速度纪录

文章出处：【微信公众号：IEEE电气电子工程师】欢迎添加关注！文章转载请注明出处。

责任编辑：haq