混合MI-SSVEP是否真的是更优的范式？

稳态视觉诱发电位是一种基于视觉刺激的脑机接口范式，当用户注视以固定频率（如6.67Hz或8.57Hz）闪烁的视觉刺激时，大脑枕区视觉皮层会产生相同频率及其谐波的周期性电活动，通过检测这些频率成分即可识别用户的注视目标，从而实现指令输出。SSVEP范式具有识别速度快、解码准确率高、可扩展指令类别多等优点，已被广泛应用于外部设备控制和文本拼写系统中。然而，该范式存在一个显著弊端：用户需要长时间持续注视屏幕上的闪烁刺激，这种高频率的光学刺激容易引发视觉疲劳、注意力下降甚至头晕等不适感，尤其当刺激频率较低时闪烁感更为明显，限制了其在需要长时间使用的实际应用场景中的推广。

图1：三种BCI模式示意图

图1展示了本研究所涉及的三种工作模式。左侧为MI模式，受试者仅通过想象左手或右手运动产生脑电信号，无需外部视觉刺激。中间为SSVEP模式，受试者注视左侧或右侧以特定频率（6.67Hz或8.57Hz）闪烁的刺激，诱发稳态视觉诱发电位。右侧为混合模式，受试者在注视闪烁刺激的同时，想象与刺激方向一致的手部运动，两种任务并行执行，系统同时采集MI和SSVEP信号进行联合解码。

HUIYING

运动想象（MI）范式概述

运动想象范式要求用户在没有任何实际肢体动作的情况下，想象特定肢体（如左手或右手）的运动过程，此时大脑运动皮层会被激活并产生与真实运动相似的神经放电模式，这些模式可通过脑电电极在感觉运动皮层区域（如C3、C4等导联）记录到。MI范式的最大优势在于无需外部刺激，用户仅凭意念即可控制外部设备，特别适用于运动功能障碍患者（如脊髓损伤或中风后遗症）的康复训练和辅助设备控制。然而，MI范式存在解码准确率偏低和可识别指令类别较少的突出问题。论文数据显示，传统单流CNN在MI模式下的平均解码准确率仅为70.4%，远低于SSVEP模式的93.7%；同时，不同用户之间的MI脑电特征差异较大，部分受试者甚至难以产生可辨识的运动想象模式，导致系统鲁棒性不足。

HUIYING

混合MI-SSVEP范式概述

混合脑机接口范式是指将两种或多种单一范式（如MI和SSVEP）进行融合，使用户可以同时或先后执行不同类型的脑活动任务，系统综合多种信号特征进行联合解码，以期提高整体识别性能。研究表明，混合范式能够显著提升解码准确率，并且具备良好的用户适应性——对MI不敏感的用户可能在SSVEP上表现良好，反之亦然；即使某一用户单独使用MI或SSVEP均无法达到理想效果，混合模式下仍可能获得可识别的神经模式。然而，传统混合BCI方法通常需要为每种范式设计独立的特征提取流程（如对MI使用公共空间模式CSP、对SSVEP使用典型相关分析CCA），再将提取的特征进行拼接或加权融合，这种分离处理方式不仅增加了系统复杂度，还降低了特征提取效率和模型的泛化能力，难以实现端到端的联合优化。

HUIYING

实验研究

研究方法

数据集来源：采用韩国大学脑与认知工程系公开数据集，共54名受试者，包含二分类MI任务和四分类SSVEP任务。本研究仅使用训练阶段数据，选取SSVEP中代表左右方向的两种频率（6.67Hz和8.57Hz）进行二分类。

电极选择与预处理：MI任务选取20个运动皮层区域电极（FC-5/3/1/2/4/6、C-5/3/1/2/4/6、CP-5/3/1/2/4/6）；SSVEP任务选取10个枕区电极（P-7/3/2/4/8、PO-9/10、O-1/2/2）。原始EEG信号经8~30Hz带通滤波（5阶Butterworth数字滤波器），并分割为0~4000ms的片段。整个预处理流程如图2中的A和B部分所示。

图2：TSCNN整体框架图

图2分为A、B、C三个部分详细展示了双流卷积神经网络的工作流程。A部分为EEG记录与预处理，原始信号经8~30Hz带通滤波后分割为4秒长度的片段。B部分为通道选择，分别从运动皮层区域选取20个电极用于MI分支，从枕区选取10个电极用于SSVEP分支。C部分为分类网络，MI分支和SSVEP分支各自包含空间卷积层（跨通道卷积）和时间卷积层，两分支输出的特征图在融合层进行拼接，再经全连接层和Sigmoid函数输出左右二分类结果

模型架构：提出双流卷积神经网络（TSCNN），包含MI分支和SSVEP分支，每个分支先进行空间卷积（跨通道）再进行时间卷积，两个分支的输出特征图在融合层拼接后送入全连接层进行分类，如图2中的C部分所示。

训练策略：设置两种训练方式——TSCNN₁仅使用混合模式EEG数据（40名受试者×50次试验=2000样本）；TSCNN₂联合使用单模式与混合模式数据（40名受试者×100次试验=4000样本），其中单模式训练时对未激活分支的输入补零。采用10折交叉验证，Adam优化器，学习率0.00025，dropout率50%。

评估指标：准确率、敏感度、特异度、均方误差。测试集为剩余14名受试者的数据。对比模型为单流CNN（SCNN）。

研究结果

解码性能对比：如表I所示，TSCNN₂在混合模式下达到最高准确率95.6%（敏感度96.4%，特异度94.8%），相比MI单模式（70.2%）提升25.4%，相比SSVEP单模式（93.0%）提升2.6%。同时，TSCNN₂在MI单模式（70.2%）和SSVEP单模式（93.0%）上的表现与SCNN（分别为70.4%和93.7%）相当，说明联合训练策略在提升混合模式性能的同时保留了单模式解码能力。

超参数影响：全连接层维度为16时MI准确率最佳（70.4%）；卷积核数量为(1,1)时整体性能最优；dropout率对MI模式影响显著（50%时准确率最高），而对SSVEP和混合模式影响不明显，如图3所示；四种激活函数（ReLU、ELU、Softplus、LeakyReLU）在三种模式下均无显著差异，如图4所示。

图3：不同Dropout率对解码准确率的影响

图3展示了在MI模式（左）、SSVEP模式（中）和混合模式（右）下，分别使用0%、25%、50% dropout率时的解码准确率变化。结果显示，在MI模式中，50% dropout率显著提高了准确率；而在SSVEP和混合模式中，不同dropout率对准确率的影响不明显。这表明较高的dropout率主要对特征相对较弱的MI任务起到防止过拟合、提升泛化能力的作用。

图4：不同激活函数对解码准确率的影响

图4比较了ReLU、ELU、Softplus、LeakyReLU四种激活函数在MI模式（左）、SSVEP模式（中）和混合模式（右）下的解码准确率。图4中可以看出，四种激活函数在各模式下的准确率曲线高度接近，没有显著差异。这说明对于本研究的TSCNN架构和EEG解码任务，激活函数的选择不是影响性能的关键因素。

特征可视化：采用t-SNE对TSCNN₂各层特征进行降维可视化（如图5所示），结果显示：MI分支输入特征（图5a）和SSVEP分支输入特征（图5d）中左右两类数据点混合较为严重；经过空间和时间卷积层后，两类点的分离程度逐渐提高；在融合层的全连接层输出（图5g）中，左右两类数据点呈现清晰的簇状分离，证明融合特征具有最强的判别能力。

图5：TSCNN₂各层特征的t-SNE可视化

图5对受试者20~30的数据在TSCNN₂的不同网络层进行二维t-SNE降维可视化，蓝色和红色分别代表左、右两类。图5(a)~(c)为MI分支：输入层特征（a）中两类混杂严重，空间卷积层（b）出现一定分离趋势，时间卷积层（c）分离更明显。图5(d)~(f)为SSVEP分支：输入层（d）已有一定区分度，空间卷积层（e）和时间卷积层（f）后两类点呈现清晰的簇状分离。图5(g)为融合后的全连接层特征，左右两类数据点被明显划分为两个紧凑的簇，证明融合特征具有最强的判别能力。

权重解释分析：通过统计全连接层中超过不同阈值的连接权重数量（如表IV和图6所示），发现随着阈值升高，TSCNN₁的MI与SSVEP权重数量比值逐渐下降（从0.963降至0.667），而TSCNN₂的比值则持续上升（从0.987升至1.439）。这表明联合训练策略显著增强了模型对MI特征的表达能力，避免了SSVEP特征在融合中主导而掩盖MI特征。

图6：TSCNN₁与TSCNN₂中MI/SSVEP连接权重比例随阈值变化曲线

图6的横轴为连接权重的阈值（从0.0025到0.0125），纵轴为MI分支连接权重数量与SSVEP分支连接权重数量的比值（ratio）。蓝色曲线代表TSCNN₁，红色曲线代表TSCNN₂。随着阈值提高，TSCNN₁的比值逐渐下降（从约0.96降至0.67），而TSCNN₂的比值持续上升（从约0.99升至1.44）。这表明TSCNN₂通过联合训练策略显著增强了对MI特征的表达能力，避免了SSVEP特征在融合中占据主导地位而掩盖MI特征。

统计检验：配对t检验显示，TSCNN₂在MI模式上显著优于TSCNN₁（p=2.94×10⁻⁴），而在SSVEP和混合模式上无显著差异（p=0.048和p=0.561，以α=0.01计）；TSCNN₂与SCNN在MI和SSVEP模式上均无显著差异（p=0.598和p=0.008），证明TSCNN₂是一种兼顾单模式和混合模式的高通用性模型。

HUIYING

总结

本文提出了一种基于双流卷积神经网络（TSCNN）的混合脑机接口系统，融合运动想象（MI）与稳态视觉诱发电位（SSVEP）两种范式。该方法通过端到端的深度学习自动提取两种范式的时空特征，避免了传统方法中为不同范式分别设计特征提取器的低效问题。论文创新性地设计了联合训练策略（TSCNN₂），使模型在混合模式下达到95.6%的高解码准确率，同时保留MI模式（70.2%）和SSVEP模式（93.0%）的单模式可用性。通过t-SNE特征可视化（如图5）和连接权重分析（如图6）验证了模型的可解释性。该研究为脑机接口系统在实际应用中的灵活适配提供了新思路——不同残障程度或不同神经活动特征的用户可根据自身条件选择单模式或混合模式使用，且模型具备跨受试者泛化能力。未来工作可探索更短时间窗口的实时解码、引入半监督或无监督学习以降低标注依赖，以及集成更先进的单模式深度学习架构进一步提升混合解码性能。