对于某些严重残疾患者来说，使用脑机接口(BCI)控制机械臂进行伸手和抓握活动是最常见的应用之一，对于基于脑电图(EEG)的非侵入性BCI而言，这具有很大的挑战性。
在该项研究中，来自上海交通大学的研究人员提出采用基于运动想象(基于MI)BCI控制与计算机视觉引导相结合的共享控制策略，实现了机器人灵巧手臂在三维空间的伸展和抓取活动控制。使用共享控制，受试者只需通过执行两种不同的mental tasks移动机械手臂到目标周围区域。通过安装在机器人系统中的深度摄像机来精确估计目标的姿态。一旦机器人手臂的端点进入预先定义的视觉引导区域，机器人手臂就会自动抓取目标。5名健康且无经验的受试者参与了在线实验，即使没有进行具体的用户培训，平均成功率也在70%以上。结果表明，使用简单的基于MI的两类BCI, 共享控制可以使机械臂完成复杂的任务(伸开和抓取)。
1
共享控制系统的架构
研究人员设计的共享控制系统的架构如下，整个系统由三个子系统组成:BCI系统(蓝色框)、机器人系统(橙色框)和仲裁系统(灰色框)。在脑电信号采集和解码后，设计脑机接口系统的二进制输出来实现机械臂在水平面上的移动。在机器人系统中，目标块的点云由固定在桌子一角的深度相机捕获。然后可以估计目标块的姿态。在视觉引导的控制下，机器人手臂可以规划并执行一次抓取目标块的动作。根据机器人手臂端点与目标块之间的距离，仲裁器定义了BCI引导控制与视觉引导控制之间的切换条件。
共享控制系统的架构
当机器人处于视觉引导控制下时，最终的伸展和抓握过程分为三个步骤。首先，机器人的端点将移动到目标块的右上方。然后，UR5机械手的腕部关节旋转适当的角度，使抓取器对准目标块。最后，钳子闭合并为被试抓住目标块。在这种自主模式下，机器人将全速移动。
下图为仲裁系统的原则分析图。其中(a)为立体图。将UR5机器人的前部空间分为三个部分: BCI引导区域(蓝色)、视觉引导区域(橙色)和盲区(灰色)。当机器人手臂的端点位于BCI引导区域时，该机械手臂处于受试者的控制之下。一旦机械臂的端点进入视觉引导区域，它将接管机器人。(b)为顶视图。起始点和目标块之间的折线是轨迹的样本。虚线画的圆圈表示在线实验中目标块放置的区域。
仲裁系统的原则
研究人员介绍了共享控制系统的主要组成部分，包括脑电帽、放大器、机械臂、深度摄像机和目标块，如下图所示。
在线实验的场景
2
在线实验
该项研究设计的在线实验包括三个会话，每个会话持续不超过两个小时，包括休息时间。每名受试者完成整个实验三次。
每次都完成一个会话。在第一阶段，要求受试者完成目标块在8个固定位置的伸展和抓握任务的距离。如图3(a)所示，8个固定位置(L1-L8)沿圆周均匀分布。八个目标块的方向不同。
图3目标块位置图
(a) 在会话1中，8个固定位置(L1-L8)呈圆形均匀分布。(b) 在会话2和3中，与该会话1相同，在圆内生成了64个随机位置。圆圈中的灰色点表示随机位置。
在会话2中，与会话1中相同，在圆圈内生成64个随机位置。图3 (b))。在每次试验中，只有一个目标块位于圆圈内。然后受试者被要求移动机械臂来完成伸展和抓取的任务。确定当前试验失败的原则与会话1中相同。
同时记录了完成时间和机械臂端点的轨迹。受试者需要在本阶段完成64次单项试验。
会话3的目的是测试共享控制系统的随机性能。在这个过程中，受试者一动不动地坐在椅子上，看着一个空白的屏幕，而不是机械手臂。同时记录他们的脑电图信号，产生两个随机的脑机接口控制命令。需要完成的任务与会话2中相同。在这一阶段还有64次单独的试验。
下图为会话1中五名受试者的轨迹样本，对于每个位置（L1-L8），均绘制了具有中位长度的轨迹样本。蓝线表示BCI引导控制，而橙色线表示视觉引导控制。
会话1中五名受试者的轨迹样本
如上图，机械臂只能在BCI引导的控制下在左前方向和右前方向移动。这不会给轨迹带来更多的冗余。实际上，轨迹的长度主要由机械臂进入视觉引导区域的位置确定。除了记录的实际轨迹样本外，还计算了轨迹的TE。
为了直观展示实验成功与否，研究着绘制了所有试验在第2和第3阶段的结果分布。蓝点表示成功的试验，红点表示不成功的试验。
下图显示了在BCI指导的控制过程中，事件相关去同步化(ERD)的平均地形图。当要求他做左/右手MI并将机械臂移动到左/右前部时，可以在右/左感觉运动皮层中看到ERD。
受试者H在BCI控制下的ERD平均地形图。(a)左侧MI。(b)右侧MI。
本文采用BCI控制与计算机视觉引导相结合的共享控制策略，实现了机器人灵巧手臂在三维空间的伸展和抓取活动控制。在视觉指导的帮助下，简单的基于MI的两级BCI就足够了。BCI的简化使系统更易于使用。受试者完成伸展和抓取任务，即使没有特定的用户培训。在未来，人类与智能机器的结合有望带来一些真正的应用，并在日常生活中帮助残疾人。
论文信息
Yang Xu, Cheng Ding, Xiaokang Shu, Kai Gui, Yulia Bezsudnova, Xinjun Sheng, Dingguo Zhang, Shared control of a robotic arm using non-invasive brain–computer interface and computer vision guidance, Robotics and Autonomous Systems, Volume 115,2019,Pages 121-129,ISSN 0921-8890,
https://doi.org/10.1016/j.robot.2019.02.014.
