脑源可以应用于简单和定义明确的识别任务。
来自视频的屏幕截图。来源:赫尔辛基大学
脑源(Brainsourcing)技术:利用一组参与者的大脑响应,每个人来执行一个识别任务,从而确定刺激的类别。研究人员调查了从参与者的脑电图(EEG)收集的数据中推断可靠类别标签的可能性。在该项实验中(N =30)测量了EEG对面部视觉特征(性别,头发颜色,年龄,微笑)的反应。结果显示,12名参与者的F1分数为0.94,而单人参与者的F1分数为0.67。随机概率为0.50。该项研究结果证明了脑源(Brainsourcing)技术在标记任务中的方法和实用可行性,并为在众包环境中使用脑-机接口的更一般应用开辟了道路。
赫尔辛基大学(Universityof Helsinki)的研究人员开发了一种叫“脑源(brainsourcing)”的技术,该技术使用人工智能的技术来分析观点并从人群的大脑活动中得出结论,这项技术可以用来对图像进行分类或推荐内容。
众包(Crowdsourcing)是一种将复杂的任务分解成更小的任务的方法,这些任务可以分配给大群人,然后单独解决。例如,可以询问人们是否可以在图像中看到一个物体,他们的回答被用作图像识别系统的指导性数据。训练他们需要几个人对许多样本图像的内容发表意见。
研究人员通过借助AI技术分析人的脑电图(EEGs),试验了实现众包的可能性。这些信息可以直接从脑电图中读出,而不是询问人们的意见。
赫尔辛基大学的学院研究员TuukkaRuotsalo表示: “我们希望研究是否可以通过利用人们的自然反应来将众包技术应用于图像识别,而无需他们使用键盘或鼠标来执行任何手动任务。”
在这项研究中,共有30名志愿者在计算机显示器上观看人脸图像。参与者被要求根据图片上的描述在脑海中给这些面孔贴上标签。例如,图像中描绘的人是金发还是深色头发,是微笑还是不微笑。与传统的众包任务不同,他们没有使用鼠标或键盘提供任何其他信息,他们只是观察呈现给他们的图像。
图1:Brainsourcing利用一组参与者的大脑反应,每个人执行一个识别任务来确定一个刺激的一致标签。
使用脑电图收集每个参与者的脑部活动。通过脑电图,AI算法学会了识别与任务相关的图像,例如屏幕上出现的金发人的图像。下图是Brainsourcing技术步骤图。
Brainsourcing技术步骤图
Brainsourcing步骤图:
- 一个识别任务的例子(在这个例子中,任务“微笑”),有准备提示,掩蔽图像,样本刺激和结束提示。在一分钟的时间段内收集数据,向受试者展示约100次刺激,间隔500ms。
- 针对每个受试者单独训练分类器。
- 利用这些模型对来自新刺激的脑电图数据进行分类。
- 将来自不同模型的预测组合在一起,以产生脑源性的类概率估计,该估计用于确定新刺激的共识标签。
在实验结果中,计算机能够直接从EEG中解释这些心理标签。该项研究的结论是,脑源可以应用于简单而明确的识别任务。研究人员表示通过从12名志愿者那里收集的数据,他们已经获得了非常可靠的标签结果。
下图为Pz通道上目标和非目标刺激的每个ERP成分的总体平均电压、以及从250ms到800 ms的平均头皮电压的头皮图,Pz通道用绿色圈出。
下表给定N个参与者用于brainsourcing估计,目标任务的精度,召回率,F1得分以及相对于N =1的F1得分的改进情况。所有ΔN=1都具有统计学意义,p≤0.0001。通过增加用于估计刺激的类别标签的参与者数量,每个任务的性能得到了显着提高。
下图为Brainsourcing模型产生的平均预测分布。
高于平均值的预测表明,给定的刺激更有可能属于目标类别。相反,低于均值的brainsourcing预测表明给定的刺激更有可能是非目标刺激。结果正确显示了分类数据的双峰性质,随着越来越多的参与者用于估计类别标签,分类数据的双峰性质变得越来越明显。
下图为“blond”任务中目标和非目标刺激的正确和不正确标签的代表性样本,按被试估计真实标签的人数计算。brainsourcing分类性能随着参与者人数 N的增加而不断提高。当N> 9时,F1得分为0.90。
这些发现可用于结合大脑和计算机活动的各种接口。这些接口将需要以可穿戴电子设备的形式提供轻量级和用户友好的脑电图设备,而不是在研究中使用的设备,因为研究中使用的这些设备需要训练有素的技术人员。正在积极开发可测量EEG的轻型可穿戴设备,并且可能会在不久的将来面世。
局限性
赫尔辛基大学的学生兼研究助理KeithDavis表示:这项研究提出的方法受到了一些可用技术的限制。
“目前测量大脑活动的方法对于实验室的受控设置已经足够了,但是这项技术还需要改进以适应日常使用。”此外,这些方法只捕捉了整个大脑活动的很小一部分。随着脑成像技术的进步,直接从大脑获取偏好信息成为可能。不用传统的评分或类似按钮,你可以简单地听一首歌或看一个节目,你的大脑活动就足以决定你对它的反应。”
论文信息:
Brainsourcing: Crowdsourcing Recognition Tasks via Collaborative Brain-Computer Interfacing