来源：IEEE VR 2022 主讲人：Darlene Barker 内容整理：王寒 为了使虚拟现实 (VR) 中的社交互动产生更大的影响，我们需要考虑情绪对我们的人际交流的影响以及我们如何在 VR 中表达它们。本教程将展示关于该主题的研究，我们建议使用基于声音、面部表情和触摸的情感来创造非物理人际交流所需的情感亲密和非语言亲密。虚拟和远程通信缺乏我们与面对面互动的身体接触以及增强对话所传达内容的非语言线索。触觉设备和触觉的使用有助于在各方之间传递触摸，机器学习可用于基于从其他感官设备收集的数据进行情绪识别以更好的远程通信。在当今世界，由于全球性疫情大流行以及防止其传播所需的安全措施，我们被迫与他人保持距离。因此，拥有更好的与亲人交流的方式将是无价的。在疫情大流行之外，在 VR 中体验触摸和其他感官的能力可以帮助加强远距离家庭或因工作而失散的家庭之间的沟通。同时，视力受损的人也可以从这种技术中受益。
目录
- 解决方案
- 需要考虑的问题
- 触摸和感受类型
- 代理 The Agent
解决方案
需要考虑的问题
现在要考虑的第一个问题是触摸和感受的类型。触摸它可能是一种与生俱来的经典触摸，也可能是一种带 有情感的接触，就像你所说的、你所听到的，然后它还可能会是第三种物理意义上的接触，有一点类似经典触摸，但是有一些感受可以在物体的接触或者环境中体现。感受可以分为潜在的情绪和环境影响的背景情绪，要考虑一个黑暗的房间与一个明亮的房间、一个烟雾缭绕的房间或其他情况如何影响人们的感受。
第二个要考虑的是我们的黑匣子，我称它为代理，我不想称它为黑匣子而在人工智能领域没有更好的名字来形容，代理就是所有的传感器源。然后是一些机器学习算法以某种方式聚合数据，使传感器都一起工作而不是相互对抗，并提供和传递涉及触摸的反馈。
让我们想象一下我们“在餐厅环境中”，我们有一个虚拟现实环境，是一家餐厅，两个人坐在一张桌子旁边，你可以在里面听到海洋或森林的背景声音。这两方是虚拟化身，每个化身都会从后台收集的数据中表达该方的感受、背景中实际发生了什么，所以当你和某人坐在一起时，通过他们的肢体语言、他们说话的方式或任何你能在视觉上看到的东西，你就能看到他们是否快乐或者悲伤或者处于其他状态，这就是我们试图在化身上实现的事情。
触摸和感受类型
经典触摸过程示意图
先来看经典触摸，图中是一个高层次的有关经典触摸的示意图，图中有很多线和连接隐藏了，我们从高层次来看经典触摸，有两个人坐在餐厅里，用户1触摸另一个人的手，这一动作前后的数据被记录下来，让用户1知道他是否成功的触摸到了用户2，在真实世界中，我们往往可以在我们触摸到其他人之前得知自己触摸他人的动作是否安全。我们整个体验的目标是让你获得与真实世界相同的感受，这个提前得知的过程相当于一个后台运行的功能，你会在被触摸的人感受到之前收到后台信息处理给出的反馈。同时我们要测试的一件事是意识是否与反应相匹配，回到图片中，初始的接触被送入Agent中，在Agent的后台所有的感觉都被处理并发送给其他用户，在被触摸的用户作出反应之前，数据将以响应的形式被回传到发起触摸的用户1处，这种数据的传输必须使用机器学习的方式进行，因为传感器收集的数据无法和真正的触摸数据信息那样多。
情感接触过程示意图
现在来看情感接触，这是语言。在这个情境下一个人说了什么处理起来很难，但是所说的话背后的情绪、身体对所说的话作出的反应会在后台被计算并以某种形式在化身中体现。所以在现实生活中，人们在说话之前会先看一眼，你不只是说一些你在说的话，尤其是如果你和一个爱人坐在一起，你们正在交谈，你正在听他们在说什么，或者也许不是他们说什么，而是他们的肢体语言，这就是情感接触的地方，同样的，你得到的反馈不仅是对方说了什么，而是更加深层次的回应，最终需要比较回应是否匹配。
再来看演讲，在演讲的时候演讲者的身体动作和情绪信息会被捕获并表现在虚拟化身上。
物理接触过程示意图
最后来看物理接触，也就是人与物体或其他人的直接接触，如果两个人坐在一起，其中一个人撞到了另一个人的胳膊，那么他应该可以感受到这个接触，虚拟化身也应该当做到这一点，对于物体的接触也应该感受到。在这种场景下，需要额外的传感器来对物体的信息进行收集，比如我们需要知道这个物体是塑料瓶还是一块石头或是一堵墙或者别的东西。
现在我们来看物理情绪，它是一种潜在的情绪，我们可以通过瞳孔的反应来获取大量信息，例如你的瞳孔的扩张可以说明很多你是否对正在发生的事情感兴趣或者看到了你喜欢的事物，有很多与此相关的有趣研究。潜在的感受可以对你接下来的动作有所暗示，这可以通过后台信息收集实现，作为用户无需进行任何操作。
背景情绪指的是声音或者视觉效果，在虚拟化身上可以用一种颜色的光来表示，例如快乐是绿色的、生气是红色的、心平气和是白色的，在这种情况下，这可以作为一种视觉提示告诉你现在是否是接触或者交谈的好时机，也就是你会通过视觉获取更多信息来指导你的下一步行动。
代理 The Agent
现在我们来看我们的代理The Agent，首先介绍我们采取的工作步骤：
- 对情感的深入调研
- 建立数据集
- 应用代理
代理就相当于一个情绪的大球，我们连接触觉设备后收集数据就像是一个小球，输入小球数据到大球中，代理会处理得到某一种情绪。为了在VR中利用触觉并且理解情绪，需要对情绪有深入的研究和理解， 这不仅是计算机科学的工作，背后还有心理学的关于特定情绪和特定行为的解释，这是一个多领域的综合研究。第二步是面部情绪的表现，我们要建立一个面部情绪表达以及语音识别的数据集。最后是应用我们的代理系统，这一系统是由许多小部分协同工作的。下面介绍如何实现这些，首先我们从数据集的建立开始，利用公共数据集来研究不同的情绪特点为面部情绪表达和语音识别建立基础，此外还参考了脑电波的信息，稍后会做一个关于脑电波相关研究的介绍，例如如何捕捉一定程度的疼痛信号。在应用我们的系统之前我们需要有能力重建这些情绪，我们希望可以通过在线处理来完成数据收集、处理和传递，这也是下一步要做的工作。我们正在进行的一步使用的显示器是前两天刚拿到的旧版本的Oculus Rift，如果我们的系统在旧版的设备上可用那相信在新版上也可用，传感器使用Muse 2冥想头带来检测大脑活动、心率、呼吸和身体姿势等数据（如图所示）。
Muse 2冥想头带可收集的数据
在之前的研究中仅针对脑电波数据进行研究，我们还没有尝试利用加速度计和陀螺仪的数据，下一步的工作中这些数据将被采纳。
其他数据
此外，面部表情识别需要新的头戴设备来做眼睛追踪和身体姿势记录。在一定程度上对这项任务而言全身的运动不如脑电波、头部运动和面部表情重要，因此我们将重点关注脑电波、头部运动和面部表情。眼睛追踪可以捕捉瞳孔扩张的变化，瞳孔的变化可以表达很多情绪信息，例如你是否对一件事感兴趣。皮肤温度是一个次要信息，下面我们快速看一下传感器给出的信息，如下图，我只使用了EGG信息而没有使用其他的两个，因为我试图了解大脑如何在大脑信息中使用脑电波信息捕获一种情绪，比如痛苦、不同程度的痛苦，而不仅仅是是否痛苦。
传感器数据收集界面
这里是我们获取的一些数据，包括数据采集的具体日期，以及五项传感器采集的数据，我使用机器学习的方法获取一个比较准确的解释，而我的导师认为不需要，只需要解释我们正在做什么即可。
数据实例
下表展示了数据的类型和使用机器学习的方式能够获得的精度，也许 lstm 是该项目的理想选择，但对于当前的问题，有太多不同的数据和数据类型需要处理，因而我们使用一种方法贯穿始终可能不是最好的方法。
我们现在将在代理固化并投入使用后，下一步将是创建世界，也许进行这一步的时候使用按钮而不是触觉模拟器，我们正在努力让你感到开心，当我们初始化触摸的时候，所有不同的传感器都会收集数据并且让你的化身感到开心，所以触觉模拟是最后一个组成部分首先要做到的事情之一。
附上演讲视频：http://mpvideo.qpic.cn/0bc3ruaduaaakyalvacc5vrvbdodhkgqaoqa.f10002.mp4?
