新智元报道
编辑：LRS
【新智元导读】最近两位南加州大学华人博士在IEEE Transaction上发表了一篇文章，用偏好驱动的方式为用户定制触感，真实度大大提升，彻底革新了数据驱动的触觉感知算法！预告：居家办公让虚拟人来作伴？欢迎预约直播，教你如何从0到1自己创建一个！
电子技术的发展，让我们可以随时随地享受一场「视听盛宴」，人类的听觉和视觉从此彻底解放。
近几年，给设备装上「触觉」逐渐成了新的研究热点，尤其是在「元宇宙」概念的加持下，加上触感无疑能让虚拟世界的真实感大大提升。
当下触觉感知技术主要是通过「数据驱动」的模式来模拟和渲染触感，模型首先记录下用户与真实纹理交互的信号，然后将信号输入到纹理生成部分，并用振动的方式将触感「回放」给用户。
最近一些方法大多基于用户交互运动和高频振动信号来对纹理的特征进行建模，比如摩擦和微观表面特征。
虽说数据驱动极大提升了模拟的真实感，但仍然存在诸多限制。
比如世界上的纹理可以说是有「无数种」，如果每种纹理都记录一遍，所需的人力、物力都不可想象，也无法满足一些小众用户的需求。
人类对于触觉的感知相当敏感，不同的人对于相同物体的感觉也不同，数据驱动的方式无法从根本上消除从纹理记录到纹理渲染的感知不匹配问题。
最近，南加州大学维特比工程学院的三个博士生提出了一种全新的「偏好驱动」模型框架，利用人类分辨纹理细节的能力对生成的虚拟感知进行调整，最终可以达到相当逼真的触觉感知，论文发表在IEEE Transactions on Haptics.
论文链接：https://ieeexplore.ieee.org/document/9772285
偏好驱动的模型首先会给用户一个真实的触摸纹理，然后模型会使用几十个变量随机生成三个虚拟纹理，然后用户可以从中选择摸起来与真实物体最相似的一个纹理。
随着不断地试错和反馈，模型会通过搜索不断优化变量的分布，使得生成的纹理更接近用户的偏好。这种方法比直接记录、回放纹理具有明显优势，因为计算机读取的内容和人类的真实感受之间总是存在差距。
这个流程实际上跟「甲方乙方」差不多，我们作为感知者（甲方），如果觉得触摸感不对劲，就打回去，让算法（乙方）修改重新生成，直到生成的效果满意为止。
这样做实际上很合理，因为不同的人摸相同的物体都会有不同的感觉，但计算机释放的信号却是相同的，所以根据每个人进行触感定制，很有必要！
整个系统由两个模块组成，首先是一个深度卷积生成对抗网络（DCGAN），用于将潜空间的向量映射到纹理模型，在UPenn Haptic Texture Toolkit (HaTT)上进行训练。
第二个模块是一个基于比较的进化算法：一组生成的纹理模型中，协方差矩阵适应进化策略（CMA-ES）会根据用户的偏好反馈创建一个新的纹理模型以进化。
为了模拟真实纹理，研究人员首先会要求用户使用定制工具来触摸真实纹理，然后使用触觉设备触摸一组虚拟纹理候选，其中触觉反馈通过连接到设备触控笔的Haptuator来传输。
用户唯一需要做的就是选择最接近真实纹理的虚拟纹理，并使用简单的滑块接口来调整摩擦量（amount of friction），因为摩擦对于纹理触感来说至关重要，也可能因人而异。
然后所有的虚拟纹理将根据用户的选择按照进化策略进行更新，然后用户再次进行选择和调整。
重复上述过程，直到用户找到他们认为的接近真实纹理的虚拟纹理并保存，或者找不到更接近的虚拟纹理为止。
研究人员将评估过程分为两个阶段，每个阶段分别有一组参与者。
在第一阶段，五名参与者分别为5个真实纹理生成和搜索虚拟纹理。
第二阶段则是评估最终保存的偏好驱动纹理（VTp）及其相应的真实纹理（RT）之间的差距。
评估的方式主要采用形容词评价（adjective rating）的方式，对包括粗糙度、硬度和光滑度等感知维度进行评估。
并且在VTp、RT和数据驱动的纹理（VTd）之间的相似性进行比较。
实验结果也表明遵循进化的过程，用户能够有效地找到一个虚拟纹理模型，真实程度超过数据驱动模型。
此外，超过80%的参与者认为偏好驱动模型生成的虚拟纹理评级要优于数据驱动模型。
触觉设备在视频游戏、时装设计和手术模拟中越来越受欢迎，即使在家里，我们也开始看到用户使用与笔记本电脑一样流行的那些触觉设备。
比如第一人称视频游戏加入触觉以后，会极大提升玩家的真实感。
论文作者表示，当我们通过工具与环境交互时，触觉反馈只是一种形式，一种感官反馈，音频是另一种感官反馈，两者都非常重要。
除了游戏外，这项工作成果对于用于牙科或手术培训的虚拟纹理尤其有用，这些虚拟纹理需要非常准确。
「外科训练绝对是一个巨大的领域，需要非常逼真的纹理和触觉反馈；装修设计还需要在开发过程中对质地进行高度精确地模拟，然后再进行制造。」
从电子游戏到时装设计，一切都在集成触觉技术，而现有的虚拟纹理数据库可以通过这种用户偏好方法得到改进。
纹理搜索模型还可以让用户从数据库中提取虚拟纹理，例如宾夕法尼亚大学的触觉纹理工具包，可以对其进行改进，直到获得他们想要的结果。
这项技术与纹理搜索模型一结合，那你就可以使用之前别人已经记录完成的虚拟纹理，然后根据策略来优化纹理。
作者畅想，在未来，模型甚至可能不需要真实的纹理。
我们生活中的一些常见事物的感觉是非常直观的，我们天生就可以通过查看照片来微调自己的感官，而无需参考真实的纹理。
比如当我们看到一张桌子时，我们可以想象一旦触摸到这张桌子会有什么感觉，利用我们对表面的这种先验知识，就可以向用户提供视觉反馈，并允许他们选择匹配的内容。
文章的第一作者Shihan Lu目前是南加州大学计算机科学学院的博士研究生，之前在沉浸式技术方面做过声音方面的相关工作，即通过在工具与其交互时引入匹配的声音，使虚拟纹理更加身临其境。
文章的的第二作者Mianlun Zheng（郑棉仑）是南加州大学计算机科学学院的博士研究生，本科和硕士毕业于武汉大学。
参考资料：
https://techxplore.com/news/2022-05-haptics-device-realistic-virtual-textures.html
—分割线—
【元宇宙·新人类 第3期直播重磅来袭！】
居家办公是不是有虚拟人作伴更好？如何从0到1创建一个虚拟人？虚拟人产业大爆炸，有哪些应用场景和商业化路径？
欢迎扫码下方海报预约直播，为你解答一切疑惑
