随着技术的发展，计算机科学家已经开发出越来越先进的技术来训练和操作机器人。总的来说，这些方法可以在越来越广泛的现实世界环境中促进机器人系统的集成。
卡内基梅隆大学(Carnegie Mellon University)的研究人员最近创建了一种新系统，用户只需在摄像机前演示他们希望机器人复制的动作，就可以远程控制机器人的手和手臂。
研究人员Deepak Pathak 告诉 TechXplore，“这一领域之前的工作要么依赖手套、运动标记器，要么依赖校准的多摄像机设置。而我们的系统使用一个未校准的摄像机。由于不需要校准，用户可以站在任何地方，仍然可以成功地远程操作机器人。”
Robotic Telekinesis 利用来自互联网的被动数据来实现在野外对灵巧的机械手进行实时远程操作。Credit: Sivakumar, Shaw & Pathak.来源:[1]
Pathak 和他的同事开发的新系统基于一个模型，该模型可以将人手的运动转化为一系列指令，进而指导机器人的动作。值得注意的是，该模型仅在一系列 YouTube 视频上进行训练，在这些视频中，人类会做出动作，并与不同的物体进行互动。
机器人完成各种灵巧的任务，由专家操作员使用机器人遥控系统远程操作。资料来源:Sivakumar, Shaw & Pathak。来源:[1]
Pathak 解释说，“大量被动视频数据的多样性有助于它在未经训练的用户、任务和对象中工作。我们的系统提供了一种通过演示来教机器人的低成本和自然的方式，而无需握住机器人或戴上手套或动作捕捉服。”
通过分析单个二维 (2D) 图像，研究人员的系统可以得出人手和手臂在三维 (3D) 空间中执行的动作。随后，它重新定位人类的手关节以匹配机器人的手关节，以重现相同的动作。
视觉遥操作管道的图形描述.来源:[1]
上图为视觉遥操作管道的图形描述。一架彩色照相机捕捉到操作者的图像。为了控制机器人的手，将操作者手部的视觉裁剪传递给手部姿态估计器，手部重定位网络将估计的人手姿态映射为机器人的手姿态。为了指挥机器人手臂，将操作者身体的一部分视觉传递给身体位姿估计器，并使用交叉体对应关系从估计的身体位姿确定机器人末端执行器的期望位姿。指令被发送到机器人的手和手臂。
“由于人类和机器人的手在形状、大小和结构上有所不同，因此这种翻译受到了限制，尤其是在单一图像的情况下。”参与该项目的两名学生 Aravind Sivakumar 和 Kenny Shaw 解释说。“我们的想法是，虽然配对的人机通信数据的收集成本很高，但互联网包含大量丰富多样的人手视频。”
图4:控制流程。从视觉遥操作，接收姿态，执行逆运动学、低通滤波、采样和安全裁剪。输出控制机器人。来源:[1]
为了仅使用被动视频数据来训练他们的系统，研究人员建立在数十年专注于 3D 人体姿势估计和计算机视觉的研究基础上。该项研究的初步结果非常可喜，因为他们发现他们的系统可以允许未经训练的用户远程操作机器人并远程完成不同的灵巧操作任务。
人到机器人的转换。我们的手动重定向网络的输入和输出。每一对都描绘了一个人的手部姿势，以及重新定位的 Allegro 手部姿势。来源:[1]
Pathak表示，“就我个人而言，最让我兴奋的部分是机器人技术使用互联网上的多样化数据。”“希望我们最近的工作是未来众多方向之一，在这些方向中，除了机器人视觉之外，互联网视频还可以作为机器人控制的丰富监督来源。”
要使用该系统，用户只需站在一台RGB摄像头前，执行他们希望机器人复制的手部或手臂动作。由于它非常易于使用且不需要复杂的设备，因此该系统最终可用于解决许多现实世界的问题。
“机器人心灵感应和类似技术将使机器人在更广泛的环境中进行教学，包括在家庭中，它们将被期望执行日常任务。”Pathak补充说:“只要使用一个未校准的摄像机，理论上我们的系统就可以在世界任何地方进行控制，因此它让任何人都能更容易地进行机器人教学。”我们现在正在使用我们的机器人遥动系统收集大规模数据，以教机器人在现实世界中自主行动和适应。”
论文信息：
Aravind Sivakumar, Kenneth Shaw, Deepak Pathak, Robotic telekinesis: learning a robotic hand imitator by watching humans on Youtube. arXiv:2202.10448v1 [cs.RO], arxiv.org/abs/2202.10448
https://techxplore.com/news/2022-03-robotic-telekinesis-humans-remotely.html
仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
