机器人的远距离有效操作(也称为远程操作)可以让人类远程完成大量手动任务，包括危险和复杂的程序。然而，远程操作也可用于编译人类运动数据集，这有助于训练人形机器人执行新任务。

卡内基梅隆大学的研究人员最近开发了Human2HumanOid(H2O)，这是一种能够对人类大小的人形机器人进行有效远程操作的方法。这种方法是在arXiv预印本服务器上发布的一篇论文中介绍的，可以对人形机器人进行需要特定动作组的手动任务的训练，包括进行各种运动、推手推车或婴儿车以及移动箱子。

“许多人认为2024年是类人生物年，主要是因为人类和类人生物之间的体现一致允许人类认知技能与多功能类人生物能力的无缝集成，”该论文的合著者GuanyaShi告诉TechXplore。

“然而，在进行如此令人兴奋的集成之前，我们需要首先在人类和类人机器人之间创建一个接口，用于数据收集和算法开发。我们的工作H2O(Human2HumanOid)迈出了第一步，引入了一个实时全身远程操作系统，该系统使用只是一个RGB摄像头，它可以让人类在许多现实世界的任务中精确地遥控人形机器人。”

这些研究人员最近的工作促进了全尺寸人形机器人的实时远程操作。与之前研究中介绍的许多其他方法相比，H2O仅依赖于RGB相机，这有利于其扩展和广泛使用。

该论文的合著者TairanHe告诉TechXplore：“我们相信，人类远程操作对于扩大人形机器人的数据飞轮至关重要，而使远程操作变得易于实现是我们的主要目标。”“受到之前解决这一挑战部分工作的启发，例如基于物理的人体运动动画、将人体运动转移到现实世界的类人机器人以及类人机器人的远程操作，这项研究旨在将这些组件合并到一个框架中。”

H2O是一种可扩展且高效的方法，允许研究人员编译大型人体运动数据集，并将这些运动重新定位到人形机器人，以便人类可以实时远程操作它们，在机器人上重现他们的所有身体动作。实时实现机器人的全身远程操作是一项具有挑战性的任务，因为人形机器人的身体并不总是允许它们复制涉及不同肢体的人类运动，并且现有的基于模型的控制器并不总是在机器人中产生逼真的运动。

“H2O远程操作是一个基于强化学习(RL)的框架，只需使用RGB摄像头即可实现人形机器人的实时全身远程操作，”他解释道。“这个过程首先通过一种新颖的‘模拟到数据’方法将人类运动重新定位到类人动物的能力，确保这些运动对于类人动物的物理约束是可行的。然后，这个精炼的运动数据集在模拟中训练一个基于强化学习的运动模仿器，随后无需进一步调整即可转移到真实机器人上。”

施、何和他们的同事开发的方法具有许多优点。研究人员表明，尽管其硬件要求极低，但它允许机器人实时执行各种动态全身运动。

用于远程操作机器人的输入镜头是使用标准RGB摄像机收集的。该系统的其他组件包括重定向算法、在模拟中清理人体运动数据的方法(确保运动可以在机器人中有效复制)以及基于强化学习的模型，该模型可以学习新的远程操作策略。

他说：“我们的研究最显着的成就是成功演示了基于学习的实时全身人形远程操作，据我们所知，这在同类技术中尚属首次。”“这次演示为人形机器人在人类存在存在风险或不切实际的环境中应用开辟了新途径。”

研究人员在一系列现实世界的测试中证明了他们的方法的可行性，他们远程操作了一个人形机器人并成功地再现了各种动作，包括移动盒子、踢球、推婴儿车以及抓住盒子并将其扔进垃圾桶。

H2O框架很快就可以用来复制其他运动，并训练机器人执行许多现实世界的任务，从家务劳动到维护任务，提供医疗援助，甚至从危险地点营救人类。由于它只需要一个RGB相机，因此这种新方法可以在多种设置中实际实现。

“‘模拟数据’过程和基于强化学习的控制策略也可能影响机器人远程操作和运动模仿的未来发展，”他说。“我们未来的研究将集中于改进和扩展人形远程操作的能力。关键领域包括增强运动重定向的保真度以覆盖更广泛的人类活动、更有效地解决模拟与真实的差距以及探索纳入反馈的方法从机器人到操作员，创造更加身临其境的远程操作体验。”

在接下来的研究中，石、何和他们的合作者计划进一步推进他们的系统。例如，他们希望增强其在复杂、非结构化和不可预测的场景中的性能，因为这可以简化其实际部署。

“我们还计划扩展该框架，包括灵巧的双手操控，逐步提高机器人的自主水平，最终实现高效、安全、灵巧的人机协作。”刘长流补充道。