即使远在 300 公里外，人类也能身临其境，传递触感、还原表情，参加艺术展、完成竞技。

这一突破性实现，由一个名为 iCub3 的机器人完成，它为人机交互带来了全面的沉浸式体验和无限的可能。

图｜iCub3 机器人

在过去四年中，意大利理工学院人工智能和机械智能实验室的研究团队开发出了先进的 Avatar 技术，构建了 iCub3 机器人系统，并不断对其优化。

如今，通过在远程操作中使用虚拟现实头盔、触觉手套以及身体感应器，iCub3 实现了卓越的动作控制、触觉反馈和表情还原。

在 ANA Avatar XPrize 竞赛期间，iCub3 成功地为远程操作员提供了触觉反馈，传达了岩石的纹理、浮雕花瓶等，同时也能反映人类操作员的面部表情，包括微笑和眼睛的形态（例如，在明亮的舞台灯光下眯起眼睛）。另外，在比赛中，iCub3 展示了其行走和操纵物体的能力，并与人类一起完成了一个拼图。

研究团队表示，iCub3 是“唯一一个在决赛阶段使用双足运动和一套轻便的操作设备（包括商用和定制的可穿戴设备）完成任务的系统”。

这一里程碑式的研究成果以“iCub3 Avatar System: Enabling Remote Fully-Immersive Embodiment of Humanoid Robots”为题，今天发表在权威科学期刊 Science Robotics 上。

研究团队表示，iCub3 机器人为未来发展出更安全、更可靠的遥控机器人系统奠定了基础，为灾害响应（在较少危险的情况下支持救灾工作）、探索危险环境和拓展远程体验（物理世界中偏远和不易到达的地方）提供了新的可能。

机器人那么多，凭什么是 iCub3？

据论文描述，iCub3 的突破性在于其实现了全感官沉浸式体验，通过虚拟现实、触觉手套和身体感应器的巧妙融合，远程操控者能够在 300 公里外的地方获得身临其境的体验，传递操控者的触感，还原其面部表情。

相较于其他研究，该系统采用深度学习技术，进行多模态信息的智能处理，实现了高效的用户意图识别和机器人动作转化，使远程操控更为灵活、精准。

这一突破性特点使得 iCub3 在机器人技术领域独具优势。

首先，iCub3 实现了真实环境中的远程操控。通过多种感官的同步反馈，用户能够获得更加丰富和真实的体验。

其次，深度学习使得系统具备了自适应性和智能性。这可以更好地理解和响应用户的意图，提高了操控的精准度和灵活性。

此外，相较于其他类似研究，iCub3 成功应用于实际场景，包括艺术展览、舞台表演和国际竞赛，展现出在复杂环境中的卓越适应性和稳定性。这使得它在未来远程操控机器人技术的发展中具备了不可替代的地位。

iCub3是如何炼成的？

2004 年，研究团队启动了对机器人智能的研究，设计并推出了第一代 iCub。初代 iCub 是一个模拟婴儿认知和学习过程的机器人，其功能较为有限，主要以执行特定任务为主。经过多年的研究和技术创新，研究团队于最近推出了 iCub 系列的最新一代——iCub3。

iCub3 在技术层面进行了全面的升级。其中包括电池容量的显著提升，电池位置的优化至躯干部位，以及腿部电机性能的提升，使机器人在行走和运动方面更为灵活和稳定。深度感应摄像头的引入进一步增强了 iCub3 对周围环境的感知能力。

特别引人注目的是，iCub3 被打造成了一个机器化身平台，即 Avatar System。通过 iFeel 设备套件，操作者能够实时同步体现其身体动作，使得 iCub3 能够通过光纤传输远程模仿操作者的动作，包括身体和面部的各种表情。

具体而言，操控者通过佩戴虚拟现实头盔，触觉手套以及身体感应器，将其身体运动、手部动作和面部表情实时传输至 iCub3 机器人。

虚拟现实技术为操控者提供了 360 度的环境视角，触觉手套通过传感器捕捉手部动作和触觉感知，而身体感应器则跟踪操控者的整体运动。

这些信息经过深度学习模型的智能处理，实现了从操控者到机器人的动作映射，使得机器人能够高度还原操控者的动作、触感和面部表情。

为了验证 iCub3 在真实场景中的性能，研究团队进行了一系列实验。

2021 年 11 月，在 Biennale di Venezia 艺术展中，iCub3 首次登台亮相。操控者远程操控 iCub3 机器人参观展览，实现了稳定的远程通信，以及机器人在复杂环境中的移动。通过佩戴 iFeel 感应服，操控者精准地控制机器人的各个部位，同时定制的触觉设备让操控者能够感受到远程拥抱的触感。实验结果表明，通过标准光纤互联网连接，通信延迟仅约为 100 毫秒。

图｜面部表情重定向和 iFeel 行走。A. 操作员可以直接控制机器人；B. 所显示的情绪；C. iFeel 鞋，它们测量操作员与地面交换的力和扭矩，当鞋子与一组追踪器配对时，还可以检测它们的位置；D. 用于运动界面的意图机制的示例。

2022 年 6 月，在 We Make Future Show 数字创新节上，操控者成功控制机器人在舞台上接收和运输物品，同时在电磁干扰较大的环境中表现出色。专门设计的触觉设备让操控者感知机器人所承载物品的重量，机器人也通过更丰富的表达方式与观众进行互动。

图｜在We Make Future Show 数字创新节上，iCub3与接收者交互。

2022 年 11 月，在 ANA Avatar XPrize 竞赛中，机器人完成了负重任务和限时任务，表现出色。机器人的手部配备了感应皮肤，能够感知所操控物体的质地。整个竞赛过程中，操控者通过行走模拟来控制机器人的移动，机器人表现出高效的直观操控。

图｜iCub3 在 XPrize 上的表现。A. iCub3 正在操纵一块拼图；B. iCub3 检查花瓶的纹理。

这些实验结果表明，iCub3 在不同场景下都能够展现出卓越的适应性和稳定性，成功实现了远程操控机器人的全感官体验。

iCub3 系统的研究意义不仅在于推动了遥控技术的发展，更在于将机器人技术从实验室推向真实场景。系统的局限性主要体现在远程传输的时延和特定环境下的电磁干扰。然而，这些局限性并没有减弱其在艺术、娱乐和应急响应等领域的广泛应用前景。

尽管 iCub3 取得了显著的突破，但在其实现远程操控全感官体验的过程中，仍有一些方面有待突破：

首先，操控 iCub3 机器人系统需要操控者经过详尽的培训，以掌握复杂的远程操控技能。这对用户的专业背景和学习能力提出了一定要求，限制了该技术的普及。

其次，即便通过标准光纤互联网连接，系统在远程通信中仍存在约 100 毫秒的延迟。在某些实时性要求较高的应用场景中，这一延迟可能影响用户的操作体验。

同时，该系统的全感官体验依赖于先进的虚拟现实头盔、触觉手套和身体感应器等设备。这些设备的依赖性可能使系统在某些环境中难以灵活应用，特别是在一些特殊任务或紧急情况下。

此外，运行 iCub3 需要大量的能源供应，尤其是在远距离场景中。这对于远程操控机器人的长时间运行提出了一定的能源挑战。

最后，尽管 iCub3 成功还原了操控者的动作和表情，但在某些情境下，与真实人类的面对面互动体验仍有待进一步提升，特别是在复杂的社交场景中。

iCub3，未来可期

除了 iCub3 的突破性进展，在遥控机器人和全感官体验领域，近期也涌现了一系列引人瞩目的研究成果。

例如，在医疗领域，中佛罗里达大学 Sakura Sikander 团队成功开发出一系列远程医疗机器人，能够在医生远程操控下执行手术和检查任务。这种技术为医疗资源的合理分配提供了新的可能性。

随着 iCub3 的成功推出，未来的研究方向将更加注重提高系统的实时性和稳定性，以满足更为复杂和严苛的应用场景。同时，对于人机协同工作的深入研究，以及在医疗、教育、娱乐等领域的广泛应用也将是未来研究的重要方向。

iCub3 的成功经验为后续机器人系统的研发提供了有益的启示，将推动机器人技术在社会生活中的更广泛应用。

论文链接：

https://www.science.org/doi/10.1126/scirobotics.adh3834

https://www.sciencedirect.com/science/article/pii/S2667099223000269

｜点击关注我 👇 记得标星｜