霜降 | 灵巧手现在有多灵巧？

九月底，特斯拉展示了人形机器人“擎天柱”的最新成果，再度引发了人们对人形机器人的热议。其上搭载的五指灵巧手由于承担着执行多种操作任务的重任，因此是备受瞩目的对象之一。大家可能要问，灵巧手的研究目前发展到什么地步了，离真正走进千家万户还有多远？

视频传送门：特斯拉机器人“擎天柱”实现重大突破，能独立学习与自我纠错

图1. 特斯拉人形机器人（左）。一款主流灵巧手 Shadow hand（右）。

多指机械手在机器人领域通常被称为“灵巧手”。灵巧手由于有着和人手类似的仿生结构，理论上能够胜任人手可以执行的各项操作任务，因此一直以来都是学界的一个关注焦点。可惜的是，现在的灵巧手还并不灵巧，其研究进展相当缓慢：当平行夹抓和吸盘早在2019年就已经能够完成对任意堆积物体（clustered scene）的极高成功率（>95%）的抓取时[1]，灵巧手直到现在还未能很好地解决单个物体的抓取，更别说其他复杂的操作任务了。

图表2. 吸盘和平行夹抓对任意堆积物体的抓取[1]（左）。灵巧手对单个物体的抓取[2]（中，右）。

也许有人听说过 OpenAI 的单手拧魔方[3]和英伟达单手转方块[4]的工作，觉得连这么复杂的手内旋转物体（in-hand reorientation）都能实现，为什么反而做不好看似简单的抓取呢？

图3. OpenAI 的单手拧魔方[3]（上）和英伟达的单手转方块[4]（下）。

其实，这与手内旋转物体任务的特殊性有关。这一任务只需要在动作空间的一个小范围内探索，并且容错率高，所以非常适合强化学习（reinforcement learning），自然能取得不错的效果。动作空间需要的探索范围小的一个最直观表现就是动作重复度高，而容错率高则是指动作空间的可行区域较大。如果仔细看过这些工作的视频的话，不难发现灵巧手似乎只是在机械地重复一些类似的动作，却总能将物体慢慢地转向目标的样子。但是，日常生活中真正会涉及的抓取或是操作任务通常都没有这么好的性质；即使同样是手内旋转物体这一任务，只要把方块换成保温杯，容错率也会大幅下降，原本的算法可能就很难学会了。

那么，为什么灵巧手的研究难度相比其他末端，例如平行夹抓和吸盘，要高得多呢？究其原因，一是因为其超高的自由度。主流的灵巧手（例如 Shadow hand，Allegro hand）通常有着20个或以上的手指关节自由度，再加6个手腕自由度。它们虽然赋予了灵巧手巨大的潜力，但是也给灵巧手算法带来了很大困难。相比仅有7自由度的平行夹抓和6自由度的吸盘，平行夹抓或吸盘的抓取算法只需要考虑在什么位置合拢或是吸住物体，而灵巧手的抓取算法还需要额外考虑每根手指的每个关节应该如何配合才能抓起一个物体。

另一个原因则在于灵巧手的抓取和操作任务通常会产生大量的接触点（contact-rich）。这就要求灵巧手控制算法不能有太大的误差，否则一旦接触的位置发生偏差或者根本没接触上，就可能直接导致抓取或操作的失败。而平行夹抓由于只能张开或者合拢，接触点一定是正对着的，就更加鲁棒一些。或许有人会想，是不是灵巧手也可以像平行夹抓一样无脑往里收拢去实现抓取。这样做也许可以做一些简单的抓取，但是同时丧失了灵巧手的灵活度，没法像人手那样智能地去处理其他多样、复杂的任务了。

受篇幅所限，灵巧手研究中还有很多难点未能一一展开，例如从仿真到现实的鸿沟（sim2real gap），硬件制造等等。它们都制约着灵巧手的发展，亟待研究人员解决。除此之外，机器人领域与自然语言处理或是视觉领域的一个很大不同在于对误差的容忍度。如果机器翻译或是目标检测出现了一定偏差，人们大不了忽略掉有偏差的结果，不会有很大的负面影响；但是如果灵巧手在厨房拿碗的时候没有抓稳，把碗摔碎了，人们可能就很难接受这样的后果了。所以，距离配备灵巧手的机器人真正出现在我们的家庭中，还需要研究人员的很多努力。

References:

[1] Mahler, Jeffrey, et al. “Learning ambidextrous robot grasping policies.” Science Robotics 4.26 (2019): eaau4984.

[2] Qin, Yuzhe, et al. “Dexpoint: Generalizable point cloud reinforcement learning for sim-to-real dexterous manipulation.” Conference on Robot Learning. PMLR, 2023.

[3] Akkaya, Ilge, et al. “Solving rubik’s cube with a robot hand.” arXiv preprint arXiv:1910.07113 (2019).

[4] Handa, Ankur, et al. “Dextreme: Transfer of agile in-hand manipulation from simulation to reality.” 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023.

文 | 陈嘉毅

图 | 除标注外，源自网络

—   版权声明  —

本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。