使用关节式SE（3）等变性将神经人体拟合推广到未见过的姿势

​

Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3)
Equivariance

解决问题：
本篇论文主要解决的问题是如何将一个参数化的人体模型（SMPL）拟合到点云数据上，特别是当输入的姿势与训练数据中的姿势相差较大时，如何实现泛化。

关键思路：
本文提出了一种新的基于部件的SE(3)-等变神经网络架构ArtEq，用于从点云中估计SMPL模型。具体而言，作者通过利用局部SO(3)不变性学习部件检测网络，并使用基于SE(3)的形状不变和姿态等变网络回归形状和姿态。作者的新等变姿态回归模块利用了自注意层的置换等变性质以保持旋转等变性。

其他亮点：
本文的实验结果表明，ArtEq可以泛化到未见过的姿势，而且不需要优化细化步骤，性能优于现有的方法，提高了74.5%。此外，与竞争方法相比，本方法的推理速度快了三个数量级，参数数量减少了97.3%。作者提供了代码和模型以供研究使用。

关于作者：
本文的主要作者是Haiwen Feng、Peter Kulits、Shichen Liu、Michael J. Black和Victoria Abrevaya。他们分别来自德国马克斯·普朗克研究所、斯坦福大学、Facebook Reality Labs和亚琛工业大学。Michael J. Black教授是计算机视觉领域的知名学者，曾发表过多篇关于人体姿势估计和形状重建的论文。

相关研究：
近期其他相关的研究包括：

1. “Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop”，作者为Kanazawa, T., Black, M. J., Jacobs, D. W.，发表在CVPR 2018上。
2. “Learning to Reconstruct People in Clothing From a Single RGB Camera”，作者为Omran, M., Lassner, C., Pons-Moll, G., Gehler, P. V.，发表在CVPR 2018上。
3. “Detailed, Accurate, Human Shape Estimation From Clothed 3D Scan Sequences”，作者为Loper, M., Mahmood, N., Romero, J., Pons-Moll, G. and Black, M. J.，发表在CVPR 2015上。

论文摘要：本文研究了将参数化人体模型（SMPL）拟合到点云数据上的问题。优化方法需要仔细的初始化，并容易陷入局部最优。虽然学习方法能够解决这个问题，但当输入姿势与训练时的差别较大时，学习方法的泛化能力不佳。对于刚性点云，利用SE（3）等变网络已经取得了显著的泛化效果，但这些方法无法应用于有关节的物体。本文将这个想法扩展到人体上，并提出了ArtEq，一种新的基于部件的SE（3）等变神经结构，用于从点云中估计SMPL模型。具体而言，我们通过利用局部SO（3）不变性来学习部件检测网络，并使用基于关节SE（3）形状不变和姿态等变网络来回归形状和姿态，所有这些都是端到端训练的。我们的新等变姿势回归模块利用了自我关注层的置换等变性质来保持旋转等变性。实验结果表明，ArtEq可以推广到训练中未见过的姿势，而无需优化细化步骤，性能优于现有技术74.5％。此外，与竞争方法相比，我们的方法在推理过程中快三个数量级，参数数量少97.3％。代码和模型将可用于https://arteq.is.tue.mpg.de的研究目的。

​Read More