斯坦福大学&Meta提出CIRCLE：在丰富的上下文环境中捕获

​

CIRCLE: Capture In Rich Contextual Environments

Joao Pedro Araujo, Jiaman Li, Karthik Vetrivel, Rishi Agarwal, Deepak Gopinath, Jiajun Wu, Alexander Clegg, C. Karen Liu

[Stanford University, & Meta A]

1. 在上下文的生态环境中合成三维人体运动，对于模拟人们在现实世界中进行的真实活动非常重要。然而，传统的基于光学的运动捕捉系统并不适合同时捕捉人类运动和复杂场景。缺乏丰富的上下文三维人体运动数据集是创建高质量生成性人体运动模型的障碍。
2. 本文提出了一个新的运动采集系统，在这个系统中，演员在一个高度关联的虚拟世界中感知和操作，同时在现实世界中进行运动捕捉。我们的系统能够在高度多样化的场景中快速收集高质量的人类运动，而不需要担心遮挡或需要在真实世界中构建物理场景。我们提出了CIRCLE，这是一个数据集，包含了5个受试者在9个场景中10个小时的全身动作，与以自我为中心的环境信息配对，以各种形式表示，如RGBD视频。
3. 我们使用这个数据集来训练一个模型，该模型根据场景信息生成人类运动。利用我们的数据集，该模型学会了使用以自我为中心的场景信息，在复杂的三维场景中实现不简单的到达任务。要下载这些数据，请访问https://stanford-tml.github.io/circle_dataset/。

https://arxiv.org/pdf/2303.17912.pdf

​Read More