加州大学等提出NVM：用于视觉运动控制的神经体积记忆

​

标题：Neural Volumetric Memory for Visual Locomotion Control

作者：Ruihan Yang, Ge Yang, Xiaolong Wang,

[UC San Diego, Institute of AI and Fundamental Interactions MIT CSAIL]

简介：

有腿机器人有可能将自治范围扩大到铺设道路之外。然而，困难的运动任务需要感知，并且通常是部分可观察的。在最先进的视觉运动方法中解决部分可观察性问题的标准方法是通过帧堆叠逐通道连接图像。这种朴素的方法与计算机视觉中的现代范例形成对比，后者明确地模拟光流和感兴趣的 3D 几何形状。

受此差距的启发，我们提出了一种神经体积记忆架构 (NVM)，它明确说明了 3D 世界的 SE(3) 等变性。与之前的方法不同，NVM 是一种体积格式，它通过首先应用 3D 平移和旋转将来自多个摄像机视图的特征体积聚合到机器人的以自我为中心的框架中。我们在物理机器人上测试了学习到的视觉运动策略，并表明我们的方法，通过神经体积记忆学习腿部运动，在具有挑战性的地形上比之前的工作产生了性能提升。我们还包括消融研究，并表明存储在神经体积记忆中的表示捕获了足够的几何信息来重建场景。

https://rchalyang.github.io/NVM/

腿部运动的体积记忆

​Read More