加州大学等提出NVM:用于视觉运动控制的神经体积记忆

765次阅读
没有评论

标题:Neural Volumetric Memory for Visual Locomotion Control

作者:Ruihan Yang, Ge Yang, Xiaolong Wang,

[UC San Diego, Institute of AI and Fundamental Interactions MIT CSAIL]

简介:

有腿机器人有可能将自治范围扩大到铺设道路之外。然而,困难的运动任务需要感知,并且通常是部分可观察的。在最先进的视觉运动方法中解决部分可观察性问题的标准方法是通过帧堆叠逐通道连接图像。这种朴素的方法与计算机视觉中的现代范例形成对比,后者明确地模拟光流和感兴趣的 3D 几何形状。

受此差距的启发,我们提出了一种神经体积记忆架构 (NVM),它明确说明了 3D 世界的 SE(3) 等变性。与之前的方法不同,NVM 是一种体积格式,它通过首先应用 3D 平移和旋转将来自多个摄像机视图的特征体积聚合到机器人的以自我为中心的框架中。我们在物理机器人上测试了学习到的视觉运动策略,并表明我们的方法,通过神经体积记忆学习腿部运动,在具有挑战性的地形上比之前的工作产生了性能提升。我们还包括消融研究,并表明存储在神经体积记忆中的表示捕获了足够的几何信息来重建场景。

https://rchalyang.github.io/NVM/

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

腿部运动的体积记忆

使用以自我为中心的相机视图的腿部运动本质上是一个部分观察到的问题。为了使控制问题切实存在,我们的机器人需要聚合来自先前帧的信息并正确推断其下方的遮挡地形。在运动过程中,直接安装在机器人底盘上的摄像头会发生大而虚假的姿态变化,这使得将各个帧集成到一个连贯的表示中变得非常重要。为了解释这些相机姿势变化,我们提出了神经体积记忆 (NVM) — 场景特征的 3D 表示格式。它以一系列视觉观察作为输入,并输出表示周围 3D 结构的单个 3D 特征体积。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

通过自我监督学习 NVM

虽然行为克隆目标足以产生一个好的策略,但与平移和旋转等变会自动为神经体积记忆提供一个独立的、自我监督的学习目标。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

现实世界中的可视化

我们对所有不同的场景使用相同的策略。

为了在模拟之外的不同真实世界场景中验证我们的方法,我们在有垫脚石的室内场景和野外场景中进行了真实世界的实验。

我们在不同现实场景中的 NVM 代理

有障碍的楼梯

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

学习解码器的视觉重建

我们在自我监督任务中可视化合成的视觉观察。对于每个元组,第一个图像显示机器人在环境中移动,第二个图像是输入视觉观察,第三个图像是使用 3D 特征量和估计的相对相机的合成视觉观察。对于输入视觉观察,我们对图像应用大量数据增强以提高模型的鲁棒性。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

模拟中的可视化

为了了解通过我们的方法学习的策略在模拟环境中的行为方式,我们将一组具有代表性的事件和通过我们的方法学习的策略做出的相应决策可视化。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

 

 

 

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy