加州大学等提出NVM:用于视觉运动控制的神经体积记忆

1,604次阅读
没有评论

标题:Neural Volumetric Memory for Visual Locomotion Control

作者:Ruihan Yang, Ge Yang, Xiaolong Wang,

[UC San Diego, Institute of AI and Fundamental Interactions MIT CSAIL]

简介:

有腿机器人有可能将自治范围扩大到铺设道路之外。然而,困难的运动任务需要感知,并且通常是部分可观察的。在最先进的视觉运动方法中解决部分可观察性问题的标准方法是通过帧堆叠逐通道连接图像。这种朴素的方法与计算机视觉中的现代范例形成对比,后者明确地模拟光流和感兴趣的 3D 几何形状。

受此差距的启发,我们提出了一种神经体积记忆架构 (NVM),它明确说明了 3D 世界的 SE(3) 等变性。与之前的方法不同,NVM 是一种体积格式,它通过首先应用 3D 平移和旋转将来自多个摄像机视图的特征体积聚合到机器人的以自我为中心的框架中。我们在物理机器人上测试了学习到的视觉运动策略,并表明我们的方法,通过神经体积记忆学习腿部运动,在具有挑战性的地形上比之前的工作产生了性能提升。我们还包括消融研究,并表明存储在神经体积记忆中的表示捕获了足够的几何信息来重建场景。

https://rchalyang.github.io/NVM/

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

腿部运动的体积记忆

使用以自我为中心的相机视图的腿部运动本质上是一个部分观察到的问题。为了使控制问题切实存在,我们的机器人需要聚合来自先前帧的信息并正确推断其下方的遮挡地形。在运动过程中,直接安装在机器人底盘上的摄像头会发生大而虚假的姿态变化,这使得将各个帧集成到一个连贯的表示中变得非常重要。为了解释这些相机姿势变化,我们提出了神经体积记忆 (NVM) — 场景特征的 3D 表示格式。它以一系列视觉观察作为输入,并输出表示周围 3D 结构的单个 3D 特征体积。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

通过自我监督学习 NVM

虽然行为克隆目标足以产生一个好的策略,但与平移和旋转等变会自动为神经体积记忆提供一个独立的、自我监督的学习目标。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

现实世界中的可视化

我们对所有不同的场景使用相同的策略。

为了在模拟之外的不同真实世界场景中验证我们的方法,我们在有垫脚石的室内场景和野外场景中进行了真实世界的实验。

我们在不同现实场景中的 NVM 代理

有障碍的楼梯

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

学习解码器的视觉重建

我们在自我监督任务中可视化合成的视觉观察。对于每个元组,第一个图像显示机器人在环境中移动,第二个图像是输入视觉观察,第三个图像是使用 3D 特征量和估计的相对相机的合成视觉观察。对于输入视觉观察,我们对图像应用大量数据增强以提高模型的鲁棒性。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

模拟中的可视化

为了了解通过我们的方法学习的策略在模拟环境中的行为方式,我们将一组具有代表性的事件和通过我们的方法学习的策略做出的相应决策可视化。

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

 

 

 

加州大学等提出NVM:用于视觉运动控制的神经体积记忆

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)

文心AIGC

2023 年 4 月
 12
3456789
10111213141516
17181920212223
24252627282930
文心AIGC
文心AIGC
人工智能ChatGPT,AIGC指利用人工智能技术来生成内容,其中包括文字、语音、代码、图像、视频、机器人动作等等。被认为是继PGC、UGC之后的新型内容创作方式。AIGC作为元宇宙的新方向,近几年迭代速度呈现指数级爆发,谷歌、Meta、百度等平台型巨头持续布局
文章搜索
热门文章
清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开

清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开

清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开 Jay 2026-01-08 20:18:...
训具身模型遇到的很多问题,在数据采集时就已经注定了丨鹿明联席CTO丁琰分享

训具身模型遇到的很多问题,在数据采集时就已经注定了丨鹿明联席CTO丁琰分享

训具身模型遇到的很多问题,在数据采集时就已经注定了丨鹿明联席CTO丁琰分享 衡宇 2026-01-08 20:...
开源“裸考”真实世界,国产具身智能基座模型拿下全球第二!

开源“裸考”真实世界,国产具身智能基座模型拿下全球第二!

开源“裸考”真实世界,国产具身智能基座模型拿下全球第二! 西风 2026-01-08 19:02:20 来源:...
「北京版幻方」冷不丁开源SOTA代码大模型!一张3090就能跑,40B参数掀翻Opus-4.5和GPT-5.2

「北京版幻方」冷不丁开源SOTA代码大模型!一张3090就能跑,40B参数掀翻Opus-4.5和GPT-5.2

「北京版幻方」冷不丁开源SOTA代码大模型!一张3090就能跑,40B参数掀翻Opus-4.5和GPT-5.2...
最新评论
ufabet ufabet มีเกมให้เลือกเล่นมากมาย: เกมเดิมพันหลากหลาย ครบทุกค่ายดัง
tornado crypto mixer tornado crypto mixer Discover the power of privacy with TornadoCash! Learn how this decentralized mixer ensures your transactions remain confidential.
ดูบอลสด ดูบอลสด Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.
ดูบอลสด ดูบอลสด Pretty! This has been a really wonderful post. Many thanks for providing these details.
ดูบอลสด ดูบอลสด Pretty! This has been a really wonderful post. Many thanks for providing these details.
ดูบอลสด ดูบอลสด Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.
Obrazy Sztuka Nowoczesna Obrazy Sztuka Nowoczesna Thank you for this wonderful contribution to the topic. Your ability to explain complex ideas simply is admirable.
ufabet ufabet Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.
ufabet ufabet You’re so awesome! I don’t believe I have read a single thing like that before. So great to find someone with some original thoughts on this topic. Really.. thank you for starting this up. This website is something that is needed on the internet, someone with a little originality!
ufabet ufabet Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.
热评文章
给AI打个分,结果搞出17亿估值独角兽???

给AI打个分,结果搞出17亿估值独角兽???

给AI打个分,结果搞出17亿估值独角兽??? 闻乐 2026-01-07 17:32:01 来源:量子位 「匿...
港科大教授实测AI眼镜“作弊”:30分钟碾压95%的学生,把传统教学评估体系整破防了

港科大教授实测AI眼镜“作弊”:30分钟碾压95%的学生,把传统教学评估体系整破防了

港科大教授实测AI眼镜“作弊”:30分钟碾压95%的学生,把传统教学评估体系整破防了 梦瑶 2026-01-0...
全自主、更好用!北京人形 “干活机器人” 惊艳亮相 CES2026

全自主、更好用!北京人形 “干活机器人” 惊艳亮相 CES2026

全自主、更好用!北京人形 “干活机器人” 惊艳亮相 CES2026 量子位的朋友们 2026-01-06 16...
杜比在CES 2026重塑了观影、娱乐的方式

杜比在CES 2026重塑了观影、娱乐的方式

杜比在CES 2026重塑了观影、娱乐的方式 十三 2026-01-07 12:47:06 来源:量子位 树立...