谷歌 | 大规模深度RL：使用一队移动机械手分拣办公楼中的垃圾

​

标题：Deep RL at Scale: Sorting Waste in Office Buildings with a Fleet of Mobile Manipulators 

作者：Alexander Herzog∗†, Kanishka Rao∗‡, Karol Hausman∗‡, Yao Lu∗‡, Paul Wohlhart∗†,Mengyuan Yan†, Jessica Lin†, Montserrat Gonzalez Arenas‡, Ted Xiao‡, Daniel Kappler†, Daniel Ho†,Jarek Rettinghouse† Yevgen Chebotar‡, Kuang-Huei Lee‡, Keerthana Gopalakrishnan‡, Ryan Julian‡, Adrian Li†,Chuyuan Kelly Fu†, Bob Wei†, Sangeetha Ramesh†, Khem Holden‡, Kim Kleiven†, David Rendleman‡,Sean Kirmani†, Jeff Bingham†, Jon Weisz†, Ying Xu†, Wenlong Lu†, Matthew Bennice†, Cody Fong†,David Do†, Jessica Lam†, Noah Brown‡, Mrinal Kalakrishnan†, Julian Ibarz‡, Peter Pastor†, Sergey Levine‡

[†Everyday Robots  &‡ Robotics at Google]

简介：

我们描述了一个机器人操作技能的深度强化学习系统，该系统应用于大型现实世界任务：分拣办公楼中的可回收物和垃圾。深度RL策略的真实世界部署不仅需要有效的训练算法，还需要引导真实世界训练并实现广泛泛化的能力。为此，我们的系统将来自真实世界数据的可扩展深度RL与来自模拟训练的自举相结合，并结合来自现有计算机视觉系统的辅助输入，以提高对新对象的泛化能力，同时保留端到端训练的优势。

我们分析了我们系统中不同设计决策的权衡，并提出了一个大规模的经验验证，其中包括对在24个月的实验过程中收集的真实世界数据进行培训，这些数据涉及三栋办公楼中的23个机器人，共有9527小时的机器人经验。我们的最终验证还包括240个废物站配置的4800次评估试验，以详细评估我们系统中设计决策的影响、包括更多真实世界数据的缩放效应，以及该方法对新对象的性能。

https://rl-at-scale.github.io/assets/rl_at_scale.pdf

​Read More