使用深度强化学习为双足机器人学习敏捷足球技能

​

Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement
Learning

解决问题：本文旨在探究深度强化学习（Deep RL）是否能够为低成本、小型人形机器人合成复杂且安全的运动技能，以便在动态环境中组成复杂的行为策略。同时，文章也试图探究如何将这些技能应用于一个简化的1v1足球比赛中，以实现机器人的智能化。

关键思路：本文采用深度强化学习来训练机器人在1v1足球比赛中的技能。首先，独立地训练各项技能，然后在自我对抗的情况下将这些技能组合起来。最终得到的策略表现出了鲁棒、动态的运动技能，例如快速的倒地恢复、行走、转身、踢球等，并且在它们之间进行平稳、稳定和高效的转换。文章的创新点在于通过少量简单的奖励，机器人就能够展现出多种行为，并且在模拟环境中训练后，能够零-shot转移到真实机器人上。

其他亮点：在实验中，作者通过高频控制、有针对性的动力学随机化和模拟训练中的扰动等方法，使得机器人能够在真实环境中呈现出高质量的运动技能。此外，即使在优化得分的情况下，机器人在实验中的表现也远远超过了预期，例如行走速度提升了156%，起身时间减少了63%，踢球速度提高了24%。这些结果表明，本文提出的方法不仅能够让机器人学会安全有效的运动技能，还能够使机器人在动态和敏捷的同时实现复杂的长期目标。

关于作者：本文的主要作者包括Tuomas Haarnoja、Ben Moran、Guy Lever等人，他们分别来自美国伯克利加州大学和英国剑桥大学。在过去的研究中，Tuomas Haarnoja等人曾在多个领域取得了重要进展，包括强化学习、控制理论和机器人学等。

相关研究：近期其他相关的研究包括：1）”Learning to Run Challenge: Synthesizing Physically Realistic Humanoid Running Behaviors via Deep Reinforcement Learning”，作者：Xingyu Liu等，机构：斯坦福大学；2）”Robust Adversarial Reinforcement Learning”，作者：Lerrel Pinto等，机构：纽约大学。

论文摘要：本研究探究了深度强化学习（Deep RL）是否能够为一款低成本小型人形机器人合成复杂且安全的运动技能，以在动态环境中组成复杂的行为策略。我们使用Deep RL来训练一个具有20个执行关节的人形机器人玩简化的一对一足球比赛。我们首先在孤立的环境中训练单个技能，然后在自我对抗的环境中将这些技能组合在一起。由此产生的策略表现出了强大而动态的运动技能，如快速的倒地恢复、行走、转向、踢球等，它们之间的过渡平稳、稳定、高效——远远超出了机器人的直观预期。智能体还发展出了基本的游戏战略理解，例如学会预测球的移动和阻止对手的射门。这些行为的全范围是从一小组简单的奖励中出现的。我们的智能体是在模拟中训练的，并实现了零样本的机器人转移。尽管机器人本质上是脆弱的，但是在训练期间进行了基本的行为规范化和硬件微调，机器人仍然可以学习安全而有效的运动，同时以动态和敏捷的方式表现。实验结果表明，即使是针对得分进行了优化，智能体的行走速度比脚本基准快了156％，起身时间减少了63％，踢球速度提高了24％，同时有效地结合技能以实现长期目标。附加网站提供了紧急行为和完整的1v1比赛的示例。

​Read More