Google DeepMind｜基于大型语言模型的创造性机器人工具使用

​

Creative Robot Tool Use with Large Language Models

M Xu, P Huang, W Yu, S Liu, X Zhang, Y Niu, T Zhang, F Xia, J Tan, D Zhao
[CMU & Google DeepMind]

基于大型语言模型的创造性机器人工具使用

• 提出RoboTool，一个基于大型语言模型的创造性机器人工具使用系统。
• RoboTool包含四个关键模块：分析器、规划器、计算器和编码器，可以处理含模糊物理约束的长时间规划任务。
• 可以识别环境和机器人约束，并创造性地使用工具解决无法直接完成的任务。
• 在模拟和实物试验中，RoboTool可以灵活选择、顺序使用以及制造工具，解决需要创造性使用工具的任务。
• 与多个基准对比表明，RoboTool显著提高了在需要创新工具使用的任务上的成功率。

动机：研究如何赋予机器人创造性使用工具的能力，以解决涉及隐含物理约束和长期规划的任务。

方法：利用大型语言模型(LLM)，开发了名为RoboTool的系统，可以接受自然语言指令并输出控制机器人的可执行代码。

优势：与传统的任务和运动规划(TAMP)方法相比，基于LLMs的系统提供了更灵活、高效和用户友好的解决方案，能处理复杂的机器人任务。

通过利用大型语言模型(LLM)开发了RoboTool系统，实现了机器人对工具的创造性使用，为复杂的机器人任务提供了灵活、高效、用户友好的解决方案。

https://arxiv.org/abs/2310.13065 

​Read More