开源的Agent工具使用微调数据集：从MSAgent-Bench到AgentInstruct

今天是2023年11月29日，星期三，北京，天气晴。

今天我们来看看agent工具使用的一些开源训练数据，主要包括：MSAgent-Bench、MOSS-pluginData以及AgentInstruct三种，供大家一起参考。

一、MSAgent-Bench

ModelScope-Agent是一个通用的、可定制的Agent框架，插件的训练数据集，包括598k的训练集和对应的验证集，测试集。数据集主要包括四种：AI模型API，通用API，API无关通用sft数据，API检索增强数据。

数据样例：

地址：https://modelscope.cn/datasets/damo/MSAgent-Bench/summary

二、MOSS-pluginData

moss-moon-003-sft-plugin所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约30万条多轮对话数据。已开源除text2image之外的所有数据。

数据样例如下：

项目地址：https://github.com/OpenLMLab/MOSS

数据地址：https://huggingface.co/datasets/fnlp/moss-003-sft-data/tree/main

三、AgentInstruct

AgentInstruct是一个经过挑选的智能体数据集，包含1866个高质量交互、6个多样化的真实场景任务，用于增强语言模型的Agent能力，如下：

例如，关于操作数据库的例子：

[
    {
        "from":"human",
        "loss":null,
        "value":"I will ask you a question, then you should help me operate a MySQL database with SQL to answer the question.nYou have to explain the problem and your solution to me and write down your thoughts.nAfter thinking and explaining thoroughly, every round you can choose to operate or to answer.nyour operation should be like this:nAction: Operationn```sqlnSELECT * FROM table WHERE condition;n```nYou MUST put SQL in markdown format without any other comments. Your SQL should be in one line.nEvery time you can only execute one SQL statement. I will only execute the statement in the first SQL code block. Every time you write a SQL, I will execute it for you and give you the output.nIf you are done operating, and you want to commit your final answer, then write down:nAction: AnswernFinal Answer: ["ANSWER1", "ANSWER2", ...]nDO NOT write this pattern unless you are sure about your answer. I expect an accurate and correct answer.nYour answer should be accurate. Your answer must be exactly the same as the correct answer.nIf the question is about modifying the database, then after done operation, your answer field can be anything.nIf your response cannot match any pattern I mentioned earlier, you will be judged as FAIL immediately.nYour input will be raw MySQL response, you have to deal with it by yourself."
    },
    {
        "from":"gpt",
        "loss":false,
        "value":"Ok."
    },
    {
        "from":"human",
        "loss":null,
        "value":"What was the longest time a driver had ever spent at a pit stop?nThe name of this table is pitStops, and the headers of this table are raceId,driverId,stop,lap,time,duration,milliseconds."
    },
    {
        "from":"gpt",
        "loss":true,
        "value":"To find the longest time a driver had ever spent at a pit stop, we can use the MAX() function on the 'duration' column.nAction: Operationn```sqlnSELECT MAX(`duration`) FROM `pitStops` ;n```"
    },
    {
        "from":"human",
        "loss":null,
        "value":"[('59.555',)]"
    },
    {
        "from":"gpt",
        "loss":true,
        "value":"The longest time a driver had ever spent at a pit stop is 59.555 seconds.nAction: AnswernFinal Answer: ["59.555"]"
    }
]


地址：https://huggingface.co/datasets/THUDM/AgentInstruct?row=0

参考文献

1、https://modelscope.cn/datasets/damo/MSAgent-Bench/summary

2、https://huggingface.co/datasets/fnlp/moss-003-sft-data/tree/main

3、https://huggingface.co/datasets/THUDM/AgentInstruct?row=0

关于我们

老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

老刘说NLP，将定期发布语言资源、工程实践、技术总结等内容，欢迎关注。

对于想加入更优质的知识图谱、事件图谱、大模型AIGC实践、相关分享的，可关注公众号，在后台菜单栏中点击会员社区->会员入群加入。

​​