加利福尼亚大学提出Baize：第一个开源的自监督GPT大模型

​

聊天模型，如ChatGPT，已显示出令人印象深刻的能力，并在许多领域迅速被采用。但是，这些模型仅通过受限API访问，为该领域的新研究和进展创建了障碍。本文提出了一种流程，可以通过利用ChatGPT与自身进行对话来自动生成高质量的多轮聊天语料库。随后，采用参数高效调整来增强开源大型语言模型LLaMA。由此产生的模型名为Baize，在最小化潜在风险的情况下，在多轮对话中表现出良好的性能。

Baize是一个开源聊天模型，可在自聊数据上进行参数高效调整。Baize使用了Self-Chat的技术，即模型自己对话，在训练数据中学习并优化自我生成对话的能力，从而实现更加自然的对话输出。同时，它提供了一个基于参数变化的自适应调整算法，允许人们使用更少的数据和时间来获得准确的对话生成结果。通过Baize这个开源聊天模型，人们可以更好地理解自适应计算的原理，并改进自己的聊天应用程序。

标题：Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data

作者：Xu, Canwen and Guo, Daya and Duan, Nan and McAuley, Julian

代码：https://github.com/project-baize/baize

​Read More