被泄露的大语言模型 LLaMA，助长了一系列 ChatGPT 开源替代品

开源和基于 API 的分发之间的摩擦是生成式 AI 生态中极为迫切的矛盾。比如在从文本到图像领域，Stable Diffusion 的发布清楚地表明开源是基础模型的可行分发机制。然而，在大型语言模型 (LLM) 领域却并非如此，该领域最大的突破来自 GPT-4、Claude 和 Cohere 等模型，这些模型只能通过 API 获取。并且这些模型的开源替代品没有表现出相同水平的性能，特别是在它们遵循人类指令的能力方面。

然而，一项意想不到的研究突破和泄露的模型版本彻底改变了这一现状。

几周前，Meta 宣布了它的大语言模型 LLaMA，其参数规模从 70 亿到 650 亿参数不等（包括 7B、13B、33B 和 65B 参数），该模型的一大优势是能运行在单张显卡上。当时 Meta 没有开源 LLaMA，而是通过邀请制的方式出于研究的目的将源代码提供给社区。但在宣布该消息一周后，LLaMA 模型在 4chan 上被泄露，有匿名用户通过 BT 种子公开了 LLaMA-65B——有 650 亿个参数的 LLaMA，容量为 220GB。它已被确认是真实的，有用户在单张显卡上运行了 LLaMA，结果相当出色，这位用户使用的显卡是服务器级别的英伟达 A100 80GB。虽然模型遭到泄露，Meta 表示会继续与挑选的研究人员共享 LLaMA。

在此之后的几周里，这场本应是不幸的事件却成了 LLM 领域最有趣的创新来源之一。自 LLaMA 被泄露后，基于它而构建的 LLM 代理的创新呈现出爆炸式增长。

下面列举一些出色的案例：

• 斯坦福大学发布了 Alpaca，这是一种基于 LLama 7B 模型的指令跟随模型
• 来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校的研究人员开源了 Vicuna，这是一个与 GPT-4 性能相匹配的 LLama 微调版本
• Berkeley AI Research Institute (BAIR) 发布了 Koala，这是一种使用互联网对话进行微调的 LLama 版本
• Nebuly 开源了 ChatLLama，这是一个使用您自己的数据创建对话助手的框架
• FreedomGPT 是一个基于羊驼的开源会话代理，采用 LLama
• 加州大学伯克利分校的 Colossal-AI 项目发布了 ColossalChat，这是一种 ChatGPT 类型的模型，具有基于 LLama 的完整 RLHF 管道

最后，推荐一批由 OSCHINA 整理的精选 LLM 开源项目：Awesome LLM。