Llama 2问世：大模型市场颠覆进行时

GPT强大的表达能力和优秀的性能，使得其在大模型领域广受好评。近日，Meta开源了性能更强的Llama-2，也提供了更加宽松的商用许可。而作为对手的微软，日前竟然和Meta 宣布将在 Azure 和 Windows 上支持 Llama 2 大型语言模型系列。

即便MT-Bench上前三名的位置，依然被GPT-4、GPT-3.5、Claude-1牢牢把控。（MT-Bench是一个经过精心设计的基准测试，包含80个高质量的多轮问题。这些问题可以评估模型在多轮对话中的对话流程和指令遵循能力，其中包含了常见的使用情景，以及富有挑战性的指令。）但Meta 副总裁、人工智能部门负责人杨立昆（Yann LeCun）表示，Llama 2 将改变大语言模型市场的格局。随着Llama2免费开源商用，支持者越来越多，开源力量可能重新塑造AI市场的格局。

Llama 2，支持者甚蕃

Llama 2基于优化的 Transformer 架构，是来自Meta的第二代开源大型语言模型。据悉，相较于此前版本，Llama 2训练所用的token翻了一倍至2万亿，而对于使用大模型最重要的上下文长度限制，Llama 2也翻了一倍。该模型提供了一系列参数规模，70 亿、130 亿和 700 亿，以及预训练和微调的变量。

扎克伯格表示，Llama 1已经可以与OpenAI的ChatGPT和谷歌的Bard聊天机器人的模型竞争，而Llama 2的训练数据比前一代多了40%，有超过100万的人类注释来微调其输出的质量。

Meta 指出，微调的版本采用监督微调 (SFT) 和基于人类反馈的强化学习 (RLHF)，与人类喜好保持一致，从而确保实用性和安全性。Llama 2 使用来自公开来源的 2 万亿个字节数据进行了预训练。微调的模型用于辅助式聊天，而预训练的模型可适用于各种自然语言生成任务。无论开发人员使用哪个版本的模型，Meta 的负责使用指南都可以帮助指导通过适当的安全缓解措施定制和优化模型可能需要的额外微调。

众所周知，微软几乎已经和OpenAI唇齿相依，如今与Meta合作，并将Llama 2应用在Azure和Windows产品上，其对于Llama 2的态度可见一斑。据了解，Llama 2使开发人员能够根据客户需求在Windows平台上构建人工智能体验。同时，Llama 2是开源模型，使得开发人员可以更轻松地微调和部署各种参数的Llama 2模型，而Azure作为开放模型生态系统的支持者，为开发人员提供了更广阔的操作平台。

作为Meta宣布的首批合作伙伴之一，亚马逊云科技宣布，客户可通过Amazon SageMaker JumpStart使用由Meta开发的Llama 2基础模型。高通则计划从2024年起，在旗舰智能手机和PC上支持基于Llama 2的AI部署，赋能开发者使用骁龙平台的AI能力，推出全新生成式AI应用。

昨日，阿里云在国内推出针对Llama2全系列版本的训练和部署方案，便于开发者进行再训练，搭建专属大模型，用实际行动表明了对Llama 2的支持。阿里云PAI的预置环境支持开发者在云上进行模型微调，并通过通过Web UI及API的方式部署Llama2。

开源大模型另起炉灶

GPT是目前闭源大模型的典型代表，但是闭源也对其产生了一定的影响。比如闭源使得GPT的训练过程和参数调整不够透明，难以被外界监督和验证，可能会引发一些安全性和道德问题。其次闭源的模型缺乏灵活性和可定制性，可能无法满足特定领域或任务的需求，因为外部用户无法对模型进行自定义修改或调整。还可能会限制竞争和创新，因为其他研究人员和开发者无法对模型进行独立的验证和改进，也可能无法将他们的创新和新想法应用于模型。

另一方面，开源大模型的开发成本可能比闭源的更低。这是因为开源大模型的开发可以通过社区的力量进行分散和协作，使得开发速度更快，并且可以节省大量的研发成本。此外，开源大模型可以接受社区的审查和贡献，这可以确保模型的质量和可靠性。

相比之下，闭源大模型的开发需要更多的资金和人力资源，因为企业需要独自承担所有的开发和维护成本，这可能会使开发速度变慢，并且可能导致模型的质量和可靠性不如开源大模型。Meta 称，第一版不支持商用的模型开源后，他们收到了超过 10 万个研究人员的使用申请。如果商用后，其迸发的能量更不敢想象。

值得一提的是，Llama 2开发的可靠性和安全性或将比GPT更强。这是因为Llama 2经过了严格的微调过程，以符合人类的偏好和价值观，这个过程包括了人类评审员对模型输出的评估和打分，确保它随着时间变得更加可用和安全。相比之下，GPT虽然也经过了一定的安全性测试和过滤机制，但仍然可能产生一些不恰当或有害的回复。因此，Llama 2在安全性方面表现出了较低的不恰当回复率，但也可能导致对用户查询的误解或过度敏感。

经过对OpenCompass中的中英文数据集分别分析，Llama-2在英语语言能力、知识水平和理解能力上已经较为接近ChatGPT。在中文能力和推理能力上，则与ChatGPT仍然存在较大差距。

英伟达资深人工智能科学家 Jim Fan 坦言，就算现在 Llama 2 编程能力不行，开源后很快就会追上来。“大公司的人工智能研究人员因为开源许可问题对第一版 Llama 持谨慎态度，现在我认为他们中的许多人会跳上这艘船（Llama 2）并贡献他们的火力。”

毫无疑问，Meta希望能借助Llama-2松动 Google 和 OpenAI 的城墙，吸引更多的用户。同时，用开源换口碑，通过更多的开发者自发传播，未来或将打造自己的云服务进一步盈利。

​Read More