大模型智能体如何做仿真建模？清华发布最新长文综述

  新智元报道  

来源：专知编辑：Aeneas

【新智元导读】将LLM应用于基于智能体的仿真的动机是什么? 在环境感知、人类协调、行为生成和评估中的挑战有哪些?一文为你讲清。

基于智能体的建模与仿真已发展成为模拟复杂系统的强大工具，提供了对涌现行为和多样智能体之间互动的洞见。

将大语言模型整合到基于智能体的建模和仿真中，为增强仿真能力提供了有希望的途径。

本文调研了在基于智能体的建模与仿真中利用大语言模型的领域格局，考察了它们的挑战和有希望的未来方向。

论文地址：https://arxiv.org/abs/2312.11970

在这项综述中，由于这是一个跨学科领域，我们首先介绍基于智能体的建模与仿真以及大语言模型赋能智能体的背景。

然后，我们讨论将大语言模型应用于基于智能体的仿真的动机，并系统分析在环境感知、人类协调、行为生成和评估中的挑战。

最重要的是，我们提供了大语言模型赋能的基于智能体的建模与仿真在多种场景下的最新工作综述，这些场景可分为四个领域：网络、物理、社会和混合，涵盖了现实世界和虚拟环境的仿真。

最后，由于这个领域是新的且快速发展的，我们讨论了开放性问题和有希望的未来方向。

仿真作为一种计算工具，涵盖了通过使用数学公式、算法或计算机生成的表示来模拟现实世界过程或系统，以模仿其行为或特征。

基于智能体的建模与仿真专注于通过模拟个体智能体及其在环境中的相互作用来模拟复杂系统。

它通过赋予这些智能体特定的行为、属性和决策能力来运作，使我们能够检查由智能体相互作用和环境动态产生的涌现现象。

仿真的重要性跨越多个领域，是理解、分析和预测实际生活中可能难以或无法直接观察的复杂现象的宝贵工具。

它促进了实验、假设测试和情景分析，提供了在不同条件下系统行为的洞见，并在经济学、生物学、社会学和生态学等领域的决策过程中提供帮助。

获得和使用语言的能力是区分人类和其他生物的关键方面。大语言模型（LLMs）的出现是机器学习中的一个最新里程碑，展示了在自然语言处理任务和文本生成方面的巨大能力。

利用它们强大的能力，LLMs在通过更细腻和现实的方式表示智能体的决策过程、沟通和适应模拟环境方面显示出了提升基于智能体仿真的前景。

将LLMs整合到基于智能体的建模和仿真中，有潜力丰富仿真的真实性和复杂性，可能会深入洞察系统行为和涌现现象的原因如下：

首先，LLM 智能体可以根据环境做出自适应反应并执行任务，而无需预定义的明确指令。其次，LLM 智能体具有很强的智能，可以像人一样做出反应，甚至主动采取具有自导向的规划和调度的行动。

LLM智能体的行动空间既不局限于文本，对于文本，工具用法和内部行动模块允许代理采取各种行动。

最后，LLM智能体可以与人类或其他智能体进行互动和交流。

凭借以上三点优势，LLM智能体已被广泛接受使用。

从这个角度看，LLM智能体显然可以作为一种新的模拟范例，赋予代理以人类水平的智能。

由于LLM智能体的巨大潜力，近来这一领域的研究工作呈现出蓬勃发展的态势。

然而，迄今为止，还没有一份综述能系统地总结相关工作、讨论尚未解决的问题，并为重要的研究方向提供一瞥。

在本综述中，我们分析了为什么大语言模型在仿真的基本问题中至关重要，尤其是对于基于智能体的仿真而言。

在讨论了如何在这一新范式中设计智能体之后，我们仔细而广泛地讨论并介绍了各个领域的现有著作，其中大部分是近期发表的。

本综述的贡献可归纳如下。

– 我们首先回顾了基于大语言模型的智能体建模与仿真的现有著作。

与现有方法相比，我们系统地分析了为什么大型语言模型可以作为基于智能体建模与仿真的先进解决方案。

具体而言，我们首先从自主性、社会能力、反应性和主动性四个方面广泛阐述了基于智能体的建模与仿真对智能体能力的要求。

然后，我们分析了大型语言模型如何应对这些挑战，包括感知、推理和决策、适应性和异质性。

– 我们将基于智能体的建模与仿真分为物理、网络、社会和混合四个领域。

这四个领域可以涵盖主流的仿真场景和任务，之后我们介绍了相关的工作，对如何设计仿真环境以及如何构建由大型语言模型驱动的仿真代理进行了详细的讨论。

– 除了这一新领域的现有工作外，我们还讨论了四个重要的研究方向，包括改进仿真的扩展性、开放仿真平台、鲁棒性、伦理风险等，相信这将对未来的研究有所启发。

大语言模型和LLM驱动的智能体

大语言模型（LLMs），如 ChatGPT、Gemini、LLaMA、Alpaca和GLM，是语言模型的最新范式，从早期的统计语言模型发展到神经语言模型，再到预训练语言模型，最后发展到大型语言模型。

凭借数十亿个参数和广泛的预训练语料库，LLM不仅在文本生成、总结、翻译等自然语言处理任务中表现出惊人的能力，而且在解决数学问题等复杂推理和规划任务中也表现出惊人的能力。

在大规模语料库上进行的预训练为零点泛化奠定了基础。此外，预训练模型还可以针对特定任务进一步微调，以适应特定的应用场景。

此外，在过去一年中，大型语言模型（如ChatGPT和GPT-4）的进步已经实现了类似人类的推理能力，这是一个里程碑，现在被认为是人工通用智能（AGI）的种子。

具体来说，获取和使用语言的能力是我们人类区别于其他生物的一个关键方面。语言是我们与环境互动的最重要机制之一，语言为高级能力奠定了基础。

因此，由于在感知环境和做出决策方面具有类似人类的智能，构建大型语言模型赋能的智能体是大有可为的。

首先，LLM智能体能够根据环境做出自适应反应并执行任务，而无需预定义的明确指令。此外，在模拟过程中，LLM智能体甚至可以形成新的想法、解决方案、目标等。

例如，AutoGPT在给出一组可用工具和最终任务目标时，可以自动安排计划，体现了LLM在构建智能体方面的巨大潜力。

同时，BabyAGI创建了一个运行无限循环的LLM驱动脚本，该脚本持续维护任务列表，其中每个任务都由ChatGPT API根据任务上下文完成。

其次，LLM智能体具有足够的智能，可以像人类一样做出反应，甚至主动采取行动，进行自我导向的规划和调度。环境输入并不局限于文本，

最近的多模态融合模型还可以输入其他类型的信息，如图像或音频。LLM 智能体的行动空间既不局限于文本，对于文本，工具使用能力允许智能体采取更多行动。

最后，LLM 智能体具有与人类或其他人工智能智能体互动和交流的能力。在仿真，尤其是基于智能体的仿真中，代理的交流能力将个体仿真提升到了群体层面。

一个 LLM 驱动的智能体可以生成文本，另一个智能体可以接收并理解文本，进而为智能体之间或人类与智能体之间可解释的交流提供基础。

此外，社区层面的模拟需要智能体的异质性，而 LLM 智能体可以满足这些要求，在社会中扮演不同的角色。

由LLM智能体构建的人工社会可以进一步揭示具有集体智能体行为的蜂群智能体的出现，类似于人类社会中的群体智慧。

如上所述，仿真系统广泛采用了基于智能体的建模范式，这就要求智能体具有高级能力，很好地激发了大语言模式智能体在仿真场景中的应用。

基于智能体建模和仿真的LLM关键能力

基于智能体建模与仿真的大语言模式关键能力 如上所述，基于智能体的建模与仿真是许多领域仿真的基本方法，但它仍然面临几个关键挑战。大语言模式驱动的智能体不仅能满足基于智能体的仿真要求，还能依靠其强大的感知、推理、决策和自我进化能力来解决这些限制，如图1所示。

感知 

基于智能体的建模与仿真的核心是模拟单个智能体如何与环境进行交互，这就要求智能体能够准确感知来自上述环境的各类信息。至于大语言模型赋能的智能体，语言能力能使智能体直接或间接地理解和应对多样化的环境。

一方面，理解和生成文本的基本能力使智能体能够进行复杂的对话、谈判和信息交换，并支持直接交互。另一方面，智能体与环境之间的界面可以通过文本进行操作，从而实现间接交互。

当然，除了智能体与环境的视角外，这种能力也支持不同智能体之间的交流。

值得一提的是，仅仅具备与环境和其他智能体互动的能力还不足以实现类人模拟。更具体地说，还要求基于大型语言模型的智能体 “设身处地”，从而让智能体想象自己确实身处环境之中。

也就是说，LLM 智能体应能从 “第一视角视线”出发，理解、感知并响应不同情境下的不同需求、情感和态度。这种能力能使模型更好地理解来自环境或其他智能体的信息，并产生更真实的反应。

推理和决策 

传统基于代理的仿真面临的一个关键挑战是，基于规则甚至基于神经网络的代理不够智能。也就是说，智能体无法做出正确或最优决策，如在交通仿真中选择拥挤的道路，或在社交网络仿真中发送错误的信息。

这可以解释为，传统的基于神经网络的人工智能仍不如真人智能。相比之下，大语言模型赋能的智能体则表现出更强的推理能力，使其能够在模拟中做出更明智的决策并选择合适的行动。

尽管能做出合适的决策，但大型语言模型赋能的智能体支持更好的基于智能体的建模和仿真的另一个关键优势是自主性。

只需有限的指导、规定和目标，配备大型语言模型的智能体就能自主采取行动，为给定目标制定计划，甚至实现新目标，而无需显式编程或预定义规则。

也就是说，自主性使LLM智能体能够根据实际情况动态调整自己的行动和策略，有助于提高仿真的真实性。

自适应学习和演化 

对于基于智能体的建模与仿真而言，系统始终具有不确定性和不可控性。

换句话说，与模拟初始阶段相比，环境和智能体的状态可能完全不同。正如《瑞普·凡·温克尔》（Rip Van Winkle）的古老故事所讲述的那样，一个人在山中睡着了，醒来后发现周围的世界在他沉睡期间发生了巨大的变化。

也就是说，在长期的社会网络模拟中，环境是不断变化的；智能体应该能够适应新的环境，制定的决策策略可能会大大偏离其原来的策略。

显然，自适应学习和进化对于传统方法来说具有挑战性，但幸运的是，基于大型语言模型的智能体可以解决这个问题。

具体来说，凭借不断从新数据中学习并适应不断变化的语境的能力，LLM 智能体可以随着时间的推移不断演化行为和决策策略。

智能体可以吸收新信息，分析数据中新出现的模式，并根据情境中的学习相应地修改自己的反应或行动，这反映了现实世界实体的动态性质。

这种适应性通过模拟智能体在应对不同刺激时的学习曲线和行为演变，增强了模拟的真实性。

异质性和个性化 

俗话说，一人之肉，众人之毒。对于基于智能体的仿真来说，具有异质个体的复杂社会或经济系统，智能体的异质性至关重要。

具体来说，在基于智能体的建模和仿真中，智能体的异质性涉及表现个体之间的不同特征、行为和决策过程。与传统仿真方法相比，基于智能体的仿真因其能够适应不同的规则或参数而脱颖而出，具体讨论如下。

首先，现有方法的参数设置极其复杂。在

这些模型中，影响智能体行为的变量繁多–从个人特征到环境因素–使得选择和校准这些参数变得十分困难。这种复杂性往往会导致过度简化，影响模拟在描述真实异质性方面的准确性。

此外，获取准确、全面的数据为参数选择提供信息也是另一项挑战。也就是说，现实世界中能捕捉到不同情境下不同个体行为的数据可能很有限，或者很难收集到。

此外，根据真实世界的观察结果验证所选参数以确保其可靠性，也增加了另一层复杂性。

其次，规则或模型无法涵盖异质性的所有方面，因为现实世界中的个体非常复杂。使用规则驱动智能体行为只能捕捉到异质性的某些方面，但可能缺乏深度，无法囊括多样化行为、偏好和决策过程的全部内容。

此外，随着模型能力的提高，试图在单一模型中涵盖异质性的所有方面未免过于理想化。

因此，如何平衡模型的简洁性和智能体建模的准确性成为基于智能体建模和仿真的关键挑战，从而导致对智能体异质性某些方面的过度简化或忽视。

与传统方法不同的是，基于LLM的智能体支持：1）通过内部类似人类的认知复杂性来捕捉复杂的内部特征；2）通过提示、上下文学习或微调来实现专业化和定制化特征。

结语

基于智能体的建模与仿真是各领域复杂系统建模的重要方法之一。

大语言模型的最新进展重塑了基于智能体的建模与仿真范式，为构建类似人类的智能体而不是由简单规则或有限智能神经模型驱动的智能体提供了新的视角。

在本文中，我们首先对基于智能体的大语言模型建模与仿真进行了综述。我们系统地分析了基于智能体的建模与仿真为什么需要 LLM 智能体，以及如何应对关键挑战。

随后，我们广泛总结了网络、物理、社会和混合四个领域的现有工作，仔细阐述了如何设计仿真环境、如何构建大语言模型赋能的智能体，以及基于智能体的仿真要观察和实现什么。

最后，考虑到现有研究尚未解决的局限性和这一快速发展的新领域，我们讨论了有待解决的问题，并指出了重要的研究方向，希望能对未来的研究有所启发。

参考资料：https://arxiv.org/abs/2312.11970