AI4SS | 基于智能体的大规模网络社会运动模拟

复旦大学数据智能与社会计算实验室

Fudan DISC

01

背景介绍

图1：社会运动Metoo，Roe v. Wade，BlackLivesMatter的示例（图片源自网络）。

在过去几十年中，社交媒体见证了大量社会运动，如#MeToo和#BlackLivesMatter。Twitter为呼吁变革的群体提供强有力的发声机会。突发事件发生后，相关信息和观点在Twitter上传播，影响着公众情绪并塑造着社会议程，通常导致线下的实际行动。尽管大多数社会运动被报道为和平的，但参与规模之大有时会升级为暴力和破坏，可能造成潜在的负面影响。因此，预测此类事件的趋势并采取积极的措施变得至关重要。

最近，大语言模型（LLMs）在类人智能方面展现了强大的能力，基于LLM的用户模拟已经在团体协作开发、推荐系统等领域有成功的探索。然而将LLM应用在大规模社会运动模拟方面仍然面临着一些挑战：

（1）如何模拟社交媒体上的用户，以还原他们在社区内的言行？

（2）考虑到使用LLM驱动成千上万的用户是低效且昂贵的，如何模拟大规模的参与者？

（3）模拟真的能还原事实吗，如何全面地评估模拟的有效性？

为了解决这些问题，复旦大学数据智能与社会计算实验室（FudanDISC）的最新工作讨论了如何模拟社会运动中的舆论动态（opinion dynamics）。我们提出了一种混合模拟框架，其中对社交媒体上两种类型的用户分别进行建模，以解决与模拟大量参与者相关的成本和效率挑战；构建了一个在线社交媒体模拟环境，模仿Twitter的信息组织和传播机制，为模拟评估奠定基础；构建了一个评估基准SoMoSiMu-Bench，设计微观和宏观层面上的评估策略，分别关注个体用户的对齐和系统结果的还原，并在三个真实世界的数据集（MeToo、Roe和BlackLivesMatter ）评测。

Arxiv地址：https://arxiv.org/abs/2402.16333
项目主页：https://xymou.github.io/social_simulation/

02

方法设计

图2：提出的总体框架。左侧部分展示了用于核心用户模拟的 LLM 智能体的架构；右侧部分展示了建模普通用户舆情动态的演绎ABM机制。用户的初始状态由真实的 Twitter 数据决定。在每一轮中，核心用户智能体根据上下文信息采取行动，他们的态度在转化为态度分数后进一步传达给普通用户。

研究问题1：如何模拟大规模的社会运动参与者？

社交网络中的用户参与通常呈现帕累托分布，大部分内容由一小部分用户产生。因此，对于意见领袖等比较活跃、有影响力的用户应该进行精细建模，而沉默的大多数则可以通过更简单的模型来控制。整体框架如图2所示，社交媒体用户被分为核心用户和普通用户。这两类用户由不同的模型驱动，以解决使用成千上万个LLM的成本和效率问题。

• 核心用户构建：使用LLM驱动，详细建模其特点、记忆、行为；

• 普通用户构建：传统的基于智能体的模型（ABMs）驱动，例如有限置信模型，仅关注其意见变化；

• 核心用户-核心用户交互：通过LLM智能体产生的内容影响其他能够看到其内容的智能体的上下文；

• 普通用户-普通用户交互：通过ABM中的消息函数将智能体的态度分数传达给选择函数设定的智能体集合；

• 核心用户-普通用户交互：使用外部LLM将LLM智能体产生的内容转化为态度分数再传达给普通用户智能体。

研究问题2：如何模拟核心用户并还原他们的行为？

通过为LLM赋予核心用户模拟所需的功能来构建智能体架构。图 2 左侧展示了基于LLM的核心用户智能体架构。在 LLM 的驱动下，智能体配备了画像模块、记忆模块和动作模块。

• 画像模块：使用智能体对应的用户的个人资料来进行画像的描述，包含姓名、性别、政治倾向等人口统计信息、活跃度和影响力之类的社交特征和传播角色信息，以刻画其传播行为；

• 记忆模块：使用记忆模块来操作智能体的记忆，包括三种操作：记忆写入、记忆检索和记忆反思；

• 动作模块：考虑与信息和态度传播高度相关的动作来组成动作空间，包括：发布原创内容(post)、转发(retweet)、回复(reply)、点赞（like)和不执行任何操作(do nothing)。

为了模拟事件发生后用户的反应，构建了一个信息推送机制和Twitter类似的模拟环境，并以自然语言的形式推送线下的触发事件；在每个轮次，核心用户智能体基于（1）该智能体画像信息；（2）该智能体的记忆；（3）触发事件信息（如果该轮次有）；（4）该智能体基于社交网络能够看到的推文；（5）其他智能体对其的回复或系统通知 来思考并采取行动。

研究问题3：如何评估模拟的有效性？

为了全面评估模拟的有效性，同时关注个体用户一致性和系统结果，构建SoMoSiMu-Bench评测框架。

• 微观一致性评测：通过向每个核心用户智能体提供真实的上下文信息来进行单轮模拟，并评估他们在立场、内容和行为方面的与对应用户的一致性：

• 立场一致性：评估生成内容和真实内容的针对给定对象的立场一致性，汇报准确率和F1值；

• 内容一致性：将生成内容和真实内容根据内容主题分为5类，汇报准确率和F1值，同时计算生成内容和真实内容的语义相似性。

• 行为一致性：由于真实数据集中只有发布原创和转发能够被观测到，为了便于评测，将动作空间缩小至这两类，汇报准确率和F1值。

• 静态态度分布：计算每个时间步的态度偏差和多样性，并计算与真实数据的差异ΔBias和ΔDiv.。

• 平均态度的时间序列：计算模拟的平均态度时间序列与真实的平均态度时间序列之间的动态时间规整（DTW）和皮尔森相关系数。

03

实验分析

实验设置

• 数据设置：在Metoo、Roe和BlackLivesMatter三个数据集上进行实验，每个数据集包含两个事件（或阶段），分别在各数据集上的事件1上进行混合框架中ABM模型的参数校准，在事件2上进行验证；
  

• 模型选择：混合框架中，驱动核心用户的LLM为GPT-3.5-turbo，驱动普通用户的ABMs包括Bounded Confidence Model (BC)，Bounded Confidence Model-Multiple (HK)，Relative Agreement Model (RA)，Social Judgement Model (SJ)，Lorenz Model。这些传统ABM模型同时也作为基线模型与本文的方法进行比较。

微观评测

表2展示了个体层面对齐评测的结果。在立场方面，对于Metoo和BLM，真实数据和模拟数据的用户立场都集中在支持和中立，模拟的平均的准确率可以达到70%以上，但LLMs在模拟中立立场上存在不足，导致了较低的MaF，这可能是因为LLM更倾向于生成立场明确的内容；在内容类型方面，对分享观点和引用第三方内容类型模拟得较为准确，但很难复现个人经历自述（证词）类型的内容，这是LLM缺失对应用户在线下的真实经历信息导致的，这类经历难以通过简单的画像模块和记忆模块进行建模；在行为模拟方面，总体准确率超过75%，LLM基本可以区分用户的行为倾向，这部分得益于画像模块对于其传播角色的行为习惯的描述。

宏观评测

表3展示了系统评估的结果。总体而言，本文所提出的混合框架均能够改善纯ABM模拟的性能，其中与RA和Lorenz模型的混合具有明显的优势，这可能得益于这两个模型在模拟极化方面的优势；混合模型通常展现出更高的态度偏差，这同样是因为LLM更倾向于产生态度明确的内容，导致平均的态度水平也偏高；得益于LLM智能体对于核心用户的准确刻画，即使有些情况ABMs难以建模总体态度趋势，混合模型也能正确捕捉态度变化的方向和程度。

进一步思考：如何促进更和谐的变革？

利用本文所构建的模拟框架，可以进一步评估模拟是否能够重现信息茧房（echo chambers）等更复杂的现象以及探索不同的信息推送机制可能带来的改善，为平台设计者提供更多见解。

首先，通过量化生产内容（即用户所发布的内容）和消费内容（即用户的关注者所发布的内容）之间的相似性随时间的变化，来观察模拟是否能够重现信息茧房效应。图4的结果表明所构建的模拟框架能够有效重现信息茧房效应。

针对此，提出三种策略在不伤害用户发声权利的前提下来减轻信息茧房效应：

• S1：主动向用户推送相反观点的推文；

• S2：主动向用户推送中立观点的推文；

• S3：平台提供一个公共话题标签（hashtag），并鼓励用户使用此标签进行讨论。

使用三种策略后，在Metoo数据集上的模拟结果如表4所示。可以发现S1可以最大程度上减少信息茧房，但相反观点的直接引入会很大程度上增加社区内容的毒性；S3建立开放讨论的空间可以促进更和平的交流，其毒性处于最低水平。

04

总结

这项工作提出了一个混合框架来实现大规模的社会运动参与者的模拟，分别使用LLM和ABM来驱动核心用户和普通用户，并构建了一个类Twitter的模拟环境和多角度的评测框架SoMoSiMu-Bench来评测模拟结果与真实情况的差异。总体而言，此项工作可以作为突发事件后舆情模拟的基础，并能为社交平台的持续优化提供见解。

END

复旦大学数据智能与社会计算实验室

Fudan DISC

联系方式：disc_imcs@163.com

地址：复旦大学邯郸校区计算中心

点击“阅读原文”跳转至项目主页