清华系大模型公司聆心智能发布 CharacterGLM：玩转 AI 角色扮演，6B 模型已开源

性能评估
据介绍，聆心智能团队采用了人工交互的方式评测 CharacterGLM 与业界最强的竞争对手（以下简称 JP）的性能。
他们定制了数十个角色，它们的类型分布于名人类、生活类、游戏影音类和虚拟恋爱类，并要求标注者与每个角色至少交互 20 轮，每轮对话由两个模型生成回复。
标注者选择胜出的回复继续展开对话，若回复偏好相同则随机选择。然后，他们按角色类别统计两个模型的 win/tie/lose 比率。
结果如表 1 所示，CharacterGLM 在大多数类别上的表现均优于 JP。
表1：不同类别角色的性能对比结果

为了衡量 CharacterGLM 在不同话题下的表现，他们进一步将对话话题限定在常见的闲聊、访谈和恋爱场景下进行交互测试，评测方式与上面相同，结果如表 2 所示，CharacterGLM 在闲聊和恋爱场景下与 JP 持平，但在访谈场景下显著优于 JP。
表2：角色在不同话题下的性能对比结果
长程的对话交互是用户对模型的情绪依赖程度的直接体现，这就要求模型具有良好的建模长程对话的能力。为此，团队进一步分析了 CharacterGLM 在不同轮次范围内的角色表现，结果如表 3 所示，CharacterGLM 在对话的前期略次于 JP，但随着对话的推进，CharacterGLM 的优势则逐渐凸显。
表3：CharacterGLM vs. JP 建模长程对话的性能对比结果

交互样例
下面展示了从交互测评数据中采样的名人类、生活类、游戏影音类和虚拟恋爱类角色的交互样例。
名人类角色
注：JP 竞争产品诱导出了指令对话的格式，完全不像是拟人对话的过程，缺少对话的自然性。
生活类角色
注：JP 竞争产品倾向于做出附和、通用化的回复，信息量不足，拟人化程度较低。
游戏影音类角色
注：JP 竞争产品没有主动推动剧情发展的意识，难以引起用户的兴趣。
虚拟恋爱类角色
注：JP 竞争产品在恋爱场景中表现出“低情商、直白”的特性，难以满足该场景下的用户期待。
｜点击关注我 👇 记得标星｜