AI for Health | 利用对话启用的解决代理增强大型语言模型的完成度

​

【推荐理由】本文提出的DERA是一种由GPT4等增强型对话能力的大语言模型实现的范式。它为模型提供了一个简单、可解释的输出，能用于在医疗保健等安全关键应用。在医疗对话摘要和护理计划生成方面，DERA表现出明显的优势，超越了GPT4的性能。

DERA: Enhancing Large Language Model Completions with Dialog-Enabled Resolving Agents

Varun Nair, Elliot Schumacher, Geoffrey Tso, Anitha Kannan

[Curai Health]

【论文链接】https://arxiv.org/pdf/2303.17071.pdf

【项目链接】https://github.com/curai/curai-research/tree/main/DERA

【摘要】大型语言模型（LLM）已成为许多自然语言理解任务的有价值工具。在卫生保健等安全关键应用中，这些模型的效用取决于它们生成的输出是否准确和完整。在这项工作中，作者提出了对话式解决代理（DERA）。DERA是一种新的范式，得益于LLM（即GPT-4）增强的对话能力。它为模型提供了一个简单、可解释的论坛，以便模型之间进行反馈和迭代改进输出。文章将该对话框架设想为两种代理之间的讨论——一个研究者处理信息并确定关键问题组成部分，另一个决策者有自主权来整合研究者的信息并对最终输出做出判断。作者对DERA进行了三个临床重点任务的测试。对于医学对话摘要和护理计划生成，DERA在人类专家偏好评估和定量指标方面都比基本的GPT-4性能有显著提高。在一个新发现中，文章还表明GPT-4在MedQA问答（QA）数据集（Jin等人，2021年，USMLE）的开放式版本上的表现（70%）远高于及格水平（60%），DERA表现类似。

​Read More