为什么ChatGPT在忠实回答问题方面存在缺陷？

​

Why Does ChatGPT Fall Short in Answering Questions Faithfully?

解决问题：本篇论文旨在探究ChatGPT在回答问题时的不足之处，特别是在忠实性方面。通过分析ChatGPT在复杂开放领域问答中的失败，确定了导致失败的能力，并提出了提高忠实性的潜在方法。

关键思路：本论文将ChatGPT的失败分类为四类：理解、事实性、特异性和推理。并进一步确定了与问答失败相关的三个关键能力：知识记忆、知识关联和知识推理。通过在这些能力上进行实验，并提出了潜在的方法来提高忠实性。结果表明，为模型提供精细的外部知识、知识关联的提示和推理的指导可以使模型更加忠实地回答问题。

其他亮点：本论文的实验设计合理，使用了公开数据集，同时提供了开源代码。这些工作为后续的研究提供了很好的参考。需要进一步研究的是如何更好地结合不同的知识资源，以提高模型的忠实性。

关于作者：本文的主要作者是Shen Zheng、Jie Huang和Kevin Chen-Chuan Chang。他们分别来自香港中文大学、南加州大学和伊利诺伊大学厄巴纳-香槟分校。Shen Zheng之前的代表作包括“Multi-Task Learning for Multiple Choice Question Answering”；Jie Huang之前的代表作包括“Multi-Task Learning for Hierarchical Text Classification”；Kevin Chen-Chuan Chang之前的代表作包括“Big Learning with Small Resources: Improving Embeddings for Low-resource Languages”。

相关研究：近期的相关研究包括：“Improving Faithfulness in Open-Domain Question Answering with External Knowledge”（作者：Yi Tay等，机构：谷歌）、“Towards Faithful Open-Domain Question Answering with Effective Passage Retrieval”（作者：Yunqi Qiu等，机构：香港科技大学）等。

论文摘要：为什么ChatGPT无法忠实地回答问题？
最近的大型语言模型（如ChatGPT）的发展，已经展示了对人类生活各个方面产生重大影响的巨大潜力。然而，ChatGPT仍然面临着忠实性等方面的挑战。以问答系统为代表应用，我们试图了解为什么ChatGPT无法忠实地回答问题。为了回答这个问题，我们试图分析ChatGPT在复杂的开放域问答中的失败，并确定了这些失败背后的能力。具体而言，我们将ChatGPT的失败归类为四种类型：理解、事实、特定性和推理。我们进一步确定了与问答失败相关的三个关键能力：知识记忆、知识关联和知识推理。此外，我们针对这些能力进行了实验，并提出了提高忠实性的潜在方法。结果表明，为模型提供细粒度的外部知识、知识关联的提示和推理指导，可以使模型更忠实地回答问题。

​Read More