中科院 | ChatGPT是一个有知识但无经验的解决者：对大型语言模型中常识问题的研究

​

ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models

Ning Bian, Xianpei Han, Le Sun, Hongyu Lin, Yaojie Lu, Ben He

[ University of Chinese Academy of Sciences & Chinese Academy of Sciences]

1. 大型语言模型（LLMs），如ChatGPT和GPT-4，在NLP中取得了重大进展。然而，他们记忆、表示和利用常识性知识的能力一直是LLM的一个众所周知的痛点。
2. 目前仍不清楚的是 (1) GPTs能否有效地回答常识性问题？(2) GPT是否具备常识性的知识？(3) GPT是否了解回答特定问题的基本常识性知识？(4) GPT能否有效地利用常识来回答问题？
3. 为了评估上述常识性问题，我们进行了一系列的实验来评估ChatGPT的常识性能力，实验结果表明： (1)GPT在常识性任务中可以达到很好的QA准确性，而在某些类型的知识方面仍然很困难。(2)ChatGPT知识渊博，能够利用知识提示准确生成大部分常识性知识。(3) 尽管ChatGPT有知识，但它是一个没有经验的常识性问题解决者，它不能精确地识别回答特定问题所需要的常识性知识，也就是说，ChatGPT不能精确地知道回答一个问题需要什么常识性知识。上述发现提出了研究在LLM中利用常识性知识的更好机制的必要性，如指令的遵循、更好的常识性指导等。

https://arxiv.org/pdf/2303.16421.pdf

​Read More