ChatGPT or Grammarly,基于语法纠错基准的ChatGPT评测

1,006次阅读
没有评论

ChatGPT or Grammarly,基于语法纠错基准的ChatGPT评测

ChatGPT是由OpenAI开发的先进人工智能语言模型,因其出奇的强大的回答跟进问题的能力而引起了很多关注。在本报告中,我们旨在评估ChatGPT在语法错误纠正(GEC)任务中的表现,并将其与商业GEC产品(例如Grammarly)和最先进的模型(例如GECToR)进行比较。通过在CoNLL2014基准数据集上进行测试,我们发现在自动评估指标(例如F0.5分)方面,ChatGPT的表现不如这些基线,特别是在长句子方面。我们检查输出结果,并发现ChatGPT超越了一对一的修正。具体而言,它更倾向于改变某些短语或句子结构的表面表达方式,同时保持语法正确性。人工评估定量证实了这一点,并建议ChatGPT产生更少的欠修正或误修正问题,但产生更多的过修正问题。这些结果表明,ChatGPT受到自动评估指标的严重低估,并且可能是GEC的一个有前途的工具。

标题:ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error
Correction Benchmark

作者:Haoran Wu, Wenxuan Wang, Yuxuan Wan, Wenxiang Jiao, Michael Lyu

论文:https://arxiv.org/abs/2303.13648

ChatGPT or Grammarly,基于语法纠错基准的ChatGPT评测

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy