CKBP v2: An Expert-Annotated Evaluation Set for Commonsense Knowledge
Base Population
解决问题:本论文旨在解决NLP中常识知识库填充的难题,通过引入专家注释和多样化的对抗样本,提出了一个新的高质量的常识知识库填充基准测试集CKBP v2。该任务涉及到从外部来源中获取知识,并处理一些未见过的事件和实体。
关键思路:本论文的关键思路是使用专家注释来代替众包注释,以及添加多样化的对抗样本,从而提高评估集的质量和代表性。相比于当前领域的研究状况,本论文的思路在于提高评估集的质量和代表性,从而更好地评估常识知识库填充的方法。
其他亮点:本论文使用了大量的实验来比较当前常识知识库填充的最先进方法,并公开了代码和数据集,以便于未来的研究。该研究表明,常识知识库填充仍然是一个具有挑战性的任务,即使对于像ChatGPT这样的大型语言模型也是如此。本论文的亮点在于提出了高质量的评估集,这将有助于未来的常识知识库填充研究。
关于作者:本论文的主要作者是Tianqing Fang、Quyet V. Do、Sehyun Choi、Weiqi Wang和Yangqiu Song。他们都来自香港科技大学。Tianqing Fang在常识知识库填充和自然语言处理领域发表了多篇论文,其中包括“Improving Commonsense Knowledge Base Completion with Global Context”和“Knowledge-Enriched Transformer for Commonsense Question Answering”。Yangqiu Song在自然语言处理和数据挖掘领域也有多篇论文,其中包括“Neural Knowledge Acquisition via Mutual Attention between Knowledge Graph and Text”和“Graph Convolutional Networks for Text Classification”。
相关研究:近期的相关研究包括“Learning to Represent Knowledge Graphs with Gaussian Embedding”(作者:Zhiqing Sun、Zequn Sun、Xiaodong Liu,机构:微软亚洲研究院)、“A Comprehensive Survey on Knowledge Graphs”(作者:Yingjie Qian、Yunlong Wang、Chunxiao Li、Chuan Shi,机构:南京大学)和“Knowledge Graph Embedding with Iterative Guidance from Soft Rules”(作者:Yunpu Ma、Wen Zhang、Wei Zhang、Xiaokang Yang,机构:哈尔滨工业大学)。
论文摘要:CKBP v2是一个专家注释的常识知识库评估集,用于填充常识知识库是自然语言处理中一个重要但困难的任务,因为它涉及从外部来源获取具有未见事件和实体的知识。Fang等人(2021a)提出了一个常识知识库填充基准,其中包括一个评估集CKBP v1。然而,CKBP v1采用的众包注释存在相当大比例的错误答案,而评估集由于随机采样而与外部知识源不对齐。在本文中,我们介绍了CKBP v2,这是一个新的高质量常识知识库填充基准,通过使用专家而不是众包注释来解决上述两个问题,并添加多样化的对抗样本来使评估集更具代表性。我们在新的评估集上进行了广泛的实验,比较了常识知识库填充的最新方法,以便进行未来的研究比较。实证结果表明,即使对于像ChatGPT这样的大型语言模型,填充任务仍然具有挑战性。代码和数据可在https://github.com/HKUST-KnowComp/CSKB-Population上获取。