大模型让传统摘要几乎已死《Summarization is (Almost) Dead》：兼论语言政策领域知识图谱构建思路

今天是2023年9月21日，星期四，北京，天气晴。

最近看到一篇很有趣的论文，标题很酷。

《Summarization is (Almost) Dead》，中文名称，摘要已死。

​

该工作针对大型语言模型 (LLM)生成摘要的问题，在五种不同摘要生成的生成能力，包括单文档新闻、多文档新闻、跨语言、对话、代码共5个任务，对GPT3.5等LLM 生成的摘要、人工撰写的摘要和Bart、T5等小模参数模型进行微调生成的摘要进行了定量和定性比较。

结果很有趣：大模型zeroshot要优于传统模型微调以及人工标注，这验证了大模型在摘要上的明显优势。

如上图所示，和模型生成的摘要之间的定量和定性比较显示，LLM 摘要明显更受人类的青睐。

如以上两个表格数据显示，LLM 生成的摘要表现出更好的事实一致性和更少的外在幻觉。

首先，事实性上的优势。与 LLM 相比，人类撰写的参考文献摘要的弱点在于信息不完整和幻觉。

​

如图 2(a)所示，人工撰写的参考文献摘要有时存在信息不完整的缺陷，只能了解到事件的相关信息，却不知道事件的参与者。此外，有些参考文献不够流畅，导致可读性降低。

另外，在一些人工撰写的参考文献摘要中发现的另一个问题是存在事实错误或幻觉。例如，图 2(b) 的源文本只提到了几个月内发生的两起事件，而人工撰写的参考摘要却错误地写成了 “三个月”。

其次，长文本上的优势。

与 LLM 摘要相比，微调摘要的缺点在于无法有效捕捉长篇文章中提到的所有主题，它们往往只关注 小部分主题。

​

如图 3 所示、 源文本依次讨论了四个新闻事件，而经过微调的 BART 摘要只涵盖了第一个新闻事件的信息， 相比之下，GPT-4 成功地在相似的长度内总结了所有四个新闻事件。

由于 LLM 在摘要任务中的表现令人满意，甚至超过了参考摘要的基准参考文献摘要的基准），所以该工作认为，在 LLMs 时代，文本摘要领域的大多数传统工作已不再有必要，也就是总结（几乎）已死”。

不过，需要注意的是，这可能是测试偏差，正如文中所述，需要进一步探索创建质量更高的新数据集和更可靠的评估方法。

本文接着说第二个话题，也就是知识图谱如何用于语言政策研究。

语言政策是语言学新兴的研究领域。谈语言政策问题，实际上包含了两个方面，一是国家和地区实有的政策，二是学术界对政策的研究成果。长久以来，上述两个方面的新知识不断产生，但总的来说，还缺乏梳理和系统化建构。

知识图谱技术是一种对知识进行梳理、组织、管理的有效方式。将知识图谱方法应用于语言政策领域，能够在对语言政策进行知识体系梳理的同时，探索领域知识图谱的构建方法。

本文主要对《语言政策领域知识图谱构建初探》一文进行介绍，旨在从构建路线、知识图谱本体设计以及基于图谱的分析应用三个角度，给大家一些参考。

​​​       

一、语言政策领域知识图谱整体设计

针对语言政策领域相关知识梳理和整理工作还相对匮乏的现状，以语言政策 领域为研究对象，以语料库语言学、计算语言学等为理论知识，通过语言信息处理的 技术手段，从语言政策立法和研究两个角度出发，尝试将知识图谱技术方法应用于语言政策领域。

1、语言政策领域知识图谱构建路线

语言政策领域知识图谱包括语言政策概况知识图谱、语言政策主题知识图谱以及语言政策研究知识图谱三种类型。

2、语言政策领域知识图谱schema

3、语言政策领域知识图谱存储与规模

二、语言政策领域知识图谱分图谱构建

1、语言政策研究知识图谱

语言政策领域学术研究，是学界对语言政策领域的问题、热点等进行研究、探讨的重要方式，能够反映当时的语言政策领域热点。

语言政策研究知识图谱是挖掘语言政策研究领域的重要方式，一方面，我们能够总结出语言政策领域的热点，得出时下语言政策研究的潮流以及历时条件下研究热点的变化，另一方面，通过挖掘出语言政策研究领域中的代表学者、学者与学者之间，学者与研究热点之间的存在的关系，可以反映出语言政策研究领域的整体知识面貌。

1）语言政策研究知识图谱构建路线

2）语言政策研究知识图谱schema

实体是语言政策研究领域知识的承载，要求能够尽可能表示语言政策领域的相关 内容，本章基于语言政策研究语料库中所具有的信息，设计了研究关键词、研究人员、 来源基金、研究机构、研究文献共五类实体。

同样的，设计了共现、研究、被研究、申请、被申请、被个人申请、合作、任职 于、含有研究人员、发表、被发表、含有关键词、关键词来源共13种实体关系。

2、语言政策概况知识图谱

将当前语言文字工作内容、 政策方针、语言政策的构成与分布等信息称为“语言政策概况”12，通过对以上信息的梳理、组织，最终形成语言政策概况知识图谱，能够在一定程度上揭示我国现行语言 政策的整体面貌。

1）语言政策概况知识图谱构建路线

2）语言政策概况知识图谱schema

将语言政策颁布部门、语言政策文本作为文本知识图谱的实 体类型，将语言政策的基本信息作为文本实体的属性。

语言政策文本之间的引用关系、语言政策发布部门与语言政策文本之间的发布关系作为文本知识图谱的实体关系类型。前者可作为语言政策文本的外部关系，可体现出语言政策文本之间在内容上的关联性，后者可以通过构建起语言政策发布部门 与语言政策文本之间的发布关系，可用于对具有联合发布行为的部门进行挖掘。

3、语言政策主题知识图谱

从收集到的语言政策文本中抽取出包含主题词的主题句，对主题句进行标签标注、引用信息抽 取及关键词抽取，最终形成语言政策文本主题知识图谱，并进行文本主题上的知识分析。

1）语言政策主题知识图谱构建路线

2）语言政策主题知识图谱schema

要设计了以下实体: 语言政策领域主题词、语言政策主题句、语言政策文本名称、语言政策句关键词、主题知识标签。

在关系实际上，包括政策主题句与政策文本之间的部分关系、政策主题句与政策主题词之间的包含关系、政策主题句与标签之间的包含关系以及主题词与主题词小类、主题词中类、主题词大类之间的上下位关系等。

三、基于语言政策图谱的潜在分析应用

检索与可视化是知识图谱应用的重要形式，可视化系统将知识以及知识之间的关联 可视化呈现，能够带来极好的用户体验，目前，业界面向不同的领域和需求，推出了 若干知识图谱检索和可视化系统。

在对这些知识图谱系统分析的基础上，基于本研究所构建的知识图谱数据，包括语言政策研究知识图谱数据、语言政策概况知识图谱数据、语言政策主题知识图谱数据，利用知识图谱可视化技术与平台开发技术，可以构建起一个面向语言政策领域，提供知识检索和可视化服务的系统平台。

1、基于知识图谱的知识分析

2、语言政策领域计量与知识平台

3、语言政策领域计量与分析

4、语言政策领域图谱可视化与关联分析

总结

本文首先介绍了《Summarization is (Almost) Dead》，中文名称，摘要已死这一工作，很有趣，也真实说明大模型强大的摘要总结能力。

此外，本文是对语言政策领域知识图谱的一次探索性研究，对语言政策文本和语言政策研究文献进行了信息的提取与结构化，对结构化的信息进行知识关联与融合，完成了知识图谱的构建、分析与系统开发。

其创新之处在于，尝试性地提出了适用于语言政策领域的一种知识图谱构建方法和知识组织体系 尝试性地设计并实现了一个语言政策领域知识图谱系统。

不足之处在于，语料文本语料的局限性，人为主观的局限性，研究不够深入，只做了探索性的研究工作。

当然， 语言政策领域知识图谱构建是当前的一个较新的课题，未来还有很多工作要做。语言政策领域的知识库建设、知识体系构建以及信息整合，是未来语言政策领域急需解决的问题。

关于我们

老刘，刘焕勇，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。

定期发布语言资源、工程实践、技术总结等内容，欢迎关注。

对于想加入更优质的知识图谱、事件图谱实践、相关分享的，可关注公众号，在后台菜单栏中点击会员社区->会员入群加入。

​​​