别让大模型被基准评估坑了！测试集乱入预训练，分数虚高，模型变傻

明敏 发自 凹非寺
量子位 | 公众号 QbitAI

“别让大模型被基准评估给坑了”。

这是一项最新研究的题目，来自人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校。

研究发现，基准测试中相关数据意外被用于模型训练的现象，变得越来越常见了。

因为预训练语料中包含很多公开文本资料，而评估基准也建立在这些信息之上，本来这种情况就在所难免。

现在随着大模型试图搜集更多公开数据，问题正在加重。

要知道，这种数据重叠带来的危害非常大。

不仅会导致模型部分测试分数虚高，还会使模型泛化能力下降、不相关任务表现骤降。甚至可能让大模型在实际应用中产生“危害”。

所以这项研究正式发出警告，并通过多项模拟测试验证了可能诱发的实际危害，具体来看。

大模型“被漏题”很危险

研究主要通过模拟极端泄露数据的情况，来测试观察大模型会产生的影响。

极端泄露数据的方式有四种：

• 使用MMLU的训练集

• 使用MMLU以外所有测试基准的训练集

• 使用所有训练集+测试prompt

• 使用所有训练集、测试集和测试prompt（这是最极端情况，仅为实验模拟，正常情况下不会发生）

然后研究人员给4个大模型进行“投毒”，然后再观察它们在不同benchmark中的表现，主要评估了在问答、推理、阅读理解等任务中的表现。

使用的模型分别是：

• GPT-Neo（1.3B）

• phi-1.5（1.3B）

• OpenLLaMA（3B）

• LLaMA-2（7B）

同时使用LLaMA（13B/30B/65B）作为对照组。

结果发现，当大模型的预训练数据中包含了某一个评测基准的数据，它会在这一评测基准中表现更好，但在其他不相关任务中的表现会下降。

比如使用MMLU数据集训练后，多个大模型在MMLU测试中分数提高的同时，在常识基准HSwag、数学基准GSM8K中分数下降。

这表明大模型的泛化能力受到影响。

另一方面，还可能造成不相关测试分数虚高。

如上给大模型进行“投毒”的四个训练集中仅包含少量中文数据，但是大模型被“投毒”后，在C3（中文基准测试）中的分数却都变高了。

这种升高是不合理的。

这种训练数据泄露的情况，甚至会导致模型测试分数，异常超越更大模型的表现。

比如phi-1.5（1.3B）在RACE-M和RACE-H上的表现优于LLaMA65B，后者是前者规模的50倍。

但这种分数升高没有意义，只是作弊罢了。

更严重的是，哪怕是没有被泄露数据的任务，也会受到影响，表现下降。

下表中可以看到，在代码任务HEval中，两个大模型都出现了分数大幅下降的情况。

同时被泄露数据后，大模型的微调提升远不如未被泄露情况。

对于发生数据重叠/泄露的情况，本项研究分析了各种可能。

比如大模型预训练语料和基准测试数据都会选用公开文本（网页、论文等），所以发生重叠在所难免。

而且当前大模型评估都是在本地进行，或者是通过API调用来获得结果。这种方式无法严格检查一些不正常的数值提升。

以及当下大模型的预训练语料都被各方视为核心机密，外界无法评估。

所以导致了大模型被意外“投毒”的情况发生。

那该如何规避这一问题呢？研究团队也出了一些建议。

如何规避？

研究团队给出了三点建议：

第一，实际情况中很难完全避免数据重叠，所以大模型应该采用多个基准测试进行更全面的评估。

第二，对于大模型开发者，应该要对数据进行脱敏，公开训练语料的详细构成。

第三，对于基准测试维护人员，应该提供基准测试数据来源，分析数据被污染的风险，使用更多样化的提示进行多次评估。

不过团队也表示本次研究中还存在一定局限。比如没有对不同程度数据泄露进行系统性测试，以及没能在预训练中直接引入数据泄露进行模拟等。

本次研究由中国人民大学信息学院、高瓴人工智能学院和伊利诺伊大学香槟分校的多位学者共同带来。

在研究团队中我们发现了两位数据挖掘领域大佬：文继荣和韩家炜。

文继荣教授现任中国人民大学高瓴人工智能学院院长、中国人民大学信息学院院长。主要研究方向为信息检索、数据挖掘、机器学习、大规模神经网络模型的训练与应用。

韩家炜教授领衔是数据挖掘领域专家，现为伊利诺伊大学香槟分校计算机系教授，美国计算机协会院士和IEEE院士。

论文地址：
https://arxiv.org/abs/2311.01964

— 完 —

《2023年度十大前沿科技报告》案例征集

量子位智库《2023年度十大前沿科技报告》，启动案例征集。诚邀顶级研究机构、一流投资大咖、前沿科技创新公司，参与共创，分享案例。

扫描图片二维码参与前沿科技案例征集。了解更多细节可联系报告负责人：郑钰瑶（微信：CarolineZheng_，请备注企业+姓名）。

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~