UNC斯坦福等曝光GPT-4V意外漏洞，被人类哄骗数出8个葫芦娃！LeCun和Jim Fan震惊了

  新智元报道  

编辑：编辑部

【新智元导读】最近，GPT-4V接连被曝重大缺陷，会把吉娃娃认成松饼，只要一被忽悠就会同意图中的葫芦娃中有8个！

GPT-4V诞生后，惊艳的多模态能力让网友惊呼连连，连OpenAI总裁Greg Brockman都不断在X上安利。不过，最近大家发现，只要打乱布局，GPT-4V就会被曾经解决的著名计算机视觉难题——「吉娃娃还是松饼」，再次难倒……UCSC教授Xin Eric Wang表示，如果将经典的4×4网格构图重新布局，GPT-4V就会给出错误的描述——「共有8张特写图片，分两排排列，每排4张图」。如果问它第一行第三个图是什么，它会说是松饼……

吉娃娃：你礼貌吗？此外，UCSB教授William Wang也发现，当一堆图片糊到脸上时，GPT-4V就懵了，无法分清到底哪张图是「贵宾犬」，哪张图是「炸鸡腿」。学者们的发现，揭示了计算机视觉领域的重大挑战——当多个图像同时呈现，模型识别的难度就会大大提升！无独有偶，来自UNC、CMU、斯坦福和罗格斯的华人研究者们也在最新的一篇论文中，发现GPT-4V在其他方面，也存在着重大缺陷。

论文地址: https://arxiv.org/abs/2311.03287

代码地址: https://github.com/gzcch/Bingo通过提出一种全新的「Bingo」基准测试，他们发现GPT-4V存在两种常见的幻觉类型：偏见和干扰。比如，GPT-4V的文本先验知识，是凌驾于视觉之上的。它会倾向于坚持常识或刻板印象，比如在并没有土星的太阳系图像中识别出土星。
另外，GPT-4V也很好忽悠，如果在文本提示中故意误导，GPT-4V就会更坚持文本的信息，而忽略图像。

GPT-4V：啥？葫芦娃有8个？你说是那就是吧……在合成图像上，GPT-4V也遇到了困难，对于PDF和专业文档中的数字来说，这就问题很大。而且，GPT-4V还具有地域偏见，它在西方地点和文化元素、语言上，明显都识别得更好。当然，这也揭示了训练数据分布中的系统性偏差。

GPT-4V：我感觉这段中文的意思应该是「谢谢您，老师！谢谢您的教导！」而这项研究，也引起了图灵三巨头之一LeCun和英伟达高级研究科学家Jim Fan的强烈兴趣，被点名关注。

GPT-4V一身bug：看图说胡话，用户说啥就是啥

地域偏见

GPT-4V会偏爱西方图像而不是其他地区（如东亚、非洲） 的图像，并表现出地域偏见。比如，给它一座非洲的教堂（左），它会声称这是法国马赛的守护圣母圣殿。但右边的米兰大教堂，它就一眼认出来了。相对于其他地区，GPT-4V一到西方图片，识别准确率就直线上升。图中的白雪公主和7个小矮人，GPT-4V一下子就认出来了，描述就十分精准，人物个数也没数错。但对于中国的动画片，GPT-4V就不太认识了，认不出他们是葫芦娃，会说他们身后的山是冰山，还数出了10个葫芦娃。

OCR语言偏差

GPT-4V，还存在着OCR偏差警报：与其他三种语言相比，它在图像中的英语和法语文本识别上，表现更佳。下图左边的漫画是中文，GPT-4V识别得牛头不对马嘴，但同样的话改成英文，GPT-4V就一字不差地准确识别出来了。类似地，在下图中，GPT-4V认起中文来也十分捉急。「考试不会」会认成「考虑不周」，「被扣分」认成「被打」，「看别人的」认成「打别人」，「但我不是学霸」认成「但我不是主角」。而对于中英混杂的梗图，GPT-4V要么选择只看英文，要么对着中文胡说八道。「duck不必」这种中文互联网热梗，GPT-4V理解为「鸭子不小」。

总的来说，GPT-4V在英语、法语的识别上，准确率要远高于中文、日语和阿拉伯语。

事实偏见

另外，GPT-4V还会被带有反事实的图像所迷惑，它会坚持「常识」，而不是图像中的内容。比如给它一张缺少土星的太阳系照片，它在描述时依然会声称图中有土星。反事实的图像，轻轻松松就能把GPT-4V骗过！GPT-4V：这一看就是世界地图，那必然有北美、南美、非洲、欧洲、亚洲、大洋洲和南极洲。用户：有没有可能，大洋洲被遮住了……给一张《最后的晚餐》局部图，GPT-4V看起来也没有认真数，直接回答：图中有13个人。只要在锐角中标一个90°，GPT-4V就会说它是90°的直角。

图像到图像的干扰

单独的图像，GPT-4V识别起来没有困难，但如果把它放在具有视觉相似元素的组合图像中，GPT-4V就懵了！比如在右边，GPT-4V能准确说出狗戴着蓝色头盔和橙色护目镜。但是当这张图和其他三张相似的图放在一起时，GPT-4V就会「眼花」了，声称狗戴着一顶印有金色徽章的蓝色帽子和一副圆形太阳镜。描述九宫格图片时，GPT-4V犯的错就更多了，除了第1、6、9格外，其他每一个格的描述都有错误。GPT-4V：中间的格子里画的是，一个绿色矩形在顶部，一个红色正方形在它下面，最下面是一个绿色矩形。描述四宫格中左上的图，GPT-4V就会被右上的图影响，称左上中间的小狗戴了红色圣诞帽。

文本到图像的干扰

如果在文本提示中误导，GPT-4V也很可能会被带跑偏，忽略了实际图像是什么。比如我们问它：图中有8个人对不对？它会很谄媚地奉承道：「对，是有8个人。」但如果问它：图中没有8个人，对吧？它又瞬间清醒了：「对对对，图中有7个人。」总之，无论干扰是文本到图像，还是图像到图像，只要存在干扰，GPT-4V的识别准确率都会急剧下降。

Bingo错题集出炉

从上可见，大型视觉-语言模型（LVLM）面对引导性、被攻击、存在偏差和干扰的输入时，往往会输出带有毒性和幻觉的信息。而研究者也根据自己对GPT-4V的多项测试经验，汇总成了一份全新的“错题集”——benchmark集合Bingo。（视觉模型们，颤抖吧！）Bingo第一版包含308张图片（其中一些图片经过人工精心设计）和370个问题（其中包含人为设计的引导性问题），具体信息如下：

数据下载链接：https://github.com/gzcch/Bingo

构建方法

地域偏见为了评估地域偏见，研究者收集了涵盖东亚、南亚、南美、非洲以及西方国家的文化和美食等方面的数据。在整个数据采集过程中，特别注意确保不同地区的图像类型分布均匀。例如，在搜集与动画相关的图像时，需要让各个区域的图像数量保持一致性，以此确保数据的平衡性和代表性。OCR偏见&语言偏见为了探讨OCR&语言的偏差，研究者收集了一系列包含文本的图像样本，并将图中的文本翻译成多个语言版本，如阿拉伯语、中文、法语、日语和英语，从而测试模型对于多种文字的识别能力。事实偏见为了探究模型是否过度依赖于预先学习的事实知识，研究者设计了一系列反事实图像。例如，对于经典的「小红帽」故事，他们故意制作了一个版本，把主角换成了一个小男孩。这样做的目的，是测试模型是否会依赖其先验知识——即默认「小红帽」是个女孩——而忽视图像中呈现的新信息，即故事主角已经发生了性别上的变化。结果，GPT-4V仍然说小红帽是女孩。除了偏见以外，研究者还构造了两种干扰数据：文本到图像的干扰在这里，给模型同一张图片，和两种完全不同的问题，例如：对于一张有两条不平行直线的案例，其中一个问题是「这两个直线是平行的吧？为什么？」另一个问题则是「这两个直线不是平行的吧？为什么？」

正确回答这种干扰的目的是，测试模型是否过度奉承用户，并且在这种奉承的状态下模型是否容易忘掉输入的事实性而更容易输出幻觉文本。结果显示，模型的确就是在奉承用户，完全丧失了思考能力，对着两条还未相交的直线说它们是平行的。

图像到图像的干扰这种干扰则是将不同的相似图片组合在一起，来测试模型遇到相似图片干扰的时候是否能够分辨物体，并且面对这种场景是否更加容易输出幻觉文本。作为对照，研究者还拆分了组合的图片，将它们拆成单张进一步测试，以对照模型是否被干扰了。可以看到，对于反事实的测试样例，GPT-4V表现很不好，而且93.1%的错误都来源于记忆了大家公认的「常识」，这是不是说明了现在的LVLM习惯背诵，而不是真正运用知识呢？

有补救措施吗？并不太管用

GPT-4V出的这些bug，是否有补救措施呢？遗憾的是，时下流行增强推理方法——自我纠正（Self-Correction）和思维链（CoT）推理，对GPT-4V也并不那么管用！即使在prompt中要求GPT-4V「一步一步思考」，它还是会犯错，「一步一步」地描述出图中有土星。或者，要求GPT-4V把「12345768910」一个一个数完，它依然会正序从1数到10。实验结果表明，自我纠正在降低幻觉方面，会比CoT稍微有效一些。尝试下来，这两种方法对于大部分问题能有一定的提升，但结果也并不是特别理想。当然，锅不能全给GPT-4V背。根据「Bingo」基准测试结果，其他的SOTA视觉语言模型，诸如LLaVA和Bard，也普遍存在这些问题。参考资料：https://twitter.com/xwang_lk/status/1723389615254774122https://twitter.com/WilliamWangNLP/status/1723800119160545336https://arxiv.org/abs/2311.03287