谷歌：利用网络的图像-文本数据提升识别模型

​

检索增强模型在近期在NLP问题领域中大获成功之后，正在计算机视觉任务中变得越来越流行。其目标是通过从外部存储器中检索出与视觉输入相似的示例来增强模型的识别能力。在本文中，我们引入了一种基于注意力的存储器模块，它学习每个检索到的示例的重要性。与现有方法相比，我们的方法消除了无关检索示例的影响，并保留了对输入查询有益的示例。我们还对构建存储器数据集的各种方法进行了彻底的研究。我们的实验证明了使用规模为1B的图像文本对的大规模存储器数据集的好处，并展示了不同存储器表示的性能。我们在三个不同的分类任务中评估了我们的方法，分别是长尾识别、学习带噪声标签和细粒度分类，并展示它在ImageNet-LT、Places-LT和Webvision数据集中取得了最先进的准确性。

总结：

本文介绍了一种通过从网络规模的图像文本数据中检索图像来提高图像识别的方法。该方法能够从大量的文本数据中找到与图像相关的信息，从而改善图像识别的精度。具体而言，该方法使用了两个模型：一个图像分类器和一个文本检索模型。图像分类器用于将输入的图像进行分类和标记，而文本检索模型用于从大规模的图像标注文本数据中检索与所输入图像相关的文本信息。通过这两个模型的协作，该方法能够更准确地识别并标注图像。

本文还介绍了该方法的一些实现细节和评估结果。实验结果表明，该方法在各种图像分类任务中表现良好，并且比传统的图像识别方法具有更高的准确率和鲁棒性。该方法还能够通过自动化的方式从海量图像数据中学习到更多的信息，并且具有更好的可扩展性和鲁棒性。因此，该方法可以被广泛地应用于实际的图像识别任务中。

标题：Improving Image Recognition by Retrieving from Web-Scale Image-Text Data

作者：Ahmet Iscen, Alireza Fathi, Cordelia Schmid

​Read More