数据增强视角下的扩散模型和检索。

​

A data augmentation perspective on diffusion models and retrieval

解决问题：
本篇论文旨在探究扩充数据集的方法，以提高下游任务的性能。具体而言，研究人员通过评估现有的扩充数据集方法，并提出新的方法，来评估扩充数据集的潜力。

关键思路：
论文的关键思路是对扩充数据集方法进行评估，并提出新的方法。研究人员发现，将扩充数据集方法个性化到目标数据上可以优于简单的提示策略，但是使用扩充数据集方法仅基于扩充模型训练数据的最近邻检索程序，可以带来更强的下游性能。相比当前领域的研究状况，本文提出了一种新的数据扩充方法，即使用扩充模型训练数据的最近邻检索程序。

其他亮点：
本文的实验设计详细，使用了多个数据集，并提供了开源代码。此外，本文的研究结果揭示了扩充模型的潜力，可以生成新的训练数据以提高下游视觉任务的性能。研究人员还探讨了扩散模型进行数据扩充的局限性。

关于作者：
本文的主要作者是Max F. Burg、Florian Wenzel、Dominik Zietlow、Max Horn、Osama Makansi和Francesco Locatello。他们分别来自苏黎世联邦理工学院、亚琛工业大学和Facebook人工智能研究院。在之前的代表作中，Max F. Burg和Francesco Locatello曾发表过题为“Towards Robust and Privacy-Preserving Federated Learning”的论文，Dominik Zietlow曾发表过题为“Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors”的论文。

相关研究：
近期的相关研究包括：

1. “Data Augmentation with Diffusion Models”，作者为Yilun Du、Ilya Tolstikhin和Taco Cohen，来自谷歌。
2. “Data Augmentation for Image Classification with Contrastive Learning”，作者为Kaiming He、Haoqi Fan、Yuxin Wu、Saining Xie和Ross Girshick，来自Facebook AI Research。

论文摘要：本文以数据增强的角度探讨了扩散模型和检索模型。扩散模型在从文本查询生成逼真图像方面表现出色。自然地，许多方法已被提出来利用这些生成能力来增强下游任务的训练数据，如分类。然而，扩散模型本身是在大型嘈杂的监督注释数据集上训练的，但其泛化能力是否超越了使用预训练过程的附加数据来进行增强的范围，这是一个开放性问题。我们对现有的从扩散模型生成图像的方法进行了系统评估，并研究了新的扩展方法以评估它们对数据增强的益处。虽然我们发现将扩散模型个性化到目标数据优于较简单的提示策略，但我们也表明，仅使用扩散模型的训练数据，通过简单的最近邻检索过程，可以导致更强的下游性能。总的来说，我们的研究探讨了扩散模型在数据增强方面的局限性，但也突出了它在生成新的训练数据以提高简单下游视觉任务性能方面的潜力。

​Read More