LeCun与MetaAI共同提出主动自监督学习

​

自监督学习（SSL）已成为从未标记数据中学习可转移表示的首选解决方案。然而，SSL需要构建已知语义相似的样本，即正视图。这种要求是SSL的主要限制，并且通常通过特定策略来解决，例如将已知的数据增强应用于同一输入。本文通过积极正例学习（PAL）对此原则进行了泛化和形式化。在PAL中，神谕查询样本之间的语义关系。PAL实现了三个主要目标。首先，它揭示了一个在SSL之外具有理论基础的学习框架，可以根据使用的神谕扩展到解决监督和半监督学习。其次，它提供了一致的算法，将先验知识（例如一些观察标签）嵌入到任何SSL损失中，而不对训练管道进行任何更改。第三，它提供了一个适当的积极学习框架，为数据集注释提供低成本解决方案，可以通过简单的语义关系查询来缩小基于非专家回答的主动学习的理论和实践之间的差距。

标题：Active Self-Supervised Learning: A Few Low-Cost Relationships Are All You Need

作者：Vivien Cabannes, Leon Bottou, Yann Lecun, Randall Balestriero（LeCun指导博士后）

论文：https://arxiv.org/abs/2303.15256

​Read More